Pangolin：修订间差异
跳到导航
跳到搜索
（→ENV） |
（→db.ini） |
||
| 第16行： | 第16行： | ||
=== db.ini === | === db.ini === | ||
[doris_bidb] | [doris_bidb] | ||
type=MySQL | type=MySQL | ||
host=192.168.0.158 | host=192.168.0.158 | ||
port=9030 | port=9030 | ||
db=bi | db=bi | ||
user=bi | user=bi | ||
passwd=80o3g9djwajSy10bx0ubGA== | passwd=80o3g9djwajSy10bx0ubGA== | ||
[mysql_bidb] | [mysql_bidb] | ||
type=MySQL | type=MySQL | ||
host=192.168.0.83 | host=192.168.0.83 | ||
port=3306 | port=3306 | ||
db=tidat | db=tidat | ||
user=root | user=root | ||
passwd=GjK1ebCT/Pw= | passwd=GjK1ebCT/Pw= | ||
[ch_bidb] | [ch_bidb] | ||
type=Clickhouse | type=Clickhouse | ||
host=192.168.0.182 | host=192.168.0.182 | ||
port=9000 | port=9000 | ||
db=default | db=default | ||
user=default | user=default | ||
passwd=dQiBJglfDN0dG5EMUr89QA== | passwd=dQiBJglfDN0dG5EMUr89QA== | ||
=== dbct === | === dbct === | ||
2023年12月6日 (三) 12:15的版本
Paogolin 是一款简单的 ETL 工具，由 Adam 用 Python 开发。
git: https://github.com/ldscfe/pangolin.git
ENV
yum install python3-devel # db driver import cx_Oracle # Oracle import oracledb # Oracle DSN import psycopg2 # postgreSQL, Greenplum import pymysql # MySQL import sqlite3 # SQLite import clickhouse_driver # clickhouse # Kafka import pykafka
db.ini
[doris_bidb] type=MySQL host=192.168.0.158 port=9030 db=bi user=bi passwd=80o3g9djwajSy10bx0ubGA== [mysql_bidb] type=MySQL host=192.168.0.83 port=3306 db=tidat user=root passwd=GjK1ebCT/Pw= [ch_bidb] type=Clickhouse host=192.168.0.182 port=9000 db=default user=default passwd=dQiBJglfDN0dG5EMUr89QA==
dbct
检测数据库，执行 SQL
Format: dbct dbname(in db.ini) [sql=][SQL] [LINE=1] [PRE=2]
Option format:
- 当 SQL 中含有等号条件时，需要完整格式：sql=SQL
- LINE=1 默认显示结果返回一行（不影响 SQL 中返回行数指定）
- PRE=2 默认密码前两位加盐
dqct
检测 MQ，查看消息
Format: mqct mqname(in mq.ini) [TOPIC[.CMD]|[.{N}]]
Option format:
- TOPIC，为空则显示所有 Topic，否则显示该 Topic 的 offset 范围，若无则创建。
- TOPIC.{0} 显示指定偏移量的详细信息
- TOPIC.{-1} 显示最大偏移量的详细信息