Pangolin

Paogolin 是一款简单的 ETL 工具，由 Adam 用 Python 开发。

git: https://github.com/ldscfe/pangolin.git

ENV

yum install python3-devel
# db driver
import cx_Oracle             # Oracle
import oracledb              # Oracle DSN
import psycopg2              # postgreSQL, Greenplum
import pymysql               # MySQL
import sqlite3               # SQLite
import clickhouse_driver     # clickhouse
# Kafka
import pykafka

db.ini

[doris_bidb] type=MySQL host=192.168.0.158 port=9030 db=bi user=bi passwd=80o3g9djwajSy10bx0ubGA==

[mysql_bidb] type=MySQL host=192.168.0.83 port=3306 db=tidat user=root passwd=GjK1ebCT/Pw=

[ch_bidb] type=Clickhouse host=192.168.0.182 port=9000 db=default user=default passwd=dQiBJglfDN0dG5EMUr89QA==

dbct

检测数据库，执行 SQL

Format: dbct dbname(in db.ini) [sql=][SQL] [LINE=1] [PRE=2]

Option format:

• 当 SQL 中含有等号条件时，需要完整格式：sql=SQL
• LINE=1 默认显示结果返回一行（不影响 SQL 中返回行数指定）
• PRE=2 默认密码前两位加盐

dqct

检测 MQ，查看消息

Format: mqct mqname(in mq.ini) [TOPIC[.CMD]|[.{N}]]

Option format:

• TOPIC，为空则显示所有 Topic，否则显示该 Topic 的 offset 范围，若无则创建。
• TOPIC.{0} 显示指定偏移量的详细信息
• TOPIC.{-1} 显示最大偏移量的详细信息