Doris install - 1.2.2

来自牛奶河Wiki
阿奔讨论 | 贡献2023年3月7日 (二) 22:13的版本
跳到导航 跳到搜索

环境需求

Linux 系统 版本
CentOS 7.1 及以上
Ubuntu 16.04 及以上
软件 版本
Java 1.8 及以上
GCC 4.8.2 及以上
模块 CPU 内存 磁盘 网络 实例数量(最低要求)
Frontend 16核+ 64GB+ SSD 或 RAID 卡,100GB+ * 万兆网卡 1-3 *
Backend 16核+ 64GB+ SSD 或 SATA,100G+ * 万兆网卡 3 *
  • 在要安装 FE,Broker 的节点上提前安装 JDK 1.8 及以上环境,BE 节点不需要
  • 关闭交换分区
  • 关闭防火墙
  • ext4 和 xfs 文件系统均支持
  • 禁用 SELinux

文件句柄数

# /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536

其它

  • Doris 的元数据要求时间精度要小于 5000 ms

sysctl

sysctl -w vm.max_map_count=2000000

安装

IP FE BE OB Broker Memo
192.168.0.21 1 1
192.168.0.22 1 1 1
192.168.0.23 1
192.168.0.24 1

Java 1.8

FE、Broker 节点

Doris FE

xz -dk apache-doris-fe-1.2.2-bin-x86_64.tar.xz
xz -dk apache-doris-be-1.2.2-bin-x86_64.tar.xz

tar -xvf apache-doris-fe-1.2.2-bin-x86_64.tar
tar -xvf apache-doris-be-1.2.2-bin-x86_64.tar

mv apache-doris-fe-1.2.2-bin-x86_64 /opt/
ln -s /opt/apache-doris-fe-1.2.2-bin-x86_64 /opt/doris_fe

mv apache-doris-be-1.2.2-bin-x86_64 /opt/
ln -s /opt/apache-doris-be-1.2.2-bin-x86_64 /opt/doris_be
profile
JAVA_HOME=/usr/java/jdk1.8.0_361 
DORIS_HOME=/opt/doris_fe

DORIS_HOME 在 conf/fe.conf 中使用,如:LOG_DIR、JAVA_OPTS**、(# meta_dir、sys_log_dir、audit_log_dir)

conf/fe.conf
JAVA_OPTS="-Xmx8192m,需要调整
meta_dir=元数据存放位置。默认在 fe/doris-meta/ 下,改变目录需手动创建
priority_networks=192.168.0.0/24
http_port = 8030
query_port = 9030

以上配置对应下面服务:

http://192.168.0.21:8030
mysql -uroot -P9030 -h127.0.0.1

doris 内置默认超级管理员用户: root/NULL

Start
${DORIS_HOME}/bin/start_fe.sh --daemon
${DORIS_HOME}/bin/stop_fe.sh

State

  • cur http://127.0.0.1:8030/api/bootstrap
"msg":"success"
  • mysql> show frontends\G;
Role: FOLLOWER
IsMaster: true
Join: true
Alive: true

启动/停止脚本友好性较佳,用 root/hdfs 均可启动/停止,生成的 log/meta 均为 hdfs 权限

Doris BE

xz -dk apache-doris-be-1.2.2-bin-x86_64.tar.xz

tar -xvf apache-doris-be-1.2.2-bin-x86_64.tar

mv apache-doris-be-1.2.2-bin-x86_64 /opt/
ln -s /opt/apache-doris-be-1.2.2-bin-x86_64 /opt/doris_be
profile
JAVA_HOME=/usr/java/jdk1.8.0_361
DORIS_HOME=/opt/doris_be

由于从 1.2 版本开始支持 Java UDF 函数,BE 依赖于 Java 环境。安装Java UDF 函数需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下,否则可能会启动失败。(be.out: Failed to initialize JNI: Failed to find JniUtil class.)

DORIS_HOME 在 conf/be.conf 中使用,如:PPROF_TMPDIR、(# storage_root_path、sys_log_dir)

conf/be.conf
priority_networks=192.168.0.0/24
storage_root_path 可以指定多个磁盘(;),以及使用的大小(,G), (HDD or SSD)。默认为 ${DORIS_HOME}/storage, capacity limit is disk capacity, HDD(default)
be_port = 9060
webserver_port = 8040
heartbeat_service_port = 9050
brpc_port = 8060
Start
${DORIS_HOME}/bin/start_be.sh --daemon
${DORIS_HOME}/bin/stop_be.sh

启动后,添加 BE 节点到集群(FE 端 MySQL 下执行)

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
ALTER SYSTEM ADD BACKEND "192.168.0.22:9050";

State

  • cur http://192.168.0.22:8040
  • mysql>show backends\G;
Alive: true