Doris install - 1.2.2：修订间差异

来自牛奶河Wiki
跳到导航 跳到搜索
无编辑摘要
无编辑摘要
第85行： 第85行：
|
|
|-
|-
|192.168.0.23
|192.168.0.25
|
|
|1
|1
第92行： 第92行：
|
|
|-
|-
|192.168.0.24
|192.168.0.26
|
|
|1
|1
第101行： 第101行：


====Java 1.8====
====Java 1.8====
FE、Broker 节点
FE、Broker 节点，从 1.2 版本开始支持 Java UDF 函数，BE 也依赖于 Java 环境。
 
简单说，均需要 Java 环境。


====Doris FE====
====Doris FE====
第126行： 第128行：
  query_port = 9030
  query_port = 9030
以上配置对应下面服务：
以上配置对应下面服务：
  http://192.168.0.21:8030
  <nowiki>http://192.168.0.21:8030</nowiki>
  mysql -uroot -P9030 -h127.0.0.1
  mysql -uroot -P9030 -h127.0.0.1
doris 内置默认超级管理员用户: root/NULL
doris 内置默认超级管理员用户: root/NULL
第184行： 第186行：
  Alive: true
  Alive: true


=== Log ===
log/be.out
中有错误信息，若正常启动，则只有一条启动时间：
  start time: Tue Mar  7 14:45:45 UTC 2023
停止则无记录。
[[分类:Develop]]
[[分类:Develop]]
[[分类:DB]]
[[分类:DB]]
[[分类:Doris]]
[[分类:Doris]]

2023年3月7日 (二) 22:58的版本

环境需求

Linux 系统 版本
CentOS 7.1 及以上
Ubuntu 16.04 及以上
软件 版本
Java 1.8 及以上
GCC 4.8.2 及以上
模块 CPU 内存 磁盘 网络 实例数量（最低要求）
Frontend 16核+ 64GB+ SSD 或 RAID 卡，100GB+ * 万兆网卡 1-3 *
Backend 16核+ 64GB+ SSD 或 SATA，100G+ * 万兆网卡 3 *
  • 在要安装 FE，Broker 的节点上提前安装 JDK 1.8 及以上环境，BE 节点不需要
  • 关闭交换分区
  • 关闭防火墙
  • ext4 和 xfs 文件系统均支持
  • 禁用 SELinux

文件句柄数

# /etc/security/limits.conf 

* soft nofile 65536
* hard nofile 65536

其它

  • Doris 的元数据要求时间精度要小于 5000 ms

sysctl

sysctl -w vm.max_map_count=2000000

安装

IP FE BE OB Broker Memo
192.168.0.21 1 1
192.168.0.22 1 1 1
192.168.0.25 1
192.168.0.26 1

Java 1.8

FE、Broker 节点，从 1.2 版本开始支持 Java UDF 函数，BE 也依赖于 Java 环境。

简单说，均需要 Java 环境。

Doris FE

xz -dk apache-doris-fe-1.2.2-bin-x86_64.tar.xz

tar -xvf apache-doris-fe-1.2.2-bin-x86_64.tar

mv apache-doris-fe-1.2.2-bin-x86_64 /opt/
ln -s /opt/apache-doris-fe-1.2.2-bin-x86_64 /opt/doris_fe

chown -R hdfs:hadoop /opt/*doris*
profile
JAVA_HOME=/usr/java/jdk1.8.0_361 
DORIS_HOME=/opt/doris_fe

DORIS_HOME 在 conf/fe.conf 中使用，如：LOG_DIR、JAVA_OPTS**、(# meta_dir、sys_log_dir、audit_log_dir)

conf/fe.conf
JAVA_OPTS="-Xmx8192m，需要调整
meta_dir=元数据存放位置。默认在 fe/doris-meta/ 下，改变目录需手动创建
priority_networks=192.168.0.0/24

http_port = 8030
query_port = 9030

以上配置对应下面服务： 

http://192.168.0.21:8030
mysql -uroot -P9030 -h127.0.0.1

doris 内置默认超级管理员用户: root/NULL

Start
${DORIS_HOME}/bin/start_fe.sh --daemon
${DORIS_HOME}/bin/stop_fe.sh

State

  • cur http://127.0.0.1:8030/api/bootstrap
"msg":"success"
  • mysql> show frontends\G;
Role: FOLLOWER
IsMaster: true
Join: true
Alive: true

启动/停止脚本友好性较佳，用 root/hdfs 均可启动/停止，生成的 log/meta 均为 hdfs 权限

Doris BE

xz -dk apache-doris-be-1.2.2-bin-x86_64.tar.xz

tar -xvf apache-doris-be-1.2.2-bin-x86_64.tar

mv apache-doris-be-1.2.2-bin-x86_64 /opt/
ln -s /opt/apache-doris-be-1.2.2-bin-x86_64 /opt/doris_be

chown -R hdfs:hadoop /opt/*doris*
profile
JAVA_HOME=/usr/java/jdk1.8.0_361
DORIS_HOME=/opt/doris_be

由于从 1.2 版本开始支持 Java UDF 函数，BE 依赖于 Java 环境。安装Java UDF 函数需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下，否则可能会启动失败(be.out: Failed to initialize JNI: Failed to find JniUtil class.)。apache-doris-dependencies 包含用于支持 JDBC 外表和 JAVA UDF 的 jar 包，以及 Broker 和 AuditLoader。(倒也无需非得在 start_be.sh 中增加 export JAVA_HOME=...)

DORIS_HOME 在 conf/be.conf 中使用，如：PPROF_TMPDIR、(# storage_root_path、sys_log_dir)

conf/be.conf
priority_networks=192.168.0.0/24
storage_root_path 可以指定多个磁盘(;)，以及使用的大小(,G), (HDD or SSD)。默认为 ${DORIS_HOME}/storage, capacity limit is disk capacity, HDD(default)

be_port = 9060
webserver_port = 8040
heartbeat_service_port = 9050
brpc_port = 8060
Start
${DORIS_HOME}/bin/start_be.sh --daemon
${DORIS_HOME}/bin/stop_be.sh

启动后(先添加再启动也未尝不可)，添加 BE 节点到集群(FE 端 MySQL 下执行) 

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
ALTER SYSTEM ADD BACKEND "192.168.0.22:9050";

State

  • cur http://192.168.0.22:8040
  • mysql>show backends\G;
Alive: true

Log

log/be.out 

中有错误信息，若正常启动，则只有一条启动时间：
 start time: Tue Mar  7 14:45:45 UTC 2023
停止则无记录。
取自“https://mwbbs.eu.org/wiki/index.php?title=Doris_install_-_1.2.2&oldid=917”