Doris install:修订间差异

来自牛奶河Wiki
跳到导航 跳到搜索
第81行: 第81行:
  * soft nofile 65536
  * soft nofile 65536
  * hard nofile 65536
  * hard nofile 65536
# 立即生效
ulimit -n 65536


==== 其它[编辑 | 编辑源代码] ====
==== 其它[编辑 | 编辑源代码] ====

2023年11月27日 (一) 13:51的版本

Doris 作为一款开源的 MPP 架构 OLAP 数据库,能够运行在绝大多数主流的商用服务器上。

环境需求

Linux 系统 版本
CentOS 7.1 及以上
Ubuntu 16.04 及以上
软件 版本
Java 1.8
GCC 4.8.2 及以上

开发环境​

模块 CPU 内存 磁盘 网络 实例数量
Frontend 2核 4GB SSD 或 SATA,10GB+ 千兆网卡 1
Backend 2核 4GB SSD 或 SATA,50GB+ 千兆网卡 1-3

生产环境​

模块 CPU 内存 磁盘 网络 实例数量(最低要求)
Frontend 16核+ 64GB+ SSD 或 RAID 卡,100GB+ * 万兆网卡 1-3 *
Backend 16核+ 64GB+ SSD 或 SATA,100G+ * 万兆网卡 3 *
  • 关闭交换分区
  • 关闭防火墙
  • ext4 和 xfs 文件系统均支持(1.2 以前不支持 xfs)
  • 禁用 SELinux

文件句柄数[编辑 | 编辑源代码]

# /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
  1. 立即生效

ulimit -n 65536

其它[编辑 | 编辑源代码]

  • Doris 的元数据要求时间精度要小于 5000 ms

sysctl[编辑 | 编辑源代码]

sysctl -w vm.max_map_count=2000000

注1:

  1. FE 的磁盘空间主要用于存储元数据,包括日志和 image。通常从几百 MB 到几个 GB 不等。
  2. BE 的磁盘空间主要用于存放用户数据,总磁盘空间按用户总数据量 * 3(3副本)计算,然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。
  3. 一台机器上虽然可以部署多个 BE,但只建议部署一个实例,同时只能部署一个 FE。如果需要 3 副本数据,那么至少需要 3 台机器各部署一个 BE 实例(而不是1台机器部署3个BE实例)。多个FE所在服务器的时钟必须保持一致(允许最多5秒的时钟偏差)
  4. 测试环境也可以仅适用一个 BE 进行测试。实际生产环境,BE 实例数量直接决定了整体查询延迟。
  5. 所有部署节点关闭 Swap。

注2:FE 节点的数量

  1. FE 角色分为 Follower 和 Observer,(Leader 为 Follower 组中选举出来的一种角色,以下统称 Follower)。
  2. FE 节点数据至少为1(1 个 Follower)。当部署 1 个 Follower 和 1 个 Observer 时,可以实现读高可用。当部署 3 个 Follower 时,可以实现读写高可用(HA)。
  3. Follower 的数量必须为奇数,Observer 数量随意。
  4. 根据以往经验,当集群可用性要求很高时(比如提供在线业务),可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务,建议部署 1 个 Follower 和 1-3 个 Observer。
  • 通常建议 10 ~ 100 台左右的机器,来充分发挥 Doris 的性能(其中 3 台部署 FE(HA),剩余的部署 BE)
  • 性能与节点数量及配置正相关。在最少4台机器(一台 FE,三台 BE,其中一台 BE 混部一个 Observer FE 提供元数据备份),以及较低配置的情况下,依然可以平稳的运行 Doris。
  • 如果 FE 和 BE 混部,需注意资源竞争问题,并保证元数据目录和数据目录分属不同磁盘。

Broker 部署​

Broker 是用于访问外部数据源(如 hdfs)的进程。

网络需求​

Doris 各个实例直接通过网络进行通讯,默认使用端口 80*,90*。

安装[编辑 | 编辑源代码]

IP FE BE OB Broker Memo
192.168.0.121 1 1
192.168.0.122 1 1
192.168.0.123 1
192.168.0.124 1 1