Doris install:修订间差异
跳到导航
跳到搜索
无编辑摘要 |
|||
第108行: | 第108行: | ||
==== Broker 部署 ==== | ==== Broker 部署 ==== | ||
Broker 是用于访问外部数据源(如 | Broker 是用于访问外部数据源(如 hdfs)的进程。 | ||
==== 网络需求 ==== | ==== 网络需求 ==== |
2023年11月25日 (六) 20:47的版本
Doris 作为一款开源的 MPP 架构 OLAP 数据库,能够运行在绝大多数主流的商用服务器上。
环境需求
Linux 系统 | 版本 |
---|---|
CentOS | 7.1 及以上 |
Ubuntu | 16.04 及以上 |
软件 | 版本 |
---|---|
Java | 1.8 |
GCC | 4.8.2 及以上 |
开发环境
模块 | CPU | 内存 | 磁盘 | 网络 | 实例数量 |
---|---|---|---|---|---|
Frontend | 8核+ | 8GB+ | SSD 或 SATA,10GB+ * | 千兆网卡 | 1 |
Backend | 8核+ | 16GB+ | SSD 或 SATA,50GB+ * | 千兆网卡 | 1-3 * |
生产环境
模块 | CPU | 内存 | 磁盘 | 网络 | 实例数量(最低要求) |
---|---|---|---|---|---|
Frontend | 16核+ | 64GB+ | SSD 或 RAID 卡,100GB+ * | 万兆网卡 | 1-3 * |
Backend | 16核+ | 64GB+ | SSD 或 SATA,100G+ * | 万兆网卡 | 3 * |
- 关闭交换分区
- 关闭防火墙
- ext4 和 xfs 文件系统均支持(1.2 以前不支持 xfs)
- 禁用 SELinux
文件句柄数[编辑 | 编辑源代码]
# /etc/security/limits.conf
* soft nofile 65536 * hard nofile 65536
其它[编辑 | 编辑源代码]
- Doris 的元数据要求时间精度要小于 5000 ms
sysctl[编辑 | 编辑源代码]
sysctl -w vm.max_map_count=2000000
注1:
- FE 的磁盘空间主要用于存储元数据,包括日志和 image。通常从几百 MB 到几个 GB 不等。
- BE 的磁盘空间主要用于存放用户数据,总磁盘空间按用户总数据量 * 3(3副本)计算,然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。
- 一台机器上虽然可以部署多个 BE,但只建议部署一个实例,同时只能部署一个 FE。如果需要 3 副本数据,那么至少需要 3 台机器各部署一个 BE 实例(而不是1台机器部署3个BE实例)。多个FE所在服务器的时钟必须保持一致(允许最多5秒的时钟偏差)
- 测试环境也可以仅适用一个 BE 进行测试。实际生产环境,BE 实例数量直接决定了整体查询延迟。
- 所有部署节点关闭 Swap。
注2:FE 节点的数量
- FE 角色分为 Follower 和 Observer,(Leader 为 Follower 组中选举出来的一种角色,以下统称 Follower)。
- FE 节点数据至少为1(1 个 Follower)。当部署 1 个 Follower 和 1 个 Observer 时,可以实现读高可用。当部署 3 个 Follower 时,可以实现读写高可用(HA)。
- Follower 的数量必须为奇数,Observer 数量随意。
- 根据以往经验,当集群可用性要求很高时(比如提供在线业务),可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务,建议部署 1 个 Follower 和 1-3 个 Observer。
- 通常建议 10 ~ 100 台左右的机器,来充分发挥 Doris 的性能(其中 3 台部署 FE(HA),剩余的部署 BE)
- 性能与节点数量及配置正相关。在最少4台机器(一台 FE,三台 BE,其中一台 BE 混部一个 Observer FE 提供元数据备份),以及较低配置的情况下,依然可以平稳的运行 Doris。
- 如果 FE 和 BE 混部,需注意资源竞争问题,并保证元数据目录和数据目录分属不同磁盘。
Broker 部署
Broker 是用于访问外部数据源(如 hdfs)的进程。
网络需求
Doris 各个实例直接通过网络进行通讯,默认使用端口 80*,90*。
安装[编辑 | 编辑源代码]
IP | FE | BE | OB | Broker | Memo |
---|---|---|---|---|---|
192.168.0.121 | 1 | 1 | |||
192.168.0.122 | 1 | 1 | |||
192.168.0.123 | 1 | ||||
192.168.0.124 | 1 | 1 |