Doris install
跳到导航
跳到搜索
Doris 作为一款开源的 MPP 架构 OLAP 数据库，能够运行在绝大多数主流的商用服务器上。
环境需求
| Linux 系统 | 版本 |
|---|---|
| CentOS | 7.1 及以上 |
| Ubuntu | 16.04 及以上 |
| 软件 | 版本 |
|---|---|
| Java | 1.8 |
| GCC | 4.8.2 及以上 |
开发环境
| 模块 | CPU | 内存 | 磁盘 | 网络 | 实例数量 |
|---|---|---|---|---|---|
| Frontend | 2核 | 4GB | SSD 或 SATA，10GB+ | 千兆网卡 | 1 |
| Backend | 2核 | 4GB | SSD 或 SATA，50GB+ | 千兆网卡 | 1-3 |
生产环境
| 模块 | CPU | 内存 | 磁盘 | 网络 | 实例数量（最低要求） |
|---|---|---|---|---|---|
| Frontend | 16核+ | 64GB+ | SSD 或 RAID 卡，100GB+ * | 万兆网卡 | 1-3 * |
| Backend | 16核+ | 64GB+ | SSD 或 SATA，100G+ * | 万兆网卡 | 3 * |
- 关闭交换分区
- 关闭防火墙
- ext4 和 xfs 文件系统均支持（1.2 以前不支持 xfs）
- 禁用 SELinux
文件句柄数[编辑 | 编辑源代码]
# /etc/security/limits.conf
* soft nofile 65536 * hard nofile 65536
- 立即生效
ulimit -n 65536
其它[编辑 | 编辑源代码]
- Doris 的元数据要求时间精度要小于 5000 ms
sysctl[编辑 | 编辑源代码]
sysctl -w vm.max_map_count=2000000
注1：
- FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个 GB 不等。
- BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量 * 3（3副本）计算，然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。
- 一台机器上虽然可以部署多个 BE，但只建议部署一个实例，同时只能部署一个 FE。如果需要 3 副本数据，那么至少需要 3 台机器各部署一个 BE 实例（而不是1台机器部署3个BE实例）。多个FE所在服务器的时钟必须保持一致（允许最多5秒的时钟偏差）
- 测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定了整体查询延迟。
- 所有部署节点关闭 Swap。
注2：FE 节点的数量
- FE 角色分为 Follower 和 Observer，（Leader 为 Follower 组中选举出来的一种角色，以下统称 Follower）。
- FE 节点数据至少为1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时，可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。
- Follower 的数量必须为奇数，Observer 数量随意。
- 根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。
- 通常建议 10 ~ 100 台左右的机器，来充分发挥 Doris 的性能（其中 3 台部署 FE（HA），剩余的部署 BE）
- 性能与节点数量及配置正相关。在最少4台机器（一台 FE，三台 BE，其中一台 BE 混部一个 Observer FE 提供元数据备份），以及较低配置的情况下，依然可以平稳的运行 Doris。
- 如果 FE 和 BE 混部，需注意资源竞争问题，并保证元数据目录和数据目录分属不同磁盘。
Broker 部署
Broker 是用于访问外部数据源（如 hdfs）的进程。
网络需求
Doris 各个实例直接通过网络进行通讯，默认使用端口 80*，90*。
安装[编辑 | 编辑源代码]
| IP | FE | BE | OB | Broker | Memo |
|---|---|---|---|---|---|
| 192.168.0.121 | 1 | 1 | |||
| 192.168.0.122 | 1 | 1 | |||
| 192.168.0.123 | 1 | ||||
| 192.168.0.124 | 1 | 1 |