Hive install

来自牛奶河Wiki
阿奔讨论 | 贡献2023年2月13日 (一) 17:30的版本
跳到导航 跳到搜索

Hive 3 新特性

  • 不再支持 Mr,取而用 Tez 查询引擎,且支持两种查询模式:Container 和 LLAP
  • Hive CLI不再支持(被 beeline 取代)
  • SQL Standard Authorization 不再支持,且默认建的表就已经是 ACID 表
  • 支持 “批查询” (TEZ) 或者 “交互式查询”(LLAP)

Hive 3 其他特性:

  • 物化视图重写
  • 自动查询缓存
  • 会话资源限制:用户会话数,服务器会话数,每个服务器每个用户会话数限制

安装包

wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
tar -zxvf apache-hive-3.1.3-bin.tar.gz
ln -s apache-hive-3.1.1-bin hive

mkdir /tmp/hive

profile

#hive, 20230212, Adam
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile
hive --version

INIT

## Init hdfs
init-hive-dfs.sh
#? hive-config.sh

## Init Schema
cd /opt/hive/bin
schematool -dbType derby -initSchema
# hive 元数据将清空,但表及数据在 hdfs 中存在(如 test 库 test 表重建后,数据可读。默认:/user/hive/warehouse/test.db/test)

使用 MySQL 作为资料库

  • 将驱动 /usr/share/java/mysql-connector-j-8.0.31.jar 拷贝到 $HIVE_HOME/lib 目录下。
  • 将 hive-site.xml 中,derby配置改为 MySQL