1. 列出指定路径下的文件和目录

$  hadoop fs -ls <path>

假设配置三台机，分别为master，slave1，slave2

目标情况

• master：namenode，datanode，resourcemanager，zkfc，journalnode，nodemanager,zookeeper
• slave1：namenode，datanode，zkfc，journalnode，nodemanager,zookeeper
• slave2：datanode，journalnode，nodemanager，zookeeper

前置步骤

常用函数

1. get_json_object(data,'$.[name]') 获取data中json格式名为name的值, 示例如下:

select get_json_object('{"aaa":"xxxx"}',"$.aaa")
-- 结果为 xxxx

• 原理：数仓范式建模法基于关系数据库理论，将数据分解成多个规范化的表，以减少数据冗余和提高数据一致性。
• 特点：数据分散存储在多个表中，每个表包含一个实体或概念的相关信息，通过外键关联起来。
• 优点：节省存储空间、减少数据冗余、保持数据一致性。
• 缺点：复杂的查询需要进行多表联接，性能可能受到影响

二、维度建模法

• 原理：维度建模法基于“星型模式”或“雪花模式”，将数据组织成一个中心事实表（包含业务指标）和多个维度表（包含描述性信息），形成一个星型或雪花型结构。
• 特点：以事实表为中心，围绕着维度表建立关联关系，每个维度表代表一个业务维度，如时间、产品、地理位置等。
• 优点：简单直观、易于理解和查询、性能较高。
• 缺点：可能存在数据冗余，不适用于某些复杂查询场景。

Hadoop HA 安装步骤

1. 每台主机启动Zookeeper

$ zkServer.sh start

基本数据类