主题

授课内容

Hadoop数据仓库概述

1.hadoop数据仓库与传统仓库区别

2. hadoop数据仓库架构

3. hadoop数据仓库关键模块

数据接入与存储、数据加工，数据建模，数据分析及可视化等模块 

4. hadoop仓库关键点

数据质量把控

数据模型选择

OLAP引擎选择

Hadoop数据仓库：数据接入与存储模块

1. 数据接入模块关键技术

讲解sqoop，flume，kafka以及databus等常用开源技术以及它们对应的应用场景

2. 数据存储模块关键技术

讲解hdfs（不同存储格式及压缩格式对性能的影响）、hbase、kudu、hive等开源技术以及它们对应的应用场景

Hadoop数据仓库：数据加工模块

数据加工模块关键技术

讲解spark/hive及spark streaming相关技术以及对应应用场景

Hadoop数据仓库：数据建模

1. 1. Hadoop数据模型

涉及原始表，聚集表以及cube等

涉及元信息管理系统hive metastore

2. 数据模型选择原则

Hadoop数据仓库：数据分析

计算引擎的分类及对应应用场景

涉及hive，presto/impala以及kylin三类系统以及对应应用场景

Hadoop数据仓库：数据可视化

1. 自研系统

C3，Echarts等

2. 商业系统

tableau等

Hadoop数据仓库实例：某互联网公司TB及数据仓库构建案例

1. 项目背景

2. 系统架构

3. 关键技术点和特色

4. 经验分享