◆时： 共5部份,30学时
        
        ☆注重质量 ☆边讲边练32

+84322
        ☆合格学员免费推荐工作
        ★实.验.设.备请点击这儿查看★

        1、免费重修；
        2、课程结束后,授课老师留联系方式,保障培训效果,免费技术支持。
        3、推荐机会。

一、Linux基础
     1、Linux的实验环境和安装配置
    2、使用VI编辑器
     3、Linux的目录结构
     4、文件目录操作和压缩命令
    5、Linux的权限管理 
     6、安装JDK常用软件
     7、案例分析：Java的死锁

二、Hadoop的背景知识与起源

    8、实验环境简介
    9、本门课程各章概述
  10、大数据的起源和基本概念

  11、Google的基本思想之一：GFS

  12、Google的基本思想之二：MapReduce

  13、Google的基本思想之三：BigTable

三、搭建Hadoop环境

  14、Hadoop的目录结构和本地模式的搭建

  15、搭建Hadoop的伪分布模式

  16、免密码登录的原理和配置

  17、搭建Hadoop的全分布模式

四、Apache Hadoop的体系结构

  18、HDFS体系结构之一：NameNode

  19、HDFS体系结构之一：DataNode

  20、HDFS体系结构之三：Secondary NameNode

  21、Yarn的体系结构和资源分配方式

  22、HBase的体系结构

  23、主从结构的单点故障问题

五、HDFS

  24、HDFS的操作方式之一：Web Console
  25、HDFS的操作方式之二：命令行
  26、HDFS的操作方式之三：使用Java创建目录和HDFS的权限
  27、使用JavaAPI上传数据
  28、使用JavaAPI下载数据
  29、使用JavaAPI查看数据文件的元信息
  30、HDFS上传文件的原理和过程
  31、HDFS下载文件的原理和过程
  32、什么是Java的动态代理
  33、Java动态代理的应用案例：数据库连接池
  34、什么是RPC和RPC的实现
  35、HDFS的回收站
  36、HDFS的快照
  37、HDFS的配额
  38、HDFS的安全模式和权限管理
  39、HDFS集群简介

六、MapReduce

  40、知识点回顾：MapReduce的编程模型和Demo演示
  41、分析WordCount单词计数的数据流动过程
  42、开发自己的WordCount程序
  43、案例分析：求每个部门的工资总额数据处理的流程
  44、编程实现求每个部门的工资总额
  45、MapReduce的序列化和案例分析
  46、序列化编程案例：求每个部门的工资总额
  47、基本数据类型的排序
  48、对象进行排序
  49、分区的基本概念
  50、编程案例：自定义分区
  51、什么是Combiner？
  52、什么是Shuffle？
  53、搭建Hadoop的Eclipse开发环境

  

七、MapReduce编程案例

  54、案例一：去掉重复数据
  55、知识复习：数据库中的多表查询
  56、案例二：多表查询之等值连接的分析过程
  57、案例二：多表查询之等值连接的MapReduce实现
  58、案例三：多表查询之自连接的分析过程
  59、案例三：多表查询之自连接的实现
  60、案例四：分析倒排索引的实现过程
  61、案例四：编程实现倒排索引
  62、案例五：使用MRUnit进行单元测试
  63、第一阶段课程小结

八、NoSQL数据库之：HBase

  64、NoSQL简介和常见的NoSQL数据库
  65、HBase体系结构和表结构
  66、搭建HBase环境和实现HA
  67、HBase在ZK中保存的数据和HA
  68、使用HBase Shell操作HBase
  69、使用JavaAPI操作HBase
  70、HBase中数据保存的过程和Region的分裂
  71、HBase的过滤器
  72、HBase上的MapReduce数据的分析过程
  73、开发HBase上的MapReduce程序

九、数据分析引擎之：Hive

  74、Hive简介和Hive的体系结构
  75、Hive的安装和配置
  76、Hive数据模型之：内部表
  77、Hive数据模型之：分区表
  78、Hive数据模型之：外部表
  79、Hive数据模型之：桶表
  80、Hive数据模型之：视图
  81、Hive的Java客户端
  82、Hive的自定义函数

十、数据分析引擎之：Pig

  83、Pig简介和安装配置
  84、Pig的常用命令
  85、Pig的数据模型
  86、使用PigLatin语句分析数据
  87、Pig的自定义函数一：自定义过滤函数和自定义运算函数
  88、Pig的自定义函数二：自定义加载函数

十一、数据采集引擎：Sqoop和Flume

  89、准备数据采集的实验环境
  90、使用Sqoop采集关系型数据库的数据
  91、使用Flume采集日志

十二、集成管理工具：HUE

  92、安装和配置使用HUE

十三、Hadoop序列化框架：Avro

  93、Avro课程概述
  94、Java的序列化
  95、Hadoop的序列化
  96、Avro的数据类型和Schema
  97、使用Schema实现Java的序列化
  98、使用Schema实现Java的反序列化
  99、使用Avro Tools生成Schema生成类实现Java的序列化
  100、使用Avro Tools生成Schema生成类实现Java的反序列化
  101、知识点回顾：Hadoop中的RPC通信
  102、在RPC使用Avro实现消息的通信之一：定义消息格式Schema
  103、在RPC使用Avro实现消息的通信之二：开发服务器端程序
  104、在RPC使用Avro实现消息的通信之三：开发客户端端程序
  105、知识点回顾：Hadoop中的MapReduce
  106、在MapReduce中使用Avro之一：定义数据格式Schema
  107、在MapReduce中使用Avro之二：开发Mapper端程序
  108、在MapReduce中使用Avro之三：开发Reducer端程序
  109、在MapReduce中使用Avro之四：开发Job主程序端程序
  110、在MapReduce中使用Avro之五：运行测试
  111、在MapReduce任务中使用Schema的生成类

十四、工作流引擎：Oozie

  112、Oozie课程概述与基本概念
  113、安装和配置Oozie
  114、演示Oozie自带的Example
  115、Oozie控制节点
  116、Oozie的动作节点之一：Fs
  117、Oozie的动作节点之二：Java-Main
  118、Oozie的动作节点之三：MapReduce
  119、Oozie的动作节点之四：Sqoop
  110、Oozie的动作节点之五：Hive
  111、Oozie的动作节点之六：Pig
  112、综合案例：处理商品订单
  113、什么是OOzie的Coordinator
  114、什么是OOzie的Bundle

十五、Hadoop HA的实现和HDFS的联盟

  115、上次课程复习
  116、ZooKeeper简介和安装配置
  117、HadoopHA的实现原理
  118、利用ZooKeeper实现Hadoop的HA
  119、上次课程复习
  120、HDFS联盟的体系结构
  121、搭建HDFS联盟的环境
  122、第二阶段课程总结

十六、NoSQL数据库之：Redis

  123、Redis简介与安装配置
  124、Redis的操作和适用场景
  125、Redis的事务
  126、Redis的消息机制
  127、Redis的持久化
  128、Redis集群的主从复制
  129、Redis的HA实现
  130、Redis的代理分片

十七、实时处理框架：Apache Storm

  131、大数据实时计算简介
  132、Apache Storm的体系结构
  133、搭建Storm的伪分布模式
  134、搭建Storm的全分布和HA
  135、执行Storm的Demo程序
  136、Storm在ZK上保存的信息
  137、WordCount数据处理的过程
  138、开发自己的WordCount程序
  139、Storm的Worker间通信机制
  140、集成Redis
  141、集成HDFS
  142、集成HBase