曙海教育集团
全国报名免费热线:4008699035 微信:shuhaipeixun
或15921673576(微信同号) QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
 
大数据架构与数据挖掘课程

 
  班.级.规.模.及.环.境--热.线:4008699035 手.机:15921673576( 微.信.同.号)
      每个班级的人数限3到5人,互动授课, 保障效果,小班授课。
  上间和地点
上部份地点:【上海】同济大学(沪西)/新城金郡商务楼(11号线白银路站)【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院【北京分部】:北京中山学院/福鑫大楼【南京分部】:金港大厦(和燕路)【武汉分部】:佳源大厦(高新二路)【成都分部】:领馆区1号(中和大道)【沈阳分部】:沈阳理工大学/六宅臻品【郑州分部】:郑州大学/锦华大厦【石家庄分部】:河北科技大学/瑞景大厦
最近开间(周末班/连续班/晚班):2019年1月26日
  实.验.设.备
    ◆小班教学,教学效果好
       
       ☆注重质量☆边讲边练

       ☆合格学员免费推荐工作
       ★实.验.设.备请点击这儿查看★
  质.量.保.障

       1、免费重修;
       2、课程结束后,授课老师留联系方式,保障培训效果,免费技术支持。
       3、推荐机会。☆合格学员免费颁发相关工程师等资格证书,提升职业资质。专注高端技术培训15年,曙海学员的能力得到大家的认同,受到用人单位的广泛赞誉,曙海的证书受到广泛认可。

部份程大纲
 
  • 目标收益
    本课程将为大家全面而又深入的介绍Hadoop和Spark平台的构建流程,涉及Hadoop和Spark系统基础知识,概念及架构, Hadoop和Spark实战技巧(数据挖掘和机器学习),Hadoop和Spark经典案例等。
    通过本课程实践,帮助学员对Hadoop生态系统有一个清晰明了的认识;理解Hadoop系统适用的场景;掌握Hadoop等初 中级应用开发技能;搭建稳定可靠的Hadoop集群,满足生产环境的标准;掌握如何应用hadoop和spark完成数据挖掘和机器学习任务;了解和清楚大数据应用的几个行业中的经典案例。
  • 培训对象
  • 各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
  • 学员基础
  • 学员学习本课程应具备下列基础知识: 1) 了解Java语言; 2) 了解Linux系统;
    3) 数据挖掘基础
  • 课程大纲
  • 主题 内容
    大数据架构概述
  • 1. 大数据层级结构
    介绍大数据系统基本架构与流程
    2. Hadoop生态系统概述以及版本演化
    概要介绍Hadoop生态系统及其版本演化历史,并给出hadoop版本选择建议。
    3. Spark生态系统概述
    概要介绍Spark生态系统及其特点,并与Hadoop对比
  • 数据收集系统Flume与Sqoop
  • 介绍如何使用flume和sqoop两个系统将外部流式数据(比如网站日志,用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘
  • 大数据存储系统HDFS与HBase
  • 1. 1. HDFS 2.0 原理、特性与基本架构
    2. 理论:介绍HDFS 2.0原理与架构,以及使用方式
    3.
    4. 2. HBase原理,基本架构与案例分析
    5. 理论:介绍HBase应用场景、原理和架构,介绍几个HBase典型应用案例,包括互联网应用案例和银行应用案例。
  • 分布式计算技术MapReduce与Hive
  • 1. 介绍计算框架MapReduce基本原理,架构及程序设计方式
    2. 动手编写第一个MapReduce程序
    3. Hive基本原理及使用方式
  • 分布式计算技术Spark
  • 1. 介绍计算框架Spark基本原理,架构及程序设计方式
    2. Spark程序设计
  • 数据挖掘与机器学习
  • 1. 常见的数据挖掘与机器学习算法
    2. Hadoop数据挖掘库mahout
    3. Spark数据挖掘库mllib
  • 应用案例1:基于Hadoop的构建数据仓库
  • 1. 数据仓库基础介绍
    2. 如何利用大数据系统构建数据仓库
    使用Flume+HDFS+MapReduce+Hive构建数据仓库
    3. 数据仓库基本架构
    4. 数据仓库应用
    如报表生成
  • 应用案例2:用户画像系统
  • 1. 什么是用户画像系统
    2. 如何构建用户画像系统
    使用Flume/sqoop+HDFS+HBase+MapReduce/Spark+redis构建用户标签系统
    3. 用数据挖掘方式构建用户标签
    应用逻辑回归、聚类、分类等机器学习和数据挖掘算法构建用户标签
    4. 用户画像系统应用
    用户画像系统在用户信用等级分级、大数据营销中、用户流失预警、潜在用户分析、异常检测与分析等方面的应用
  • 应用案例3:商品推荐系统
  • 1. 什么是商品推荐系统
    2. 商品推荐系统基本架构
    使用Flume+HDFS +Spark+Redis构建推荐系统
    3. 推荐算法
    推荐算法详解
  • 应用案例4:数据挖掘系统
  • 1. 什么是数据挖掘系统
    2. 数据挖掘算法的使用
    以Spark为主,如何设计和实现逻辑回归、聚类、分类等机器学习和数据挖掘算法
    3. 数据挖掘的典型应用
 

-

 

  备案号:沪ICP备08026168号 .(2014年7月11)..............