曙海教育集团
全国报名免费热线:4008699035 微信:shuhaipeixun
或15921673576(微信同号) QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
 
Spark深入浅出企业级最佳实践课程

 
  班.级.规.模.及.环.境--热.线:4008699035 手.机:15921673576( 微.信.同.号)
      每个班级的人数限3到5人,互动授课, 保障效果,小班授课。
  上间和地点
上部份地点:【上海】同济大学(沪西)/新城金郡商务楼(11号线白银路站)【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院【北京分部】:北京中山学院/福鑫大楼【南京分部】:金港大厦(和燕路)【武汉分部】:佳源大厦(高新二路)【成都分部】:领馆区1号(中和大道)【沈阳分部】:沈阳理工大学/六宅臻品【郑州分部】:郑州大学/锦华大厦【石家庄分部】:河北科技大学/瑞景大厦
最近开间(周末班/连续班/晚班):2019年1月26日
  实.验.设.备
    ◆小班教学,教学效果好
       
       ☆注重质量☆边讲边练

       ☆合格学员免费推荐工作
       ★实.验.设.备请点击这儿查看★
  质.量.保.障

       1、免费重修;
       2、课程结束后,授课老师留联系方式,保障培训效果,免费技术支持。
       3、推荐机会。☆合格学员免费颁发相关工程师等资格证书,提升职业资质。专注高端技术培训15年,曙海学员的能力得到大家的认同,受到用人单位的广泛赞誉,曙海的证书受到广泛认可。

部份程大纲
 
  • 培训内容
    第一部分
    1、Spark的架构设计
    1.1 Spark生态系统剖析
    1.2 Spark的架构设计剖析
    1.3 RDD计算流程解析
    1.4 Spark的出色容错机制
    2、Spark编程模型
    2.1 RDD
    2.2 transformation
    2.3 action
    2.4 lineage
    2.5宽依赖与窄依赖
    3、深入Spark内核
    3.1 Spark集群
    3.2 任务调度
    3.3 DAGScheduler
    3.4 TaskScheduler
    3.5 Task内部揭秘
    4、Spark的广播变量与累加器
    4.1 广播变量的机制
    4.2 广播变量使用最佳实践
    4.3 累加器的机制
    4.4 累加器使用的最佳实践
    5、编写Spark程序
    5.1 程序数据的来源:File、HDFS、HBase、S3等
    5.2 IDE环境构建
    5.3 Maven
    5.4 sbt.
    5.5 编写并部署Spark程序的实例
    6、SparkContext解析和数据加载以及存储
    6.1 源码剖析SparkContext
    6.2 Scala、Java、Python使用SparkContext
    6.4 加载数据成为RDD
    6.5 把数据物化
    第二部分
    7、深入实战RDD
    7.1 DAG
    7.2 深入实战各种Scala RDD Function
    7.3 Spark Java RDD Function
    7.4 RDD的优化问题
    8、Shark的原理和使用
    8.1 Shark与Hive
    8.2 安装和配置Shark
    8.3 使用Shark处理数据
    8.4 在Spark程序中使用Shark Queries
    8.5 SharkServer
    8.6 思考Shark架构
    9、Spark的机器学习
    9.1 LinearRegression
    9.2 K-Means
    9.3 Collaborative Filtering
    10、Spark的图计算GraphX
    10.1 Table Operators
    10.2 Graph Operators
    10.3 GraphX
    11、Spark SQL
    11.1 Parquet支持
    11.2 DSL
    11.3 SQL on RDD
    第三部分
    12、Spark实时流处理
    12.1 DStream
    12.2 transformation
    12.3 checkpoint
    12.4 性能优化
    13、Spark程序的测试
    13.1 编写可测试的Spark程序
    13.2 Spark测试框架解析
    13.3 Spark测试代码实战
    14、Spark的优化
    14.1 Logs
    14.2 并发
    14.3 内存
    14.4 垃圾回收
    14.5 序列化
    14.6 安全
    15、Spark on Yarn
    15.1 Spark on Yarn的架构原理
    15.2 Spark on Yarn的最佳实践
    16、JobServer
    16.1 JobServer的架构设计
    16.2 JobServer提供的接口
    16.3 JobServer最佳实践
 

-

 

  备案号:沪ICP备08026168号 .(2014年7月11)..............