班.级.规.模.及.环.境--热.线:4008699035 手.机:15921673576( 微.信.同.号) |
每个班级的人数限3到5人,互动授课, 保障效果,小班授课。 |
上间和地点 |
上部份地点:【上海】同济大学(沪西)/新城金郡商务楼(11号线白银路站)【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院【北京分部】:北京中山学院/福鑫大楼【南京分部】:金港大厦(和燕路)【武汉分部】:佳源大厦(高新二路)【成都分部】:领馆区1号(中和大道)【沈阳分部】:沈阳理工大学/六宅臻品【郑州分部】:郑州大学/锦华大厦【石家庄分部】:河北科技大学/瑞景大厦 最近开间(周末班/连续班/晚班):2019年1月26日 |
实.验.设.备 |
◆小班教学,教学效果好 ☆注重质量☆边讲边练 ☆合格学员免费推荐工作 ★实.验.设.备请点击这儿查看★ |
质.量.保.障 |
1、免费重修; 2、课程结束后,授课老师留联系方式,保障培训效果,免费技术支持。 3、推荐机会。☆合格学员免费颁发相关工程师等资格证书,提升职业资质。专注高端技术培训15年,曙海学员的能力得到大家的认同,受到用人单位的广泛赞誉,曙海的证书受到广泛认可。 |
部份程大纲 |
|
- 培训对象
- 各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
- 学员基础
- 了解Linux系统及相关语言环境
- 主题 内容
-
- Spark
生态介绍
- Mapreduce、storm和spark模型的比较和使用场景介绍
Spark产生背景
Spark(内存计算框架)
SparkSteaming(流式计算框架)
Spark SQL(ad-hoc)
Mllib(MachineLearning)
GraphX(bagel将被代)
DlinkDB介绍
SparkR介绍
- Spark
安装部署
- Spark安装简介
Spark的源码编译
Spark Standalone安装
Spark Standalone HA安装
Spark应用程序部署工具spark-submit
Spark的高可用性部署
-
- Spark
运行架构和解析
- Spark的运行架构
基本术语
运行架构
Spark on Standalone运行过程
Spark on YARN 运行过程
Spark运行实例解析
Spark on Standalone实例解析
Spark on YARN实例解析
- Spark
scala编程
- Scala基本语法
Scala开发环境搭建
Scala开发Spark应用程序
使用java编程
使用scala编程
使用python编程
- Spark
编程模型和解析
- Spark的编程模型
Spark编程模型解析
RDD的特点、操作、依赖关系
Spark应用程序的配置
-
- Spark Streaming原理和实践
- Spark Streaming与Strom的区别
Kafka的部署
Kafka与Spark Streaming的整合
Spark Streaming原理
Spark流式处理架构
DStream的特点
Dstream的操作和RDD的区别
Spark Streaming的优化
Spark Streaming实例
文本实例
网络数据处理
Kafka+Spark Streaming实现日志的实时分析案例
-
- Spark
SQL原理和实践
- Spark SQL原理
Spark SQL的Catalyst优化器
Spark SQL内核
Spark SQL和Hive
Spark SQL的实例和编程
Spark SQL的实例操作demo
Spark SQL的编程
DataFrame架构和原理
DataFrame支持的统计和数学函数介绍
从RDD创建DataFrame
从Hive表创建DataFrame
从数据源创建DataFrame
-
- Spark的数据源
- Spark与HDFS的整合
HDFS RDD原理和实现
Spark与Hbase的整合
Spark与Cassendera整合
Hbase RDD的分区读取
Hbase RDD的原理和实现
Spark parallelism RDD的工作机制
-
- Spark 数据挖掘
- Mllib的介绍
graphX核心原理
table operator和graph operator区别
vertices、edges和triplets介绍
构建一个graph
SparkR原理
SparkR实战
-
- 典型项目
案例实战
- 基于spark日志分析
个性化推荐系统:带你揭开其神秘面纱
在线投放引擎
揭开淘宝点击推荐系统的神秘面纱
淘宝数据服务架构—实时计算平台
-
- Spark的优化
- 序列化优化——Kryo
Spark参数优化实战
Spark 任务的均匀分布策略
Partition key倾斜的解决方案
Spark任务的监控
GC的优化
Spark Streaming吞吐量优化
Spark RDD使用内存的优化策略
Spark在使用中的感想分享
|