 班.级.规.模.及.环.境--热.线:4008699035 手.机:15921673576( 微.信.同.号) |
|
坚持小班授课，为保证培训效果，增加互动环节，每期人数限3到5人。 |
| 上.课.时.间.和.地.点 |
上课地点：【上海】：同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】：电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】：北京中山学院/福鑫大楼 【南京分部】：金港大厦(和燕路) 【武汉分部】：佳源大厦（高新二路） 【成都分部】：领馆区1号（中和大道） 【沈阳分部】：沈阳理工大学/六宅臻品 【郑州分部】：郑州大学/锦华大厦 【石家庄分部】：河北科技大学/瑞景大厦 【广州分部】：广粮大厦 【西安分部】：协同大厦
最近开课时间(周末班/连续班/晚班）：即将开课，详情请咨询客服！ |
| 实.验.设.备 |
☆资深工程师授课
☆注重质量
☆边讲边练
☆合格学员免费推荐工作
★实.验.设.备请点击这儿查看★ |
| 质.量.保.障 |
1、免费重修；
2、课程结束后,授课老师留联系方式,保障培训效果,免费技术支持。
3、推荐机会。 |
课程大纲 |
day01- spark综述 spark简介
spark应用场景介绍
spark软件栈和生态体系
spark架构设计解析
RDD计算流程解析
spark出色的容错机制
spark和hadoop、storm等分布式框架之间的比较
spark运行模式及其原理 spark运行模式概述
local模式
standalone模式
local cluster模式
yarn-client/yarn-cluster模式
mesos模式
day01- spark最佳编程语言scala scala介绍
scala基本语法
scala高级函数
scala集合操作
scala的RPC框架AKKA
day02- spark核心编程模型 RDD基础，RDD分区，RDD数据本地性...
RDD操作，action，transformation，lazy特性
RDD简单编程示例
RDD常见的transformation操作示例
RDD常见的action操作示例
spark编程案例——手机用户日常活动地点分析
spark集群及运行时系统中各角色详解
day02- spark内核深入 spark的任务调度基本概念
RDD的Lineage
Cache和checkpoint
宽依赖和窄依赖及Stage的划分
DAGScheduler，TaskScheduler，task核心机制详解
spark shuffle机制
shuffle机制性能分析
广播变量的机制和应用
累加器的机制和应用
spark作业提交和接收过程
day03- sparksql sparksql基本概念，架构介绍
sparksql与hive等的性能对比
sparksql的使用方式，sql-shell，thriftserver，jdbc
sparksql中核心数据结构DataFrame
sparksql应用示例，各种查询例子
sparksql支持的外部数据源，hive，parquet，json等
sparksql查询hbase数据，自定义数据源，华为工具Astro
day03- spark streaming spark streaming基本概念，架构介绍
spark streaming核心数据结构Dstream
transformation转换操作，无状态转换，有状态转换
spark streaming支持的各类输入源，比如文件，socket，kafka
spark streaming的容错机制
checkpoint
spark streaming编程案例
spark streaming的性能考量，比如批次和窗口大小，并行度
day04- spark机器学习 机器学习概念介绍
机器学习的应用场景
应用机器学习的完整流程介绍
spark mllib介绍
spark mllib架构解析
MLlib经典算法解析和案例：K-Means解析和实战
day04- spark性能优化 spark性能调优总数
spark调优：内存配置相关
spark调优：GC相关
spark重要调优参数总结
spark在实战中的遇到过的那些“坑”
spark graphx 图计算概念介绍
spark graphx架构解析
spark graphx编程模型
spark graphx应用示例 |
|
|
|
|
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
