本课程内容:
第一章:课程内容简介
第二章:DAG的调度
2.1 stage的划分
2.2 stage的调度
第三章:任务调度
3.1 taskset调度的先进先出(FIFO)机制
3.2 taskset调度的公平调度(FAIR)机制
3.3 taskset调度的公平调度(FAIR)机制需要注意的点
3.4 task调度的本地性级别定义
3.5 task调度的延迟调度讲解一
3.6 task调度的延迟调度讲解二
3.7 task调度的推测机制
3.8 task调度的黑名单机制
3.9 task调度的黑名单机制使用场景
第四章 资源调度
4.1 executor资源的管理
4.2 task的launch流程及其需要注意的点
4.3 task的statusUpdate流程
第五章 Schedulers On Driver的源代码讲解
5.1 schedulers on driver的总体流程
5.2 源码讲解之schedulers的初始化
5.3 源码讲解之job提交流程
5.3 源码讲解之task结果处理
第六章 多个spark应用的调度
6.1 动态资源分配机制
6.2 External shuffle service机制
6.2 External shuffle service机制实战
-