Apache NiFi大数据数据处理和分发系统培训实战成都常州济南长沙武汉重庆哪家好哪里有

Apache NiFi大数据数据处理和分发系统培训实战
课程信息
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。
培训特色
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。
目标收益
NiFi这个项目在2015年7月成功成为Apache开源社区的顶级项目，NiFi之前是在美国国家安全局使用了8年的一个可视化，可定制的数据集成产品，2014年贡献给了Apache开源社区。我们认为NiFi的出现填补的大数据集成领域的空白，它不仅提供了可视化的工具实现大数据环境下不同系统之间进行数据移动和互联互通如SQL，HDFS，Kafka， HBASE， Solr，HTTP(s)、(s)FTP 而且还可以以可视化的方式进行各种数据格式的转换，json，xml，avro等。NiFi的出现使得大数据环境下的数据移动变得简单、高效、安全、可视化，大大方便了业务和开发人员。
培训对象
大数据开发团队、大数据运维团队、数据采集和ETL人员、数据治理和管理人员
课程大纲
主题内容
模块 1：Nifi原理和架构
Nifi的功能概述
Nifi原理和架构
Nifi基本模块介绍
Nifi Groups、Processor、queue和connector模块介绍
Nifi toolbar 界面演示
模块2：Nifi安装和配置
Nifi单机版安装
Nifi分布式安装
Nifi slaves节点配置
数据丢失容错和保证交付
低延迟和高吞吐量
动态优先级
流可以在运行时修改
模块3：GUI 操作介绍
无缝体验设计、控制和监视
processor的create、stop、start、restart、delete等操作
模块4：Nifi自带处理器介绍
Processor的原理和功能
Kafka Processor介绍和实战
JMS Processor介绍和实战
Hbase、Cassandera、redis Processor介绍和实战
Hdfs Processor、spark Streaming实战
JDBC Processor介绍和实战
FTP、Http、XML、Json Processor介绍和实战
模块5：创建Nifi数据流
创建发送/接收目录
getFile和putFile Processor创建
创建复制文件从发送放到接收
创建Queue队列
模块6：创建高级数据流
自定义文件名
添加自定义属性
添加正则表达式
实现Path过滤规则
模块7：Nifi安全
创建用户、用户组、角色
SSL,SSH,HTTPS加密认证
可插拔的基于角色的验证/授权
基于webUI的SLA认证授权
模块8：创建Nifi处理器
实现一个Kafka、JMS到HDFS的流程设计
查看运行日志
查看监控
模块9：Nifi集群配置和管理
Nifi集群添加节点
删除节点
Nifi性能优化
Slaves节点的负载均衡配置
制定特定的Processor到特定的node节点
集群动态负载均衡配置
模块10：用户自定义处理器
eclipse工程创建
实现一个FilterFileProcessor功能
编译&添加到Nifi的lib下面
创建用户自定义的FilterFile处理器
模块11：Nifi实战
Nifi在互联网的使用实战
Nifi在某大型商业银行实战案例分享
3.IAAS存储选型及规划
四：云数据中心运维
1. 云数据中心面临的主要问题
2. 云数据中心运维平台总体架构。
3. 云数据中心监控
4. 云数据中心资本管理
5. IT服务管理
五：云数据中心基础设施规划与建设
1. 土建和施工
2. 绿色机房的规划
3. 绿色机房建设要点
六：灾备解决方案的规划与建设
1. 灾备的概念
2. 灾备的标准规范
3. 灾备的建设要点
七：传统数据中心的改造和整合
1. 架构治理的框架
2. 运营模型
3. 传统数据中心改造和整合
八：云数据中心安全
1. 从“斯诺登事件”看安全
2. 云数据中心安全措施
3. 安全机制与应急方案
九：云数据中心展望
1. 标准化数据中心
2. 绿色节能模式的深入应用。
3. 大虚拟化时代的到来
4. 云数据中心在大数据方向的应用
7.2　使用ansible-vault
7.3　典型应用场景
第8章　Ansible与云计算
8.1　了解云平台管理流程
8.2　Ansible AWS和OpenStack
8.3　Ansible与Docker
8.4　Ansible Jenkins
第9章　部署Zabbix组件
9.1　了解部署流程
9.2　编写业务roles
9.3　安装部署
第10章　部署HAProxy + LAMP架构
10.1　了解整体架构流程
10.2　编写业务roles
10.3　配置部署以及测试
10.4　扩容与维护
第11章　大数据环境的应用实战
11.1　某运营商大数据环境
11.2　准备大数据集群环境
11.3　部署Hadoop集群
11.4　部署后Hadoop初始化与验证
第12章　Ansible管理Windows系统
12.1　Ansible管理Windows工作原理
12.2　搭建Ansible管理工作组Windows环境
12.3　搭建Ansible管理活动目录Windows环境
12.4　支持管理Windows模块
12.5　常用Windows管理实例
第13章　网络自动化管理的应用实战
13.1　网络管理也自动化了
13.2　Ansible官方集成的网络角色
13.3　生成配置文件及部署
13.4　通过SNMP方式配置网络
13.5　网络设备厂商提供接口实现自动化
第14章　Ansible API
14.1　runner API
14.2　playbook API
14.3　使用Flask封装Ansible API
14.4　使用Celery实现任务异步化
14.5　使用jQuery Ajax异步请求