Java基础教程

1. Java简介：跨平台、虚拟机、JDK等；
2. Java编程基础：函数、循环语句、变量等；
3. Java高级特性：类、继承、多态等；
4. Java数据集合：List、Map、Set等介绍；
5. 自动化项目管理工具Maven；
6. Java小测验。

Linux基础教程

1. Linux的安装和使用；
2. Linux文件系统；
3. Linux用户和进程管理；
4. Shell和网络基础；
5. git工具介绍；
6. Linux小测验；

JHadoop生态系统

1. Hadoop环境搭建与集群架构；
2. HDFS分布式文件系统及实战；
3. MapReduce与Yarn核心原理及架构；
4. 分布式协调Zookeeper、MapReduce；
5. SQL on Hadoop、Hive、Impala、Presto；
6. NoSQL专题HBase、Cassandra、MongoDB；
7. Hadoop企业项目实战。

Spark生态系统

1. Storm、Spout、Bolt、Topology编程；
2. Flume-NG海量日志采集系统；
3. Kafka分布式发布订阅消息系统；
4. Spark环境搭建与Kafka、 Scala开发语言；
5. Spark Core、Spark RDD、Spark SQL；
6. Spark Streaming、 Spark MLlib与机器学习；
7. SparkR数据统计分析、SparkGraphX图数据处理

大数据概述及集群架构

【理论】大数据概论、大数据技术体系（按照六层架构介绍：数据收集、数据存储、资源管理、计算引擎、数据分析以及可视化）、Hadoop发展历程、Hadoop生态系统概述

大数据环境搭建等

分布式数据收集系统：Sqoop与Flume

【理论】结构化数据收集Sqoop背景、架构、原理及使用；非结构化（日志）数据收集系统Flume背景、架构、原理及使用

利用Flume从指定目录中收集数据到HDFS；
利用Sqoop将MySQL表中数据写入HDFS；

分布式消息队列：Kafka

【理论】Kafka概述 、基本架构与工作原理、应用场景及经典架构组合等

搭建Kafka集群；编写Producer将数据写入Kafka；
编写Consumer从Kafka中读取数据

分布式存储系统：文件系统HDFS

【理论】HDFS、架构主节点NameNode、从节点DataNode、journal node解析、核心设计、安全模式、负载均衡、机架感应、HDFS操作-命令行接口；

搭建HDFS集群；使用NameNode Web UI、HDFS Shell；Java编写程序从HDFS中读取、写入、删除数据等

分布式存储系统：分布式数据库HBase

【理论】分布式数据库HBase简洁、优缺点、架构以及HBase API使用等

搭建Hbase集群；使用Hbase Web UI；使用HBase Shell；Java编写程序在hbase中创建表、写入和读取数据小案例：用户画像系统、网络爬虫

分布式分析引擎：Hive基础

【理论】Hive背景、架构、MapReduce简介、HQL的DML和DDL语法等

运行第一个MapReduce程序：WordCount；Hive环境搭建利用Hive创建表，并进行查询；Hive创建ORC与Parquet表并查询

分布式分析引擎：Hive进阶

【理论】Hive内部原理、多计算引擎（Tez与Spark）、Hive创建ORC/Parquet表、Hive调优

程序方式访问Hive；
Hive调优演示

交互式查询引擎Presto

【理论】Presto基本架构、Presto与Hive对比、Presto基本使用

Presto集群搭建；Presto使用方式；
Presto与Hive性能对比

Spark 基础

【理论】Scala语言简介、Spark基础原理与运行架构、Spark部署方式

Spark开发环境搭建；使用Spark Web UI；
如何将Spark程序运行到YARN上

Spark 程序设计

【理论】Spark编程模型、内存弹性分布式数据集的工作原理和机制、Spark RDD transform、 持久化、 checkpoint、容错与性能优化

利用intellij idea开发spark程序并运行到集群中；
spark设计电影受众分析程序

Spark SQL

【理论】基础原理、DataFrame与Dataset、Spark SQL主要函数介绍

DataFrame与Dataset开发wordcount程序；
DataFrame与Dataset设计电影受众分析程序

Spark Streaming 基础

【理论】流式计算、spark streaming、基础API--map、filter、flatMap、foreachRDD、saveAsTextFile等；高级API--window、transform、mapWithState；Redis。

Spark Streaming读取HDFS数据，统计后写入HDFS、Redis和HBase；利用mapWithState实现wordcount。

Spark Streaming进阶

【理论】保存kafka offset并恢复、spark streaming容错机制、spark streaming调优方法、structured streaming原理及关键API

利用Spark Streaming+kafka+redis实现“用户手机app行为分析系统”；实现streuctured streaming版本的wordcount

Spark MLlib数据分析挖掘程序

【理论】数据挖掘与机器学习案例、Spark MLib并行挖掘的关联规则与预测、协同过滤与推荐模型算法、推荐分析模块深度剖析、分析算法、关联规则算法、频繁模式挖掘算法MapReduce、回归预测和局部加权线性回归预测、最近邻 KNN 算法、时间序列模型算法、协同过滤算法MapReduce和 Spark 应用、决策树算法、逻辑回归算法、贝叶斯算法