大数据转型及发展
指导会

点击报名

限额:200人
已报:138人

光环2000元大数据
奖学金

点击申请

仅限20名

大数据学习能力评测
你的资质适合学习大数据吗?

测试一下

大势所趋,大数据+时代来临

总理站台、主席打call,大数据席卷中国!

前景无限
十三五规划,万亿级大数据市场爆发,大数据时代已经来临,下一波年薪百万的IT人就是你!方向比努力更重要,选对方向,事半功倍!
供不应求
目前人才缺口140余万,未来3-5年需求量将达180余万,人才缺口大,供不应求!零基础月薪15K起,1-3年年薪30万+,3-5年50万起。
应用广泛
大数据已经被广泛应用,遍及传统行业、IT互联网/物联网、金融、旅游、医疗及政府公共服务等领域,100多种热门行业,200多个高薪岗位。
更多大数据行业信息

你离大数据有多远?

方向不对,努力白费,方向对了,事半功倍!

零基础
方向不对,努力总是白费?IT行业薪资高,工作安全,想转型IT改变命运?
零基础转型大数据,你的收入与你的付出成正比,方向对了,辛苦更有价值!
Java/.net/C++等开发人员
知识老化、技术退步、发展遭遇瓶颈期?担心被淘汰?急需新的突破?
开发人员转型大数据,有基础、有经验,前景好、发展广,把握时代趋势!
自学者
开发人员转型大数据,有基础、有经验,前景好、发展广,把握时代趋势!
体系化教学、真实企业项目实战,学习效率高、兴致足,转型新技术更高效!
管理者
公司转型大数据,知识老化、技术退步,团队不好带,没法把握方向?
周末学习,理论+实战,学了就能用,还有名师团队、技术顾问,助你职场更顺畅。
我适合转型大数据吗?

为什么学大数据一定要选光环?

Java基础教程、Linux基础教程、Hadoop完整生态系统、Spark完整生态系统

前置基础教程:2天
  • Java基础教程

    1. Java简介:跨平台、虚拟机、JDK等;
    2. Java编程基础:函数、循环语句、变量等;
    3. Java高级特性:类、继承、多态等;
    4. Java数据集合:List、Map、Set等介绍;
    5. 自动化项目管理工具Maven;
    6. Java小测验。

  • Linux基础教程

    1. Linux的安装和使用;
    2. Linux文件系统;
    3. Linux用户和进程管理;
    4. Shell和网络基础;
    5. git工具介绍;
    6. Linux小测验;

预习视频课程:22天
  • JHadoop生态系统

    1. Hadoop环境搭建与集群架构;
    2. HDFS分布式文件系统及实战;
    3. MapReduce与Yarn核心原理及架构;
    4. 分布式协调Zookeeper、MapReduce;
    5. SQL on Hadoop、Hive、Impala、Presto;
    6. NoSQL专题HBase、Cassandra、MongoDB;
    7. Hadoop企业项目实战。

  • Spark生态系统

    1. Storm、Spout、Bolt、Topology编程;
    2. Flume-NG海量日志采集系统;
    3. Kafka分布式发布订阅消息系统;
    4. Spark环境搭建与Kafka、 Scala开发语言;
    5. Spark Core、Spark RDD、Spark SQL;
    6. Spark Streaming、 Spark MLlib与机器学习;
    7. SparkR数据统计分析、SparkGraphX图数据处理

Hadoop生态体系、Spark生态体系、企业项目实战

第一阶段:Hadoop生态系统
  • 大数据概述及集群架构

    1

    【理论】大数据概论、大数据技术体系(按照六层架构介绍:数据收集、数据存储、资源管理、计算引擎、数据分析以及可视化)、Hadoop发展历程、Hadoop生态系统概述

    【实战】

    大数据环境搭建等

  • 分布式数据收集系统:Sqoop与Flume

    2

    【理论】结构化数据收集Sqoop背景、架构、原理及使用;非结构化(日志)数据收集系统Flume背景、架构、原理及使用

    【实战】

    利用Flume从指定目录中收集数据到HDFS;
    利用Sqoop将MySQL表中数据写入HDFS;

  • 分布式消息队列:Kafka

    3

    【理论】Kafka概述 、基本架构与工作原理、应用场景及经典架构组合等

    【实战】

    搭建Kafka集群;编写Producer将数据写入Kafka;
    编写Consumer从Kafka中读取数据

  • 分布式存储系统:文件系统HDFS

    4

    【理论】HDFS、架构主节点NameNode、从节点DataNode、journal node解析、核心设计、安全模式、负载均衡、机架感应、HDFS操作-命令行接口;

    【实战】

    搭建HDFS集群;使用NameNode Web UI、HDFS Shell;Java编写程序从HDFS中读取、写入、删除数据等

  • 分布式存储系统:分布式数据库HBase

    5

    【理论】分布式数据库HBase简洁、优缺点、架构以及HBase API使用等

    【实战】

    搭建Hbase集群;使用Hbase Web UI;使用HBase Shell;Java编写程序在hbase中创建表、写入和读取数据小案例:用户画像系统、网络爬虫

  • 分布式分析引擎:Hive基础

    6

    【理论】Hive背景、架构、MapReduce简介、HQL的DML和DDL语法等

    【实战】

    运行第一个MapReduce程序:WordCount;Hive环境搭建利用Hive创建表,并进行查询;Hive创建ORC与Parquet表并查询

  • 分布式分析引擎:Hive进阶

    7

    【理论】Hive内部原理、多计算引擎(Tez与Spark)、Hive创建ORC/Parquet表、Hive调优

    【实战】

    程序方式访问Hive;
    Hive调优演示

  • 交互式查询引擎Presto

    8

    【理论】Presto基本架构、Presto与Hive对比、Presto基本使用

    【实战】

    Presto集群搭建;Presto使用方式;
    Presto与Hive性能对比

第二阶段:Spark生态系统
  • Spark 基础

    1

    【理论】Scala语言简介、Spark基础原理与运行架构、Spark部署方式

    【实战】

    Spark开发环境搭建;使用Spark Web UI;
    如何将Spark程序运行到YARN上

  • Spark 程序设计

    2

    【理论】Spark编程模型、内存弹性分布式数据集的工作原理和机制、Spark RDD transform、 持久化、 checkpoint、容错与性能优化

    【实战】

    利用intellij idea开发spark程序并运行到集群中;
    spark设计电影受众分析程序

  • Spark SQL

    3

    【理论】基础原理、DataFrame与Dataset、Spark SQL主要函数介绍

    【实战】

    DataFrame与Dataset开发wordcount程序;
    DataFrame与Dataset设计电影受众分析程序

  • Spark Streaming 基础

    4

    【理论】流式计算、spark streaming、基础API--map、filter、flatMap、foreachRDD、saveAsTextFile等;高级API--window、transform、mapWithState;Redis。

    【实战】

    Spark Streaming读取HDFS数据,统计后写入HDFS、Redis和HBase;利用mapWithState实现wordcount。

  • Spark Streaming进阶

    5

    【理论】保存kafka offset并恢复、spark streaming容错机制、spark streaming调优方法、structured streaming原理及关键API

    【实战】

    利用Spark Streaming+kafka+redis实现“用户手机app行为分析系统”;实现streuctured streaming版本的wordcount

  • Spark MLlib数据分析挖掘程序

    6

    【理论】数据挖掘与机器学习案例、Spark MLib并行挖掘的关联规则与预测、协同过滤与推荐模型算法、推荐分析模块深度剖析、分析算法、关联规则算法、频繁模式挖掘算法MapReduce、回归预测和局部加权线性回归预测、最近邻 KNN 算法、时间序列模型算法、协同过滤算法MapReduce和 Spark 应用、决策树算法、逻辑回归算法、贝叶斯算法

下载详细课程大纲

你离大数据有多远?

点击制定转型提升方案

为保障学习效果,光环不计代价

详细学习服务

学完你将获得:技能、机遇、还有特权!

更多特权与优惠福利

16年做教育 我们是认真的

我要站出来为光环代言

更多特权与优惠福利

真实力  可信赖

上市公司实力,16年口碑保障,你值得信赖!

你是否还有如下疑问?

更多疑问答疑

大数据学习资料领取

价值1000元大数据免费学习资料

资料特色

1、光环国际大数据课程 详细资料
2、38天从入门到精通 学大数据必备

点击领取资料