1. Java简介:跨平台、虚拟机、JDK等;
2. Java编程基础:函数、循环语句、变量等;
3. Java高级特性:类、继承、多态等;
4. Java数据集合:List、Map、Set等介绍;
5. 自动化项目管理工具Maven;
6. Java小测验。
1. Linux的安装和使用;
2. Linux文件系统;
3. Linux用户和进程管理;
4. Shell和网络基础;
5. git工具介绍;
6. Linux小测验;
1. Hadoop环境搭建与集群架构;
2. HDFS分布式文件系统及实战;
3. MapReduce与Yarn核心原理及架构;
4. 分布式协调Zookeeper、MapReduce;
5. SQL on Hadoop、Hive、Impala、Presto;
6. NoSQL专题HBase、Cassandra、MongoDB;
7. Hadoop企业项目实战。
1. Storm、Spout、Bolt、Topology编程;
2. Flume-NG海量日志采集系统;
3. Kafka分布式发布订阅消息系统;
4. Spark环境搭建与Kafka、 Scala开发语言;
5. Spark Core、Spark RDD、Spark SQL;
6. Spark Streaming、 Spark MLlib与机器学习;
7. SparkR数据统计分析、SparkGraphX图数据处理
【理论】大数据概论、大数据技术体系(按照六层架构介绍:数据收集、数据存储、资源管理、计算引擎、数据分析以及可视化)、Hadoop发展历程、Hadoop生态系统概述
【实战】大数据环境搭建等
【理论】结构化数据收集Sqoop背景、架构、原理及使用;非结构化(日志)数据收集系统Flume背景、架构、原理及使用
【实战】
利用Flume从指定目录中收集数据到HDFS;
利用Sqoop将MySQL表中数据写入HDFS;
【理论】Kafka概述 、基本架构与工作原理、应用场景及经典架构组合等
【实战】
搭建Kafka集群;编写Producer将数据写入Kafka;
编写Consumer从Kafka中读取数据
【理论】HDFS、架构主节点NameNode、从节点DataNode、journal node解析、核心设计、安全模式、负载均衡、机架感应、HDFS操作-命令行接口;
【实战】搭建HDFS集群;使用NameNode Web UI、HDFS Shell;Java编写程序从HDFS中读取、写入、删除数据等
【理论】分布式数据库HBase简洁、优缺点、架构以及HBase API使用等
【实战】搭建Hbase集群;使用Hbase Web UI;使用HBase Shell;Java编写程序在hbase中创建表、写入和读取数据小案例:用户画像系统、网络爬虫
【理论】Hive背景、架构、MapReduce简介、HQL的DML和DDL语法等
【实战】运行第一个MapReduce程序:WordCount;Hive环境搭建利用Hive创建表,并进行查询;Hive创建ORC与Parquet表并查询
【理论】Hive内部原理、多计算引擎(Tez与Spark)、Hive创建ORC/Parquet表、Hive调优
【实战】
程序方式访问Hive;
Hive调优演示
【理论】Presto基本架构、Presto与Hive对比、Presto基本使用
【实战】
Presto集群搭建;Presto使用方式;
Presto与Hive性能对比
【理论】Scala语言简介、Spark基础原理与运行架构、Spark部署方式
【实战】
Spark开发环境搭建;使用Spark Web UI;
如何将Spark程序运行到YARN上
【理论】Spark编程模型、内存弹性分布式数据集的工作原理和机制、Spark RDD transform、 持久化、 checkpoint、容错与性能优化
【实战】
利用intellij idea开发spark程序并运行到集群中;
spark设计电影受众分析程序
【理论】基础原理、DataFrame与Dataset、Spark SQL主要函数介绍
【实战】
DataFrame与Dataset开发wordcount程序;
DataFrame与Dataset设计电影受众分析程序
【理论】流式计算、spark streaming、基础API--map、filter、flatMap、foreachRDD、saveAsTextFile等;高级API--window、transform、mapWithState;Redis。
【实战】Spark Streaming读取HDFS数据,统计后写入HDFS、Redis和HBase;利用mapWithState实现wordcount。
【理论】保存kafka offset并恢复、spark streaming容错机制、spark streaming调优方法、structured streaming原理及关键API
【实战】利用Spark Streaming+kafka+redis实现“用户手机app行为分析系统”;实现streuctured streaming版本的wordcount
【理论】数据挖掘与机器学习案例、Spark MLib并行挖掘的关联规则与预测、协同过滤与推荐模型算法、推荐分析模块深度剖析、分析算法、关联规则算法、频繁模式挖掘算法MapReduce、回归预测和局部加权线性回归预测、最近邻 KNN 算法、时间序列模型算法、协同过滤算法MapReduce和 Spark 应用、决策树算法、逻辑回归算法、贝叶斯算法
美国Hulu公司大数据架构师
中国著名大数据项目培训师
7年大数据研发经验
曾在云计算大会、世界软件大会、中国架构师大会等担任演讲嘉宾。在中国福彩、中国银行、工商银行、国家电网等项目中担任大数据内训讲师。编写大数据Hadoop技术书籍,畅销十万余本。
中科院计算所硕士
HBase社区资深Contributor
5年+大数据研发经验
就职于美国某知名在线视频公司,从事Hadoop及Spark的研发工作,擅长HDFS/HBase调优及应用,利用impala与presto大数据查询引擎构建企业级OLAP引擎,对高性能查询优化有丰富经验。
北京大学硕士
新浪微博平台大数据专家
5年大数据研发经验
就职于新浪微博平台研发部与Hulu北京研发中心,曾参与微博核心Feed系统的改造,主导多机房数据同步和容灾部署等工作,现从事Hadoop及Spark平台相关的研发工作。曾在新浪等大型企业大数据培训担任讲师。
光环国际教学班主任
大数据学习督查员
3年大数据教学管理经验
多年一线教务管理工作经验,注重日常与学员的沟通;对教学工作严谨、负责;对学员真诚、幽默,是学员的良师益友。笑容甜美,声音温柔,正能量满满。
光环投入50万元搭建真实物理集群,供学员实操运行数据,真实环境、真实集群、真实项目,看得见摸得着
学习顾问:实时辅导、线上线下随时答疑,有问题随时给予解决班主任:监督、把控学习效果,处理学习障碍
周末面授:专为在职人群量身打造周末班、直播班,业余时间提升。随堂视频:随堂录制视频,随时随地可复习
成功修完大数据开发全部课程,考试合格,颁发证书,可用于求职、中关村软件园人才培养计划、光环合作名企特招等。
可免费参加光环国际、飞马网主办的各种技术沙龙,大型技术峰会每年可免费参加一次,各种收费的峰会活动可以优惠购票。
光环国际是中关村软件园区人才输送战略合作机构,提供高端技术人才猎头服务。
可获得大数据更新技术文档及一线资料等,可与技术大咖实时交流等。
2012年,光环总裁张泽晖先生与华为、移动、电信等企业高管沟通的过程中,深感中国高新技术领域企业的强烈需求,专程前往美国考察调研,并邀请专家组建研发团队,2年呕心沥血,课程始建成。
光环国际是管理培训起家,30余万用户中,50%是企业管理岗位,众多学员反馈:大数据技术人员难招,以及需要自我提升技术,以便领导团队。值此,大数据技术的迫切落地,也给予了光环无限的动力,急学员所急。
整合名企需求,国内外多方调研,切实与中国实际应用场景相结合,研发实用高效的体系化课程;
讲师选择上:企业一线在职技术大咖、经验5年+、名企内训讲师等,精心打磨。
16年高端IT管理培训品牌,高
端IT培训行业领跑者。
新三板创新层上市公司,
实力雄厚可信赖。
培训学员将近20余万,
遍及国内外上万家企业。
160多位知名讲师及研发,均
为5年以上工作经验。
自主研发及引进课程体系
131套,只为给到学员
优质的课程。
新学员中有80%来自于他人推
荐,课程口碑率高。
获得国内外知名奖项
120余个,实力有目共睹。
与450余家知名企业紧密合作
输送人才,包括BTA、国企、
外企等众多巨头公司。
中途耽误几天,可以通过课堂实录视频、完成课后项目练习作业等赶上,疑难部分可以请技术辅导老师答疑辅导来弥补进度,落课太多,1年内可以申请无限次重听,保障学会。
报名成功以后,班主任会主动联系学员,发送预习地址、资料等,定期发放考核试题,达到要求的学员可以正式开课。学习期间是周末上课,每节课均有课程实操和知识点检测,方便学员查漏补缺,及时纠正学习偏重点;周内自行复习,技术辅导随时答疑,每期4次讲师答疑,对知识体系进行总体概览串讲,帮助学员形成体系化知识网络。
大数据和人工智能是紧密联系的两个技术分工,人工智能技术发展需要有大量的数据积累进行训练、提取、分析、建模等,这些工作都是由大数据开发来完成,有了数据的支撑,人工智能才能正在的落到实处,所以大数据和人工智能无法分出孰好孰坏,只是一项工作的上下游,彼此承接和服务。
现在各种技术人员渐趋饱和,职业发展上升空间小,比如java、.net php。只有大数据技术人才缺口巨大,竞争压力小,并且现阶段对大数据人才学历及各方面要求也没有要求那么高,所以大数据技术人才优势明显。