从IT时代到DT时代，伴随着数字化高品质的生活，我们日常餐饮、出行、购物等行为都产生了庞大的数据量。根据预测，2020 年，全球数据总量将达到 44ZB，而我国大数据总量届时将占比全球总量20%。

随着大数据产业的飞速发展，同时也产生了巨大的人才缺口，目前大数据从业者数量仅占未来三到五年内市场需求总量的三成，大数据相关人才已然成为IT行业普遍争抢的人才资源。随之而来，大数据人才的薪资待遇也十分优渥，起薪高，涨幅大，福利好，月均薪资行业前列，目前行业平均月薪历史最高达30.1k。

       大数据产业面临人才大量稀缺的现状，企业均不遗余力的招贤纳士，众多IT从业者关注到转型大数据，也让更多其他行业从业者跃跃欲试，纷纷考虑转型大数据行业。那么，作为从未接触过IT领域或经验尚浅的0基础者，该如何学习大数据呢？

课程介绍：大数据实时处理–基于Spark的大数据实时处理及应用技术

课程中结合实例，介绍图工具GraphX如何发现社交网络中的人际关系，大数据挖掘工具MLlib如何进行商品聚类和电影推荐，以及Streaming流挖掘工具,并探讨了Spark与Docker等云环境下新技术的结合，分析了其应用前景。

本课程教学过程中还提供了案例分析来帮助学员了解如何用Spark实时大数据工具来解决业界的问题，并介绍了Spark生产环境搭建的相关知识。

第一讲 Spark大数据实时处理技术

第二讲 Spark安装配置及监控

第三讲 Scala编程语言使用概述

第四讲 Spark分布式计算框架

第五讲 Spark内部工作机制详解

第六讲 Spark数据读取与存储

第七讲 Spark通信模块和容错机制

第八讲 SQL On Spark

第九讲 Spark流数据处理工具Streaming

第十讲 Spark中的大数据挖掘工具MLlib

第十一讲 Spark大规模图处理工具GraphX

第十二讲 Spark与其他大数据技术的融合与应用

14年设计工作经验 8年营销推广经验

参与项目

腾讯

美赞臣

中国电信

QQbaby

56所连锁校区，遍布全国各地

      天琥全国连锁校区遍布：上海、广州、深圳、武汉、南宁、长沙、赣州、重庆、西安、昆明、南京、成都、南昌、太原、厦门、石家庄、青岛、郑州、杭州、佛山、福州、合肥、苏州、兰州、天津、济南、海口、贵阳、东莞等全国各大省市，让学习更便捷。

　数据分析师是数据师的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。

　　作为一名数据分析师、至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门，至少能用Acess等进行数据库开发，至少掌握一门数学软件如matalab、mathmatics进行新模型的构建，至少掌握一门编程语言。总之，一个优秀的数据分析师，应该业务、管理、分析、工具、设计都不落下。

数据挖掘是相关学科充分发展的基础上被提出和发展的，主要的相关技术：

在web访问挖掘中常用的技术：

路径分析：路径分析最常用的应用是用于判定在一个Web站点中最频繁访问的路径，这样的知识对于一个电子商务网站或者信息安全评估是非常重要的。

关联规则发现：使用关联规则发现方法可以从Web访问事务集中，找到一般性的关联知识。

序列模式发现：在时间戳有序的事务集中，序列模式的发现就是指找到那些如“一些项跟随另一个项”这样的内部事务模式。

分类：发现分类规则可以给出识别一个特殊群体的公共属性的描述。这种描述可以用于分类新的项。

聚类：可以从Web Usage数据中聚集出具有相似特性的那些客户。在Web事务日志中，聚类顾客信息或数据项，就能够便于开发和执行未来的市场战略。