当前位置:课得在线 > 精品课程 > 大数据 > 大数据课程体系设计

  大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

  大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

大数据创意图

  从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

  随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

  大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

  大数据应用领域

  制造业,利用工业大数据提升制造业水平,包括产品故障诊断与预测、分析工艺流程、改进生产工艺,优化生产过程能耗、工业供应链分析与优化、生产计划与排程

  金融行业,大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

  汽车行业,利用大数据和物联网技术的无人驾驶汽车,在不远的未来将走入我们的日常生活。

  互联网行业,借助于大数据技术,可以分析客户行为,进行商品推荐和针对性广告投放。

  餐饮行业,利用大数据实现餐饮O2O模式,彻底改变传统餐饮经营方式

  电信行业,利用大数据技术实现客户离网分析,及时掌握客户离网倾向,出台客户挽留措施

  能源行业,随着智能电网的发展,电力公司可以掌握海量的用户用电信息,利用大数据技术分析用户用电模式,可以改进电网运行,合理设计电力需求响应系统,确保电网运行安全。

大数据应用领域示意图

  物流行业,利用大数据优化物流网络,提高物流效率,降低物流成本

  城市管理,可以利用大数据实现智能交通、环保监测、城市规划和智能安防

  生物医学,大数据可以帮助我们实现流行病预测、智慧医疗、健康管理,同时还可以帮助我们解读DNA,了解更多的生命奥秘

  体育娱乐,大数据可以帮助我们训练球队,决定投拍哪种题财的影视作品,以及预测比赛结果

  安全领域,政府可以利用大数据技术构建起强大的国家安全保障体系,企业可以利用大数据抵御网络攻击,警察可以借助大数据来预防犯罪。

  个人生活, 大数据还可以应用于个人生活,利用与每个人相关联的“个人大数据”,分析个人生活行为习惯,为其提供更加周到的个性化服务。

  大数据的价值,远远不止于此,大数据对各行各业的渗透,大大推动了社会生产和生活,未来必将产生重大而深远的影响。

我国大数据市场概况

  大数据就业前景

  大数据人才稀缺

  据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

  据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大,而数据分析人才最为稀缺。领英报告表明,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月。

  根据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而在BAT企业招聘的职位里,60%以上都在招大数据人才。

  大数据专业就业三大方向

  大数据主要的三大就业方向:大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

  在此三大方向中,各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。

大数据从业人员就业薪资统计

  课得大数据课程体系

课程 目标 学习周期(天)
Linux系统管理 1.完成安全管理(iptables, chroot,tcp封装器) 5
2.Oracle数据库准备环境
3.解决问题并执行正确操作
4.安装软件包
5.使用Ksplice更新运行时操作系统内核
6.配置系统日志
7.装载并配置内核
8.维护交换空间
9.安装Linux
10.装载内核模块并配置内核模块参数
11.用户和组管理
12.创建文件系统
13.使用逻辑卷管理器
14.配置RAID设备
15.配置文件共享服务(NFS,FTP,OpenSSH
Linux高级系统管理 1.创建并使用Btrfs文件系统 4
2.使用控制组(cgroups)配置资源管理
3.Linux容器配置操作系统层次虚拟化
4.配置iSCSI共享存储
5.配置设备映射多路径
6.为持久化设备命名创建Udev规则
7.使用Oracle群集文件系统版本2配置共享磁盘群集文件系统
8.使用一系列的性能监测应用
9.手机并分析core dumps
10.使用DTrace探测系统
Oraccle SQL 1 使用Ansi SQL 99 join语法显示多表数据 8
2 应用SQL函数产生定制化数据
3 为集成数据创建报表
4 使用SET操作符创建数据子集
5 使用数据操作语言(DML)
6 使用数据定义语言创建模式对象
7 熟悉Oracle Database 11g主要结构控件
8 从表中提取数据
9 为排序和受限的数据创建报表
10 管理模式(Schema)对象
11 使用数据字典试图管理对象
12 使用子查询处理大数据集
13 管理不同时区的数据
14 编写多列子查询
15 使用标量和相互关联的子查询
16 SQL中使用正则表达式
17 创建不同访问优先级的新用户
18 控制对数据库特殊对象的访问
Java语言程序设计 1.掌握Java语法 15
2.编写并运行简单的Java程序
3.申明并初始化变量
4.掌握基本数据类型
5.初始化对象并有效使用引用变量
6.掌握操作符、循环、分支等使用
7.掌握各种常用集合框架的初始化和使用
8.熟悉Java技术的关键特性
9.掌握方法的参数传递和返回值
10.使用继承机制定义子类型
11.掌握Java程序的错误处理机制
12.熟悉Java Swing编程,了解MVC设计模式
13.使用Java的封装、继承、多态等技术创建Java应用
14.使用I/O功能读写数据、文件,了解高级I/O
15.使用正则表达式处理字符串
16.创建高性能多线程应用
17.掌握TCP/IPHTTP网络编程
18.熟悉标注、范型编程
19.了解并发编程中锁、信号量等的使用
20.掌握常用的编程模式
Python,numpy,mathplotlib 1.变量和数据类型 10
2.列表
3.控制流
4.字典
5.输入与循环
6.函数
7.
8.文件与异常
9.测试
10.多线程
11.网络编程
12.numpy基础
13.常用函数
14 便捷函数
15 矩阵和通用函数
16 专用函数
17 质量控制
18 matplotlib架构
19 matplotlib api和集成
20 事件处理与交互画图
21 高层次画图与数据分析
22 定制与配置
23 matplotlib与大数据
Hadoop程序设计 1.了解大数据的特性和应用背景 10
2.理解Hadoop的基本框架
3.掌握HDFS文件系统的基本操作
4.掌握MapReduce的编程规则
5.安装并设置不同模式下的Hadoop环境
6.掌握基本的Hadoop管理
Hive程序设计 1.安装平配置Hive环境 6
2.掌握Hive的数据类型和文件格式
3.掌握Hive查询语言HiveQL
4.开发并调试Hive程序
5.扩展Hive函数
6.管理Hive提供的各种服务
7.了解Hive的安全
8.了解Hive的锁机制
Hbase程序设计 1.安装配置Hbase环境 6
2.掌握Hbase客户端API
3.了解Hbase的架构
4.监控Hbase集群
5.性能调试
6.集群管理
机器学习算法 K-临近 7
决策树
朴素贝叶斯
逻辑回归
支持向量机
AdaBoost元算法
K-均值算法
Tensorflow 深度学习简介 10
Tensorflow环境搭建
Tensorflow基础
深层神经网络
MNIST数字识别问题
图像识别和卷积神经网
图像数据处理
循环神经网络
TensorBoard可视化
Tensorflow计算加速
Spark程序设计 1.了解Spark的概念和基础 10
2.安装配置Spark
3.编程处理RDD
4. Spark Stream编程
5.Spark  SQL编程
6.Spark机器学习

 

大数据课程体系设计

2019-01-03 15:38:48

几乎每个企业都使用大数据,真正的潜在矿藏


点击咨询

联系我们

扫码关注,获取更多

成都课得在线

地址:四川省 成都市 锦江区 东方广场C座13楼

Q Q:294112395

电话:17381543173

手机:+86 17381543173

备案号:蜀ICP备18034030号

报名咨询 0元入学 助学贷款 就业保障 视频下载 在线公开课 咨询热线13980937246