大数据工程师定制培训课程 - 慧都学院

大数据工程师定制培训课程

重庆邮电大学大数据研究院 + 慧都学院,联手打造最强企业大数据培训

新浪微博互动预测、余额宝类金融产品资金流入流出预测
移动电子商务商品推荐、O2O 优惠券使用预测
专家精选四大最典型应用场景教学,项目实践教学国内第一

培训方式:远程在线 /现场培训

咨询详情

集合国内外顶尖名校资源

  • 韩国仁荷大学
  • 挪威奥斯陆大学
  • 清华大学
  • 西南交通大学
  • 重庆邮电大学 与慧都学院主导开发

  • 重庆邮电大学
  • 慧都学院
  • 国内外权威专家及教授团队,多年成果积淀,成就最专业、最科学的课程体系

    海归博士后领衔,业内顶尖讲师团队授课

  • 王 进: 韩国仁荷大学博士后,重庆邮电大学教授,计算智能重庆市重点实验室副主任, 重庆市高等学校青年骨干教师, 重庆市人工智能学会常务理事,重庆市计算机协会理事。
  • 胡 峰: 西南交通大学博士,重庆邮电大学教授,重庆邮电大学计算机系副主任,RSCTC’2010 Discovery Challenge 第 1 名
  • 李智星: 清华大学博士后,重庆邮电大学副教授
  • 雷大江: 挪威奥斯陆大学博士后,重庆邮电大学副教授
  • 周 耀: 重庆邮电大学工学硕士,阿里天池数据科学家排名第 5(5/75018),IJCAI-17 数据挖掘竞赛第 1 名(1/4046), 2016 DataCastle“微额借贷用户人品预测”大数据竞赛第 1 名(1/1492)
  • 赵 蕊: 重庆邮电大学工学硕士,阿里天池数据科学家排名第 22(22/75018),2016 CCF 大数据与计算智能大赛第 17 名(17/1501),2016 DataCastle“微额借贷用户人品预测”大数据竞赛第 2 名(2/1492)
  • 陈知良: 重庆邮电大学工学硕士,IJCAI-17 数据挖掘竞赛第 9 名(9/4046),2016CCF 大数据与计算智能大赛第 9 名(9/1501)
  • 杨 阳: 重庆邮电大学工学硕士,2016 CCF 大数据与计算智能大赛第 4 名(4/1501),2016 阿里天池大数据竞赛-机场客流量的时空分布预测第 24 名(24/3038)
  • 基础理论+企业级应用案例实践教学,打造企业大数据团队

    专业化基础课程

    • 深入学习Apache Hadoop/Spark
    • 全面了解大数据现有技术和业界动态
    • 掌握大数据的应用模式和系统设计
    • 掌握数据查询、数据分析、数据挖掘和机器学习方法
    • 建立大数据应用、分析、挖掘知识体系

    四大精选实战进阶项目

    • 新浪微博互动预测,构建博文互动模型
    • 余额宝类金融产品资金流入流出预测
    • 移动电子商务商品推荐系统构建
    • O2O 优惠券使用情况预测

    特色化的培训服务,直击你的核心需求

    针对企业实际需求及团队当前水准,制定最适合的培训方案

    学院派与实战派的完美结合,实现1+1大于2的效果

    国内外顶尖名校师资结合= 最科学的学习体系+ 最全面的基础理论内容
    慧都学院携+ 明斯基数据科技公司= 一线项目经验+ 真实项目案例解析

    关注慧都学院官方微信、官方微博,第一时间了解慧都动态及更多培训信息

    欢迎企业开发者,咨询订购Java EE定制培训

    咨询热线:400-700-1020(免费) 023-66090381

    课程参考大纲

    • 大数据平台技术基础课程
    • 数据分析与处理基础课程
    • O2O优惠券使用预测实战进阶课程
    • 移动电子商务商品推荐实战进阶课程
    • 余额宝类金融产品资金流入流出预测实战进阶课程
    • 新浪微博互动预测实战进阶课程

    A01.大数据平台技术基础课程(30 学时)

    大数据概述
    理论讲述:
    • 大数据背景
    • 大数据国内外发展现状
    • 大数据的应用案例
    课后作业:
    • 自学课程提供的大数据基础视频,了解基本理论
    • 大数据起源背景知识学习:通读谷歌3大论文,了解GFS,MapReduce,Big Table的基本原理以及使用场景
    大数据Linux基础
    理论讲述:
    • Linux操作基础
    课程实践:
    • 安装虚拟机,配置大数据平台宿主操作系统(CentOS 或者 Ubuntu),Linux文件操作命令使用
    • 配置Java开发环境并安装Eclipse;配置Python开发环境;安装MySQL并启动服务
    Hadoop(Hadoop Yarn)概述及部署
    理论讲述:
    • Hadoop 2.x(Hadoop Yarn)概述及生态系统
    • Hadoop 2.x(Hadoop Yarn)部署角色简介
    • Hadoop 2.x(Hadoop Yarn)集群部署(Shell、可视化、发行版等)
    • Yarn的设计思想和基本概念
    • Yarn的基础架构
    • Yarn的工作流程:Yarn核心模块ApplicationMaster;Yarn核心模块ResourceManager;Yarn核心模块NodeManager
    • Yarn集群管理、应用监控
    课程实践:
    • Hadoop 2.x(Hadoop Yarn)安装部署实验;Hadoop 2.x(Hadoop Yarn)集群系统版本安装和启动配置;使用Hadoop MapReduceV2样例代码快速测试系统
    • Hadoop Yarn(Hadoop 2.x)shell命令集群监控与管理;Hadoop Yarn(Hadoop2.x)管理REST API使用
    Hadoop组件
    理论讲述:
    • HBase组件的安装与配置
    • Hive组件的安装与配置
    • Zookeeper组件的安装与配置
    • Sqoop组件的安装与配置
    • HBase简介和架构、核心知识点、高级应用、应用场景
    • HBase常用接口和 SQL 引擎层实战
    • Hive架构、理论基础、原理说明
    • Hadoop仓库和传统数据仓库的协作关系
    • Hadoop/Hive仓库数据数据流
    • Hive Cli的基本用法
    • HQL基本语法
    课程实践:
    • 通过命令和WebUI验证启动是否成功;使用Sqoop、Hbase、Hive完成数据ETL案例
    • 通过HBase Shell增删改查数据;通过HBase Shell进行管理表和Region操作;通过HBase Shell执行Java类中方法;MapReduce访问HBase编程实战
    • 使用Hive创建自己的数据仓库(Hive创建外表和内表的方法);使用Hive在数据仓库上进行增删改查操作;Hive的Shell操作练习
    Spark概述及部署
    理论讲述:
    • Spark简介:Spark生态系统、Spark架构、Spark集群配置介绍
    • Scala程序设计基础
    课程实践:
    • Spark集群安装与部署;在Linux集群上安装与配置;查看集群状态;Spark开发环境配置;搭建Intellij开发环境
    • Spark应用案例编程
    Spark Mllib
    理论讲述:
    • Spark Mllib介绍
    • Spark Mllib库函数解析
    • Spark Mllib机器学习程序设计基础
    • Spark Mllib聚类算法程序设计
    • Spark Mllib回归算法程序设计
    • Spark Mllib分类算法程序设计
    课程实践:
    • 掌握调用Mllib库函数编写机器学习算法应用程序;文本数据聚类案例;出租车数据聚类案例

    A02.数据分析与处理基础课程(38 学时)

    算法基础
    理论讲述:
    • 计算机算法分析与设计基础
    数据预处理技术
    理论讲述:
    • 数据预处理概述
    • 认识数据:了解离散型、连续型数据概念,了解数据描述方法、数据相关性度量方法
    • 数据清洗:了解什么是噪声数据,数据装箱、数据补全
    • 数据转换:数据离散化、数据数值化、数据归一化
    • 数据表示模型概述
    • 向量空间模型:欧式距离、余弦相似度
    • 序列数据:离散型序列数据、连续型序列数据
    课程实践:
    • 实现数值型数列均值、方差、分位数的计算
    • 实现2种噪声数据过滤和缺失值补全方法
    • 实现2种数据离散化、数据数值化、数据归一化方法
    • 实现两种相似度计算方法
    有监督学习
    理论讲述:
    • 有监督学习概述
    • 数据集概念:训练集、测试集、开发集
    • 评价方法介绍:混淆矩阵、宏平均与微平均、ROC曲线
    • 线性回归算法介绍:最小二乘法
    • J48算法介绍:信息增益、信息增益率、基尼系数、预剪枝、后剪枝
    课程实践:
    • 线性回归算法实现、J48算法实现及结果评估程序实现
    无监督学习
    理论讲述:
    • 无监督学习概述
    • 评价方法介绍:类内集中度、类间区分度
    • K-means 算法介绍:EM算法原理初步、K-means 算法实现及并行化
    课程实践:
    • 数据分析与处理部分实践作业3#:K-means算法实现
    特征工程
    理论讲述:
    • 特征工程概述
    • 特征构建方法介绍:数值特征、排序特征、One-hot编码
    • 特征转换方法介绍:主成分分析、线性判别分析
    • 特征选择方法介绍:基于J48的特征选择、基于遗传算法的特征选择
    课程实践:
    • 排序特征及One-hot编码实现
    • 主成分分析算法实现
    • 基于J48的特征选择算法实现
    集成学习
    理论讲述:
    • 集成学习概述
    • Bagging介绍:随机森林算法
    • Boosting介绍:GBDT算法
    • Stacking介绍:基于线性回归的模型融合
    课程实践:
    • 随机森林算法实现;基于线性回归的模型融合算法实现

    A03. O2O优惠券使用预测实战进阶课程(12 学时)

    O2O优惠券使用预测
    课程概述:

    以优惠券盘活老用户或吸引新客户进店消费是O2O的一种重要营销方式。

    然而随机投放的优惠券对多数用户造成无意义的干扰。

    对商家而言,滥发的优惠券可能降低品牌声誉,同时难以估算营销成本。

    课程将基于阿里天池平台提供的用户在2016年1月1日至2016年6月30日之间真实线上线下消费行为,讲授如何通过大数据分析建模,准确预测用户在2016年7月领取优惠券后15天以内的使用情况。

    理论讲述:
    • 问题分析
    • 数据预处理
    • 特征工程
    • 模型设计与融合
    课程实践:
    • 阿里天池新人实战赛O2O优惠券使用预测

    A04. 移动电子商务商品推荐实战进阶课程(12 学时)

    移动电子商务商品推荐
    课程概述:

    相比 PC 时代,移动端网络的访问是随时随地的,具有更丰富的场景数据,比如用户的位置信息、用户访问的时间规律等。

    课程将以阿里巴巴移动电商平台的真实用户-商品行为、位置信息数据为基础, 包括1万用户的完整行为数据以及百万级的商品信息, 讲授如何通过大数据和机器学习算法构建面向移动电子商务的商品推荐系统, 为智能终端用户在合适的时间、合适的地点精准推荐合适的内容。

    理论讲述:
    • 问题分析
    • 数据预处理
    • 特征工程
    • 模型设计与融合
    课程实践:
    • 天池新人实战赛之[离线赛]

    A05. 余额宝类金融产品资金流入流出预测实战进阶课程(12 学时)

    余额宝类金融产品资金流入流出预测
    课程概述:

    余额宝类金融产品拥有大量会员并且业务场景中每天都涉及大量的资金流入和流出,面对如此庞大的用户群,其资金管理压力会非常大。

    在既保证资金流动性风险最小,又满足日常业务运转的情况下,精准地预测资金的流入流出情况变得尤为重要。

    课程将以蚂蚁金服2.8万用户基本信息数据、用户申购赎回数据、收益率表和银行间拆借利率表等数据为基础,讲授如何通过大数据和机器学习算法构建预测模型,精准预测未来每日的资金流入流出情况。

    理论讲述:
    • 问题分析
    • 数据预处理
    • 特征工程
    • 模型设计与融合
    课程实践:
    • 资金流入流出预测-挑战Baseline

    A06. 新浪微博互动预测实战进阶课程(12 学时)

    新浪微博互动预测
    课程概述:

    对于一条原创微博而言,转发、评论、赞等互动行为能够体现出用户对于博文内容的兴趣程度,也是对博文进行分发控制的重要参考指标。

    课程将以新浪微博4.6万用户半年内原创博文在发表一天后的转发、评论、赞总数等数据为基础,讲授如何通过大数据和机器学习算法构建博文互动模型,预测用户后续博文在发表一天后的互动情况。

    理论讲述:
    • 问题分析
    • 数据预处理
    • 特征工程
    • 模型设计与融合
    课程实践:
    • 新浪微博互动预测-挑战Baseline

    关注慧都学院官方微信、官方微博,第一时间了解慧都动态及更多培训信息

    欢迎企业开发者,咨询订购Java EE定制培训

    咨询热线:400-700-1020(免费) 023-66090381

    慧都学院的大数据工程师定制培训课程和市面上其他大数据课程有何区别?
    答:

    慧都学院的大数据工程师定制培训课程主要是针对于企业团队开设的,课程通过学习深入了解 Apache Hadoop/Spark 大数据现有技术和业界动态;详细讲解大数据的应用模式和系统设计;掌握大数据中数据查询、数据分析、数据挖掘和机器学习方法,帮助学员建立大数据应用、分析、挖掘知识体系。在基础知识方面,高校权威专家研究开发的学习体系比市面上其他课程更为科学合理;在实战教学上,四大不同领域、不同角度的热门案例也远比其他课程更加给力

    大数据工程师定制培训课程怎么选择更贴近自身需求的?怎么实现自由定制?
    答:

    该课程有6大课程模块课供自由选择组合,两个模块涵盖基础理论知识部分,四个模块涵盖四大精选实战案例教学,参考课纲都已给出,客户可以针对企业实际需求及团队当前水准,定制最适合的培训方案。如果不清楚应该如何选择,或对教学内容还有额外的要求,也可以联系学院客服进一步深度定制。

    关注慧都学院官方微信、官方微博,第一时间了解慧都动态及更多培训信息

    欢迎企业开发者,咨询订购Java EE定制培训

    咨询热线:400-700-1020(免费) 023-66090381

    产品介绍

    Cognos Integration Server

    可抽取数据、元数据和安全概要文件,实现智能、近乎实时的数据抽取的超强工具

    点击查看产品详情

    慧都提示

    定制培训须知

    培训主要定位于培养熟练掌握大数据存储、处理与分析技术,具备大数据工程项目的系统应用软件设计和开发能力,能胜任数据分析与挖掘算法研究与应用、数据系统开发与运维的研究型和技术型人才。

    你能学到什么?

    学员将系统地学习大数据在政府、金融、电信等行业的应用部署和使用模式,系统地学习如何设计、规划、开发、部署一个大数据平台,实现对大数据平台的直接认识和经验积累。

    加群沟通

    大数据企业定制培训沟通群

    慧都学院二维码

    微信扫码入群

    群号:329448161

    官方微博
    官方微信

    联系我们

    购买:sales@evgetedu.com

    意见与建议: service@evgetedu.com

    Tel:400-700-1020(免费)

    023-66090381