大数据分析与可视化技术应用实战培训班课程特色与背景
一、 培训收益通过此次课程培训,可使学习者获得如下收益:
理解数据分析及R语言;
理解并掌握数据结构;
掌握数据导入导出的方法;
掌握基本数据管理方法;
理解并掌握数据探索;
掌握如何进行描述性统计分析;
掌握R语言绘图基础;
掌握聚类分析;
掌握关联规则;
掌握KNN近邻分类;
通过案例掌握用户行为挖掘算法;
掌握C5.0算法原理;
掌握CART算法原理;
理解并掌握Rattle工具使用及如何搭建数据分析平台。
二、 培训特色
1. 本课程尽量避开数学公式,按照“讲清思想方法原理—结合具体案例—R语言实现细节”思路,让即使是几乎没有什么基础的学员,掌握数据挖掘和可视化的基本思路和模式,打下未来深入的良好基础,能在工作和学习中结合具体问题立马上手操作解决;
2. 课程注重学练结合的方法,会采取课中练习的方法,充分调动大家思考的积极性,在做中掌握相关知识和技能;
3. 课程紧紧抓住基于R语言的数据挖掘和可视化的重点和难点,详细的分析和讲解,在理解难、容易出错的地方反复提醒,以便学员在课后容易的进行自己复习和相关拓展。
课程大纲
时间 | 知识模块 | 授课内容 |
第一天上午 | 数据分析实战 | 第一讲 零基础学Python讲解Python背景、国内发展状况、基础语法、数据结构及绘图操作等内容。特别针对向量计算这块,着重介绍Python在这方面的优势及用法。 |
第二讲 数据分析方法论讲解统计分析基础,包括统计学基本概念,假设检验,置信区间等基础,并结合数据案例说明其使用场景和运用方法。介绍数据分析流程和常见分析思路,并结合案例进行讲解。 | ||
第三讲 数据处理技法从数据接入、数据统计、数据转换等几个方面进行讲解。数据接入包含接入MySQL、Oracle、Hadoop等常见数据库操作;数据统计包含Pandas包的具体用法和讲解;数据转换包含对数据集的关联、合并、重塑等操作。此外,针对海量数据的情况下,介绍在Spark平台上的数据处理技术,并结合真实环境进行操作讲解。 | ||
第一天下午 | 数据挖掘理论及核心技术 | 第四讲 认识数据挖掘讲解数据挖掘基本概念,细致讲解业务理解、数据理解、数据准备、建立模型、模型评估、模型部署各环节的工作内容及相关技术;结合业界经典场景,讲解数据挖掘的实施流程和方法体系。 |
第五讲 数据挖掘核心技术细致讲解抽样、分区、样本平衡、特征选择、训练模型、评估模型等数据挖掘核心技术原理,并结合案例讲解其具体实现和用法。尤其针对样本平衡,重点讲解人工合成、代价敏感等算法;针对特征选择,重点讲解特征选择的核心思路,并结合Python进行案例演示。 | ||
第二天上午 | 大数据算法原理及案例实现(1) | 第六讲 特征降维算法及Python实现降维是大数据分析非常重要的算法 ,它可以在降低极少信息量的情况下,极大地缩小数据规模。主要讲解主成分、LDA以及t-SNE原理,并结合案例进行Python实现。特别地,针对海量数据情况下的应用场景,讲解实现思路和Python案例。 |
第七讲 决策树算法及Python实现决策树是非常经典的算法 ,一般常见于小数据的挖掘。由于决策树具有极强的可解释性,针对海量数据仍然是非常重要的实用价值。主要讲解ID3、C4.5、C5.0以及CART决策树算法的实现原理,并结合案例进行Python实现。 | ||
第八讲 基于乳腺癌数据进行降维分析并建立分类模型实战部分:基于乳腺癌数据进行降维处理,并尝试建立分类评估模型。旨在通过该模型,并潜在的乳腺癌患者进行识别。 | ||
第二天下午 | 大数据算法原理及案例实现(2) | 第九讲 因果推理算法及Python实现大数据分析技术可以帮助我们去发现、解决一些业务问题,然而如何去判断我们的改进是否生效,是否在业务指标上呈现过一定的因果逻辑,则是一个重要问题和分析方向。本节主要介绍因果推理算法,包括贝叶斯推理、状态空间模型以及CausalImpact工具等内容,并结合案例进行Python实现。 |
第十讲 深度学习算法及Python实现对于大数据的建模任务,我们可以基于深度学习来实现,不仅能够针对海量数据进行建模,其效果也非常不错。本节主要讲解深度学习的发展历程,DBN、DNN等经典深度学习算法,深度学习优化算法以及一些技巧。同时,介绍Keras库的使用方法,并结合案例进行Python实现。 | ||
第十一讲 Lending Club信贷违约分析案例实战部分:基于Lending Club信贷违约数据,尝试从多个不同的维度进行数据分析,旨在发现一些有价值的信息,同时基于该数据,经过一定的处理,建立信贷违约识别模型,旨在对信贷业务办理提供模型支持,降低违约风险。 | ||
第三天上午 | Python应用实战(一) | 第十二讲 Python自然语言处理原理及案例目前文档数据已经成为很多企业重要的资产,通过对文档数据进行解析、建模、分析、挖掘、可视化,我们能够发现不一样的洞察。本节主要讲解自然语言处理基本概念和技法,包含分词、关键字提取、文摘提取、文本分类、主题模型、word2vec等内容。介绍在深度学习的加持下,与传统做法的区别,并使用Python进行案例讲解。 |
第十三讲 数据分析图表及Python案例数据可视化是大数据分析的重要手段,通过合理地使用图表,不仅可以简洁地表达数据的含义,高效地发现问题,还可以为报告的编写以及数据分析web应用增色不少。本节主要讲解常用的数据分析图表及其使用场景,介绍数据可视化的方法论,避免生搬硬套的使用图表,针对不同的业务场景和需求,合理选择可视化方法。介绍的工具不限于matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等常用可视化库。 | ||
第三天下午 | Python应用实战(二) | 第十四讲 使用Notebook编写数据分析报告数据分析报告在大数据分析过程中具有重要价值,它体现了大数据分析的目的、过程和结果,以及对发现问题的解读、改进方案等等,本节主要讲解使用Notebook编写数据分析报告的具体方法,以及编写数据分析报告的方法论,并结合案例讲解其用法。 |
第十五讲 Dash可视化开发实战Dash是一款不错的框架,可以基于Dash快速开发一个轻量级的数据分析web应用。在网页中嵌入图表、数据以及分析的算法,非常适合打造企业内部的敏捷数据分析工具集。本节主要介绍Dash的UI、Server、Reactivity、控件等内容,同时讲解一个用Dash实现数据分析功能(兼图表)的实际案例,搭建服务器,在企业内部实现轻量级数据分析应用。 | ||
第四天 | 学习考核与业内经验交流 |
课程主讲
游老师 计算机硕士,大数据分析、挖掘、可视化专家,高级培训讲师,
曾服务于华为技术有限公司等多家企业,专注于机器学习、数据挖掘、大数据、知识图谱等领域的研究、设计与实现,在互联网、电信、电力、军工等行业具有丰富的工程实践经验,对空间分析、欺诈检测、广告反作弊、推荐系统、客户画像、客户营销建模、知识抽取、智能问答、可视化分析、预测分析、系统架构、大数据端到端解决方案等方面具有深刻理解,多次作为R语言会议重要嘉宾出席会议并发表主题演讲,著有《R语言预测实战》等多本书籍。
黄老师 某集团上市公司数据分析部负责人,主要利用Python语言进行大数据的挖掘和可视化工作。从事数据挖掘建模工作已有10年,曾经从事过咨询、电商、金融、电购、电力、游戏等行业,了解不同领域的数据特点。有丰富的利用R语言进行数据挖掘实战经验,部分研究成果曾获得国家专利。
赵老师 计算机博士,目前主要研究方向包括电子推荐、智能决策和大数据分析等。主持国家自然科学基金2项、中国博士后科研基金、上海市浦江人才、IBM Shared University Research以及多项企业合作课题等项目。已在《管理科学学报》、《系统工程学报》、Knowledge and Information Systems ,Information Processing & Management,Information Systems Frontiers等国内外刊物和学术会议发表论文90多篇,其中被SCI、EI收录40多篇。出版著作和教材《智能化的流程管理》、《客户智能》、《商务智能(第四版)》、《商务智能 数据分析的管理视角(第三版)》、《数据挖掘实用案例集》等多部。
张老师 天津大学软件工程硕士,10多年的IT领域相关技术研究和项目开发工作,在长期软件领域工作过程中,对软件企业运作模式有深入研究,熟悉软件质量保障标准ISO9003和软件过程改进模型CMM/CMMI,在具体项目实施过程中总结经验,有深刻认识。通晓多种软件设计和开发工具。对软件开发整个流程非常熟悉,能根据项目特点定制具体软件过程,并进行项目管理和监控,有很强的软件项目组织管理能力。对C/C++ 、HTML 5、python、Hadoop、java、java EE、android、IOS、大数据、云计算有比较深入的理解和应用,具有较强的移动互联网应用需求分析和系统设计能力,熟悉Android框架、IOS框架等技术,了解各种设计模式,能在具体项目中灵活运用。
课程对象
大数据分析及可视化应用开发工程师
大数据分析项目的规划咨询管理人员
大数据分析项目的IT项目高管人员4. 大数据分析项目的售前和售后技术支持服务人员
备 注
课程费用:6800元/人(含场地费、考试证书费、资料费、学习期间的午餐费)
常年开班,获取最新开班时间或内训报价,咨询:400-061-6586