《大数据处理技术与应用》对大数据的概念、挖掘、应用进行了系统的介绍,并且配备了相关的案例以及实际操作过程。这种理论与实践相结合的方式能够极大地帮助读者掌握大数据领域的相关理论知识。
《大数据处理技术与应用》共分为10章,主要内容包含互联网大数据概述、互联网大数据采集与获取实战要领、做好数据预处理的实战方法、数据相关性分析与回归分析的黄金法则、如何利用关联规则进行大数据挖掘、大数据分析中的四种常见分类算法、大数据分析中的四种常见聚类算法,以及自组织神经网络算法与人工神经网络算法、互联网大数据分析应用——产品个性化推荐系统、大数据分析在具体行业中的应用等。
《大数据处理技术与应用》知识体系完善且适用,可作为高等院校大数据、人工智能等相关专业课程的教材,也可作为从事数据挖掘、机器学习工作以及其他相关工程技术工作人员的参考书。
这是一个互联网技术及应用高速发展的时代,那些随手可得的互联网应用深刻影响着社会经济的发展,切实改变了人们生活的方方面面,互联网已然成为人们不可或缺的信息工具。与此同时,基于互联网技术的飞速发展,网络数字化生活形态的形成,使得互联网数据逐渐累积,因此大数据就成为互联网时代的产物。□□□□集团创始人马云在演讲中就提到,未来的时代将不是IT时代,而是DT的时代。DT就是Data Technology(数据技术),说明大数据对于□□□□集团来说举足轻重。
有媒体称:数据已经成为一种新的经济资产类别,就像黄金和货币一样!鉴于大数据巨大的商业价值,大数据专家在企业非常受重视。大数据处理的相关知识、技术及其应用与社会经济各个领域的融合越来越深入,相关领域的专业技术人员迫切需要建立完整的互联网大数据处理与应用的知识体系,以适应大数据发展趋势的要求。
本书内容以大数据理论基础、大数据处理的实践技术方法和大数据技术的具体应用为主线。本书内容结构清晰,案例多样且时效性强,致力于通过理论及案例的讲解帮助读者掌握大数据处理及应用等方面的实战方法,以达到“真正掌握互联网大数据处理及应用实战方法”的效果。
本书由湖南应用技术学院信息工程学院彭进香、张莉撰写,作者团队对互联网企业从事数据挖掘有较深的研究,在大数据挖掘、分析及实战场景应用方面具有深厚经验。本书支持项目为湖南应用技术学院“十三五”校级首批重点建设学科:计算机应用技术,学科代码为081203,项目编号为XKJSHY2017-3。在本书写作过程中,作者还借鉴了目前大数据相关领域的参考资料、文献及重要研究成果与案例,在此向相关文献资料的作者一并表示感谢!
由于作者水平有限,书中难免有疏漏或错误之处,敬请广大读者批评指正。
章 互联网大数据概述
1.1 认识大数据
1.1.1 大数据的定义
1.1.2 大数据的特征
1.1.3 未来十年大数据分析的发展趋势
1.2 常用大数据处理、分析工具介绍
1.2.1 大数据的存储工具
1.2.2 大数据的软件开发工具
1.2.3 大数据的挖掘工具
1.2.4 大数据的可视化工具
小结
第2章 互联网大数据采集与获取实战要领
2.1 互联网大数据采集与处理技术概述
2.1.1 数据采集的基本流程与关键技术
2.1.2 数据处理的基本流程与关键技术
2.2 Web页面数据获取实战方法
2.2.1 Jsoup技术与页面数据获取
2.2.2 应对特定领域的Deep Web数据获取技术
2.3 利用爬虫抓取互联网大数据实战技巧
2.3.1 Python爬虫工作原理
2.3.2 利用HtmlParser实现网页链接的提取实战
小结
第3章 做好数据预处理的实战方法
3.1 数据预处理概述
3.1.1 数据预处理的目的
3.1.2 数据预处理的方法
3.2 从问题分析到数据清洗实战策略
3.2.1 数据清洗的步骤
3.2.2 缺失值的识别与处理技巧
3.2.3 异常值的判断、检验与处理
3.3 数据集成与数据转换实战方法
3.3.1 数据集成常见方法
3.3.2 数据转换过程中的离散化
3.4 数据的特征选择
3.4.1 常用数据特征选择方法
3.4.2 Relief算法与费希尔判别法的应用
3.5 数据预处理实战案例分析
小结
第4章 数据相关性分析与回归分析的黄金法则
4.1 什么是数据集
4.1.1 数据集的概念与常见类型
4.1.2 高效进行数据度量的实战技巧
4.2 做好数据相关性分析
4.2.1 进行数据相关性分析的作用
4.2.2 常用的数据相关分析方法
4.3 做好数据回归分析实战要领
4.3.1 数据回归分析方法概述
4.3.2 数据回归分析所能解决的实际问题
小结
第5章 如何利用关联规则进行大数据挖掘
5.1 关联规则
5.1.1 什么是关联规则
5.1.2 关联规则挖掘的应用场景
5.2 关联规则挖掘实战流程分析
5.2.1 关联规则常见分类与四个基本属性
5.2.2 快速找出□大高频项目组的实战技巧
5.3 关联规则发掘中重要的Apriori算法
5.3.1 Apriori算法的基本原理
5.3.2 Apriori算法运行的基本流程
5.4 针对Apriori算法缺点的其他关联规则挖掘算法
5.4.1 Apriori算法的两大缺点
5.4.2 基于划分规则的算法
5.4.3 FP-Growth算法
小结
第6章 大数据分析中的四种常见分类算法
6.1 分类算法概述
6.1.1 有关分类算法的基本概念
6.1.2 分类算法的常见应用场景
6.2 KNN算法
6.2.1 KNN算法的工作原理与特点
6.2.2 快速找到□优k值的实用策略
6.3 决策树与随机森林算法
6.3.1 决策树算法
6.3.2 Bagging与Boosting的区别
6.3.3 随机森林分类算法的优势与应用场景
6.4 朴素贝叶斯分类算法
6.4.1 朴素贝叶斯分类算法运行原理分析
6.4.2 贝叶斯网络
6.4.3 贝叶斯决策理论
6.5 支持向量机
6.5.1 支持向量机的基本思想与特点
6.5.2 □优分类面和广义□优分类面
6.5.3 非线性支持向量机与核函数
小结
第7章 大数据分析中的四种常见聚类算法
7.1 大数据分析聚类算法概述
7.1.1 聚类分析的相关概念及应用场景
7.1.2 聚类算法运行基础:簇与距离度量
……
第8章 自组织神经网络算法与人工神经网络算法
第9章 互联网大数据分析应用产品个性化推荐系统
□□0章 大数据分析在具体行业中的应用
参考文献