本书以“认识大数据技术,理解大数据案例;提升大数据素养,服务大数据战略”为编写目标,全面系统地讲述了大数据所涉及的国家政策、经济、产业链和技术发展。主要内容包括信息技术的发展现状、大数据时代到来的成因、大数据发展现状、大数据技术概况、典型案例解析、贵州省大数据产业发展概况、国家大数据政策解读、大数据人才培养、大数据的标准和大数据安全等内容。
从大数据的产生、发展现状、技术概况、政策解读和发展趋势等方面进行了解读,并结合众多实际应用案例,特别是结合贵州省对大数据发展的指导政策,积累的经验、方法与案例等方面,用通俗易懂的语言把复杂的事情解释清楚,内容丰富、行文流畅、通俗易懂,是一本零基础的大数据知识读本
夏道勋,厦门大学人工智能博士,副教授,硕士生导师。贵州师范大学数据科学与大数据技术系主任、校企合作部主任,贵州省教育大数据技术应用工程实验室副主任,贵州师范大学大数据安全重点实验室副主任,全国高校大数据教育联盟数据科学与大技术专业教材专家指导委员会委员。 先后主持国家自然科学基金项目1项(地区基金),贵州省自然科学基金项目2项、校级项目2项,博士启动基金1项;参与国家自然基金项目1项、863项目1项、贵州省自然科学基金项目1项。共发表SCI、EI以及中文核心期刊等论文。
第一讲 信息技术发展现状 1
第一节 计算机技术的发展概况 1
一、电子管诞生,第一代通用计算机问世 1
二、晶体管诞生,第二代电子计算机问世 2
三、集成电路高速发展 3
四、计算机硬件飞速发展 4
五、计算机软件层出不穷 10
第二节 网络技术的发展概况 14
一、网络技术的发展史 14
二、计算机网络类型的划分 15
三、互联网面临的问题 17
四、基于IPv6的下一代互联网 17
五、无线网络 18
第三节 通信技术的发展概况 19
一、信息传递方式的成长历程 19
二、中国5G之花 22
三、智能手机操作系统 23
四、我国北斗卫星导航系统 25
五、移动App 25
第四节 传感技术的发展概况 26
一、传感器的分类 27
二、智能手机中的传感器 27
三、传感器的产业发展 28
小结 29
第二讲 大数据时代到来的成因 30
第一节 信息化建设改变了人们的生活和工作方式 30
一、智能化带来美好生活每一天 30
二、智能化催生人们的“定制生活” 32
三、信息对称使数字经济高速增长 32
第二节 行业信息化的发展现状 33
一、企业信息系统结构设计的变迁 33
二、行业信息化建设整体规划五要素 35
三、行业信息化建设 37
第三节 信息化建设面临的瓶颈 40
一、互联网上的一分钟 40
二、急需突破的四大瓶颈 40
第四节 大数据时代的来临 42
一、技术瓶颈的突破或缓解 42
二、海量数据的产生 43
小结 44
第三讲 大数据的发展现状 45
第一节 大数据的发展历程 45
第二节 国外政策 47
一、美国大数据政策 47
二、英国大数据政策 48
三、法国大数据政策 49
四、日本大数据政策 50
五、印度大数据政策 51
六、澳大利亚大数据政策 51
七、韩国大数据政策 51
八、其他国际组织的大数据政策 52
第三节 国内政策 52
一、国家和行业政策 52
二、国家大数据综合试验区 54
三、地方政策 56
第四节 大数据教育研究动态 58
一、教育研究机构 58
二、教育动态 59
第五节 大数据产业的发展现状 61
一、大数据生态产业链 61
二、国外大数据产业发展 63
三、国内大数据产业发展 64
四、产业联盟 66
第六节 大数据发展趋势 67
一、大数据与实体经济深度融合 67
二、大数据与新兴技术协同发展 67
三、数据治理成为重点发展领域 68
四、共享经济成为主要发展方向 68
五、大数据安全越发重要 68
六、大数据催生新的工作岗位 68
小结 69
第四讲 大数据技术概况 70
第一节 数据的度量和分类 70
一、数据的度量 70
二、数据的分类 71
三、数据的主要来源 72
第二节 大数据的定义、特征和作用 72
一、数据、信息和知识的关系 72
二、大数据的定义 73
三、大数据的特征 74
四、大数据的理论、技术和实践 77
五、大数据的重要作用 78
第三节 大数据、物联网和云计算的关系 81
一、物联网 81
二、云计算 82
三、大数据、物联网和云计算三者之间的关系 82
第四节 大数据参考架构 84
一、参考架构的解释说明 85
二、五个主要技术角色 86
第五节 大数据关键技术 88
一、大数据采集 88
二、大数据预处理 89
三、大数据存储 90
四、大数据处理 93
五、大数据分析 95
六、大数据可视化 100
第六节 大数据技术生态圈 102
一、开源阵营 102
二、商业、半商业阵营 111
第七节 大数据安全与隐私 114
一、数据泄露态势 114
二、大数据安全法规 115
三、数据安全技术 116
四、数据安全成熟度模型 117
五、大数据安全标准 120
小结 120
第五讲 典型案例解析 122
第一节 结构化数据案例:贵阳花果园户主信息分析 122
第二节 结构化数据案例:货车帮 123
一、传统公路物流存在的弊端 124
二、“货车帮”实现车货的精准匹配 124
三、“货车帮”发展情况 125
第三节 结构化数据案例:百度大迁徙 126
一、人口迁徙的数据来源 126
二、“百度大迁徙”地图的实现 127
三、应用价值 127
四、“百度大迁徙”发展情况 127
第四节 结构化数据案例:保利生活圈 128
一、融合线上与线下 128
二、建立特有的支付方式 130
三、建立免费Wi-Fi网络 131
四、组建精准的营销系统 131
第五节 结构化数据案例:耐克公司的Nike+ 132
一、Nike+的发展历程 132
二、Nike+筑牢客户关系 134
三、Nike+已融入价值链 134
第六节 非结构化数据案例:套牌车查找 135
一、智能视频分析简介 136
二、套牌车查找 137
第七节 非结构化数据案例:汉英机器翻译 142
一、词对齐 143
二、短语翻译表 144
三、调序模型 145
四、语言模型 145
五、译文生成算法 146
小结 147
第六讲 贵州省大数据产业发展概况 149
第一节 发展优势 149
第二节 数博会 151
第三节 中国数谷(贵阳、贵安) 154
第四节 国家大数据(贵州)综合试验区 156
一、数据资源共享开放形成“聚通用”新模式 157
二、数据中心整合利用打造了大数据发展新支撑 158
三、数据创新应用成为助推高质量发展的新引擎 158
四、大数据产业集聚发展孕育经济增长新动能 159
五、探索新机制,打通数据资源流动新通道 160
六、为大数据交流合作搭建国际化新平台 161
七、推进大数据制度创新,开创新机制 161
第五节 产业发展现状 162
一、贵阳市大数据产业布局 162
二、大数据产业发展现状 163
三、代表性大数据企业 163
第六节 理论和实践创新 166
一、理论创新 166
二、实践创新 168
第七节 数据铁笼 172
一、应用场景(酒驾治理流程化) 172
二、完善“制度铁笼” 173
小结 174
第七讲 大数据的其他重要话题 175
第一节 国家大数据政策解读 175
一、党中央国务院高度重视大数据发展 176
二、我国大数据政策的特点 176
三、主要大数据政策 179
第二节 大数据人才培养 183
一、最新大数据职业 184
二、大数据课程体系 184
三、人才培养发展规划 185
第三节 大数据标准化 186
一、大数据标准体系框架 187
二、标准化现状 188
三、大数据标准化面临的问题 192
小结 193
参考文献 194