大数据技术与应用研究

　　《大数据技术与应用研究》首先对大数据的基本概念做了简单的介绍，以便读者在阅读该书时，能够对大数据有个浅显的认识，也能对该书内容有更深入的理解；其次该书研究了大数据的生命周期以及大数据安全问题的管理，通过这两方面的研究对大数据的具体形式和当前的现状等问题都能够有深入的了解；最后以大数据应用的基本策略以及大数据应用模式和价值引出当前大数据在城市交通、金融、能源、教育等领域的应用问题。

第一章 大数据概述
第一节 数据洪流
第二节 大数据的基本概念
第三节 大数据的生态环境
第四节 大数据的性质
第五节 大数据技术
第六节 大数据基本分析

第二章 大数据的生命周期
第一节 大数据生命周期概述
第二节 大数据的采集
第三节 大数据的存储
第四节 大数据的整合
第五节 大数据的呈现与使用
第六节 大数据分析与应用
第七节 大数据归档与销毁

第三章 大数据安全问题管理
第一节 大数据安全和隐私问题
第二节 大数据安全防护
第三节 大数据隐私保护
第四节 大数据合规管理

第四章 大数据应用的基本策略
第一节 大数据的商业应用架构
第二节 大数据应用的前期准备
第三节 大数据分析的基本过程
第四节 数据仓库的协同运用
第五节 大数据战略与运营创新

第五章 大数据应用模式和价值
第一节 大数据应用的一般模式
第二节 大数据应用的业务价值
第三节 大数据应用的共性需求

第六章 交通数据资源
第一节 大数据时代下的城市交通
第二节 城市交通及相关领域数据资源
第三节 城市交通大数据的组织、描绘及技术
第四节 城市交通大数据的应用开发与服务

第七章 金融大数据应用
第一节 大数据与资产管理
第二节 大数据与量化投资
第三节 基于数据挖掘的自动化交易

第八章 能源大数据
第一节 能源大数据概述
第二节 能源大数据的分析与处理
第三节 能源大数据公共服务平台建设

第九章 大数据与教育
第一节 教育大数据的概述
第二节 教育大数据在教师知识管理的应用
第三节 远程教育的大数据研究与应用
第四节 我国教育与大数据应用
第五节 大数据环境下高等教育管理
参考文献

　　《大数据技术与应用研究》：
　　（一）道路交通领域
　　道路交通是城市交通体系的重要组成部分，根据城市道路的性质，可以将其分为地面道路、快速路和高速公路三大类。受到不同的交通运量载荷影响，各类道路交通在不同城市中的地位各不相同。总体来讲，在各城市的道路交通体系中，地面道路是基础和根本，快速路是提升和飞跃，高速公路是通城郊和城际的骨干。在城市交通信息化发展的进程中，由于建设、管理、运维、技术等不同因素，这三类道路交通数据的类型、采集、存储、处理、应用等也体现出不同的特点。
　　1.城市地面道路
　　（1）基础数据及采集。
　　城市地面道路是道路交通体系的主要组成部分，是一座城市交通运输的主动脉。SCATS（最优自动适应交通控制系统）等道路交通信号控制系统将电感线圈等检测器布设在道路交叉口附近，用于对车流量、占有率、占用时间、拥堵程度等数据的采集，通过中央控制、区域控制、路口控制等多个层面的模型计算，确定配时方案，优化配时参数，实现对交通流的实时最佳配置和控制，从而提高车辆行驶速度，发挥出减少交通停顿、节省旅行时间、降低汽油消耗的实际效用。随着道路交通管理和服务对信息化需求的提高，地面道路交叉口的相位、绿信比、流量等数据逐渐显现出功能的单一性和局限性。基于电感线圈检测器、微波检测器、视频检测器、全球定位系统等交通数据采集设备，可以采集车流量、车辆速度、车辆类型、牌照、位置等更多丰富的数据和信息，这些不同类型的检测设备，各有优点、互为补充，使采集到更多、更全面的交通数据成为可能。布设在地面道路的这些设备和装置，为交通信息化管理与服务内容的延伸和应用范围的拓展提供了更多的基础数据支撑。根据地面道路修路、事故、事件、110报警等其他实时或历史交通数据，这些数据和信息能够更好地满足服务交通信息化管理、公众出行信息发布等不同的应用需求。
　　（2）数据的应用。
　　在地面道路交通原始数据汇聚的基础上，通过数据分析和挖掘，可以开发出多种应用。不论是管理者还是出行者，都对道路的运行状态和路况发展趋势十分关心。道路的通行状况，较直接的表述是车速信息，因此，道路的运行状态可以用红、黄、绿等颜色信息，实时或准实时地显示地面道路双向路段的交通路况，用以代表拥堵或畅通等状态。通过城市地理信息系统可以直观地看到城市地面道路路网的交通运行状态和路况实时变化。实时路况是把握道路运行现状，进行应急处置和指挥的第一手信息，而历史路况信息则可以为数据分析和挖掘积累宝贵的资料。地面道路交通状态信息的展示应用较为直观，但在区分拥堵量级、分析拥堵成因的时候，却存在明显不足。因此，基于车速、流量等数据分析的交通指数成为各大城市用于细化道路交通状态的重要指标。交通指数是量化的道路状态，介于原始车流量、速度数据和道路交通状态之间的层面，可以从宏观区域到微观路段，以数值或段值的形式细化表达。交通指数的提出、研究和应用为评判道路服务水平、提供公众出行个性化服务等奠定了坚实的基础，类似于地面道路路段状态，道路交叉口的运行状况也可以用类似的方法表达。对于经常出现拥堵的区域、路段或道路交叉口，可以结合车流量等各类数据联合分析，找出可能对其进行优化的地方，事故、事件等报警信息，通过与城市GIS的结合，可以挖掘出经常发生事故的“黑点”地段，对这些事故“黑点”进行分析，能够为改善道路通行安全、出行安全提醒等提供支持，同时，这些交通路况、交通指数、事故等信息还可以通过互联网、电视台、电台、车载设备、手机等移动终端应用软件等发布，作为出行者对交通出行方式和路径选择的重要参考依据。
　　2.城市快速路
　　（1）基础数据及采集。
　　一般而言，与城市地面道路相比，城市快速路的建设相对较晚。因此，在快速路道路设计和建设的时候，相应的信息化方案可以同时进行，做到道路基础建设和信息化建设同步。根据不同城市对数据和信息的采集要求，城市快速路的数据采集通常由感应线圈、车辆全球定位系统、牌照识别系统、视频采集系统等支撑，不同的数据采集手段，所获取的数据和信息有很大差别，在设备布设、运行和维护中所耗费的成本也不一样。这些采集设备和方法的数据覆盖面也不一样，有各自的优势和特点。例如，感应线圈一般铺设在快速路路段或出人口，采用单排或双排断面的形式，采集车流量、车型、速度、占有率等信息。这些信息可以支持相应的应用，但感应线圈采集的数据仅是特定路段的特定点，对整条路段上的车辆空间分布和密度则无法获取，而且布设的成本较高。车辆全球定位系统可以采集到车辆的瞬时速度和位置，采集周期也可以灵活选择，但由于定位精准度的影响，可能会出现相邻地面道路、快速路主线、匝道或出入口位置车辆混淆的问题。牌照识别系统可以有效地抓住流经车牌识别车道和断面的车辆，并可以根据积累的数据找出车辆的起讫点，但是牌照识别的准确率和稳定性是系统评价和应用的基础。视频设备采集到的视频数据是某特定路段或路口车辆流动、车辆密度等情况的直观记录，但由于视频数据分析难度大，加上可能存在的镜头灰尘遮挡、移动、天气等各种影响因素，通常使视频数据的利用率不高。如何发挥采集设备的优势，取长补短，成为有效利用交通数据的关注点。
　　……

　　近年来，大数据的浪潮奔涌到世界上的每个角落。在大数据的驱动下，人类社会在加速发展。大数据已经成为企业界、科技界和政府等关注的热点。大数据涉及的范围非常广泛。它也将持续地影响人们生活的各个方面。
　　人们已经不再纠结大数据的概念——大数据已经开始在各个领域得到应用，数据产品诞生，为使衣食住行更为便捷而努力，支撑商业社会的运转，或者维系着某种庞大体系的安全；还在单纯讲着大数据故事和满足于展望未来的人越来越少——有些故事被证明只是故事，而一些三四年前被认为尚且遥远的想象，正在逐步成为现实。无论给这个时代赋予怎样的标签——“互联网”“移动互联网”“人工智能”，我们都将发现，大数据在其中确实具有广泛的基础性和关键性价值。毕竟在这纷繁复杂、高速运转、迭代进化的信息世界中，数据——无论是数值型或是文本型，结构化或是非结构化的——都是信息的最佳留存载体，也是我们用于解释过去和预测未来唯一有价值的资料。过去因存储条件的限制，只有一部分信息被留存下来，即使如此，面对这些保存下来的信息资料，我们尚感到力不从心；如今我们已身处大数据洪流，人类社会面临的中心问题，的确已从提高劳动生产率，转变为如何更好地利用信息帮助我们做出最佳决策。
　　由于互联网和信息技术的快速发展，大数据日益受到人们的关注，已经引发自互联网、云计算之后IT产业的新的技术革命。面对信息的激流，多元化数据的涌现，大数据已经为个人生活、企业经营，甚至国家与社会的发展都带来了机遇和挑战，成为IT产业中最具潜力的蓝海。人们用大数据来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。企业内部的经营信息、互联网世界中的商品物流信息，以及互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。然而如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题。
　　本书首先对大数据的基本概念做了简单的介绍，以便读者在阅读本书时，能够对大数据有个浅显的认识，也能对本书内容有更深入的理解；其次本书研究了大数据的生命周期以及大数据安全问题的管理，通过这两方面的研究对大数据的具体形式和当前的现状等问题都能够有深入的了解；最后以大数据应用的基本策略以及大数据应用模式和价值引出当前大数据在城市交通、金融、能源、教育等领域的应用问题。
　　由于作者水平有限．本书在内容上难免有不妥甚至谬误之处，敬请广大学界同人和读者朋友指正。