大数据挖掘及分析研究洪新军北京工业

本书围绕大数据背景下的数据挖掘及应用问题，从大数据挖掘的基本概念入手，由浅入深、循序地介绍了大数据与数据分析、大数据存储、大数据分析工具、大数据与信息、基于二部图网络的电子算法研究、基于位置的社交网络算法研究和基于稀有类分类的信用卡欺诈识别研究等内容。

第1章大数据与数据分析
1.1概述
1.2云计算与大数据·
1.3物联网与大数据
1.4移动互联网与大数据
1.5大数据应用
1.6大数据应用带来的挑战
第2章大数据存储·
2.1大数据对数据存储的要求
2.2存储技术
2.3云存储技术
2.4大数据存储解决方案·第3章大数据分析工具3.1数据分析概述
3.2数据挖掘·关联分析3.3
3.4先验算法
3.5聚类分析
3.6分类分析
3.7时间序列分析第4章大数据与信息
4.1大数据面临的问题及其特征
4.2大数据信息风险因素识别

4.3大数据策略
4.4大数据与政策法规建设
第5章基干二部图网络的电子算法研究5算法概述
5.2基于二部图网算法概述及其第6章基于位置的社交网络算法研究6.1概述…
6.2基于位置的社交网络…
6.3基于位置信息对算法的

第7章基于稀有类分类的信用卡欺诈识别研究

7.1概述·
7.2信用卡概述·
7.3不均衡数据集的处理
7.4基于AdaBoost的稀有类分类算法参考文献・

第1章大数据与数据分析
1.1概述
1.1.1大数据的含义及意义
一、基本概念
大数据是指以多元形式，自多渠道搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能来自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面，密不可分。大数据必然无法用单台的计算行处理，必须采用分布式计算架构。它的在于对海量数据的挖掘，但其必须依托云计算的分布式处理、分布式数据储和/或虚拟化技术(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶所著的《大数据时代：生活、工作与思维的大变革》中，大数据是指不用随机分析法（抽样调查）而采用所有数据的方法）。大数据的“4V”特点：大量（Volume）、高速（Velocity）、多样（Variety）、价值（Value）。
早在1980年，未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，大数据才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年翻一番，而目前世界上90%以上的数据是几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。

二、大数据的意义
大数据的意义是由人类日益普及的网络行为所伴生的，受到相关部门、
企业采集的，蕴含数据生产者真实意图、喜好的，非传统结构和意义的数据
2013年5月10日，集团董事马云在十周年晚会上，将
卸任阿里集团首席执行官(Chief Executive Officer，CEO）的职位，他在晚
会上做卸任前的演讲时说，大家还没搞清PC时代的时候，移动互联网来了，
还没搞清移动互联网的时候，大数据时代来了。借着大数据时代的热潮，微软公司生产了一款数据驱动的软件，主要应
用于工程建设节约资源以提率。在这个过程中可以为世界节约40%的能
源。抛开这个软件的前景不看，从微软团队致力于研究开始，可以看出他们的目标不仅是为了节约能源，更加关注智能化运营。例如，通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据，捕捉如何杜绝能源浪费。“给
我提供一些数据，我就能做一些改变。如果给我提供所有数据，我就能拯救世界。”微软史密斯这样说。而智能建筑正是他的团队专注的事情。
从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。2012年3月22日，政府宣布投资2亿美元拉动大数据相关产业发展，将大数据战略上升为国家战略。政府甚至将大数据定义为“未来的新石油”。
大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静地看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。因此，针对不同领域的大数据应用模式，商业模式研究将是大数据产业健康发展的关键。我们相信，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔。
大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。
1.1.2大数据框架及解决方案
大数据分析是在研究大量的数据的过程中寻找模式、相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策……