股票大数据挖掘实战：股票预测篇/新经济书库

《股票大数据挖掘实战：股票预测篇/新经济书库》围绕股票挖掘所构建的知识体系非常全面完善。在技术上，不仅包含了数据挖掘中常见的方法，如匹配方法、关联分析、分类、聚类、预测、时间序列分析等，还包括自然语言处理方法、深度学习方法、舆情分析方法、行为金融学心理学等方法。在数据应用上，不仅包含了对场内每笔成交数据的分析，还包括财务数据、新闻数据、股吧论坛、机构研报、用户行为等方面的分析。

　　《股票大数据挖掘实战：股票预测篇/新经济书库》围绕股票大数据挖掘技术展开，主要介绍数据挖掘的方法及其在股票大数据上的实战应用。
　　《股票大数据挖掘实战：股票预测篇/新经济书库》共10章。第1～3章为相关的基础内容，介绍了数据挖掘的基本概念、常用算法、数据控掘工具及云计算；然后将股票与数据挖掘结合，介绍大数据炒股、股票时间序列、量化投资等；最后介绍与股票相关的数据类型、数据的获取源及获取的方法、获取数据的预处理等。在第4～10章中，每一章根据股票挖掘的不同目标，介绍相关的数据挖掘算法，同时基于对基础算法的优劣分析，提出适用于股票场内实盘交易全景数据分析的新方法，结合新方法在股票挖掘平台上的实现，对股票的操作进行实战的解析。具体包括：分类方法及股票买卖点的判断；相似/相关匹配方法及股票走势的预测；相似股票判断与投资组合；马尔可夫模型与股票盘面强弱状态的判断；关联规则与股票间的延时涨跌联动；N-Gram模型与股票的幅值组合关系；深度学习与循环滚动预测等。

　　洪志令，美国加州大学尔湾分校助理科学家、北京大学心理学／北京大学机器感知与智能教育部重点实验室博士后，厦门大学人工智能专业博士。曾先后任职于IBM、美国Comodo、厦门大学软件学院，现为股票挖掘网（stocktobe.com）创始人。厦门市高层次引进人才，厦门市思明区思明英才，厦门市思明区政协委员。近年来发表SCI/EI检索学术论文32篇。目前拥有10项授权的国家发明专利和超过32项的公开实审国家发明专利。
　　
　　吴梅红，厦门大学副教授，美国加州大学洛杉矶分校与厦门大学联合培养博士，师从图灵奖获得者JudeaPearl教授，北京大学博士后，美国加州大学尔湾分校访问学者。福建省新世纪优秀人才，厦门市高层次引进人才。在智能科学领域有较深入的研究，并在国内外**期刊发表多篇文章。

　　★这本书介绍的方法具有很强的实战意义，全面介绍了如何将一个实际问题抽象和转化为数据挖掘的问题。先基础再方法最后实战应用的结构，让读者在学习数据挖掘技术和股票挖掘及投资的过程中有一个循序渐进的过程，对于读者来说具有较大的参考价值。
　　——中国科学院深圳先进技术研究院研究员、教授、博导姜青山
　　
　　★本书基于股票大数据，系统地介绍了数据挖掘的理论、方法和股票应用案例，可以作为金融、统计、计算机等学科的本科专业教材或研究生教材。相比一般的数据挖掘教材，本书以股票挖掘投资作为切入点，更容易激发学生的学习兴趣，这对开展教学非常有利。
　　——厦门大学软件学院副院长、教授、博导王备战
　　
　　★对于从事股票挖掘及投资的专业人士来说，书中的数据挖掘技术是值得借鉴的。书中的绝大多数股票挖掘实例具有实战的背景，读者可以尝试将这些技术和策略融入自己的思想和策略中，让自己的策略更强大。
　　——厦门市鑫鼎盛控股有限公司总经理、执行董事陈洪生
　　
　　★本书所构建的知识体系非常全面、完善。在技术上，不仅包含数据挖掘中的常见方法，如关联分析、分类、聚类等，还包括自然语言处理方法、深度学习方法、舆情分析方法、行为金融学心理学等方法；在数据应用上，不仅包含每笔成交数据的分析，还包括财务数据、新闻数据、股吧论坛、机构研报、用户行为等方面的分析。
　　——天云大数据首席执行官雷涛
　　
　　★在大数据时代，数据挖掘无疑是炙手可热的技术。这本书结合了丰富的金融业数据资源，通过构建的股票大数据挖掘平台，介绍如何利用数据挖掘技术进行股票挖掘和投资实践。本书是当前国内股票数据挖掘体系的著作，希望能为从事投资工作的人士、在校师生提供参考和借鉴。
　　——深圳支付界科技有限公司董事长方耀全
　　
　　★在大数据时代，数据挖掘技术是淘金术。这本书是洪志令博士多年实战的总结，它基于丰富的金融业数据，精心搭建大数据挖掘平台，教读者如何运用数据挖掘技术进行股票挖掘和投资，是一本稀有难得的力作。
　　——通信信息报社社长总编辑刘红权
　　
　　★本书的理论方法都配合股票的实战应用案例进行讲解，理论与实践相得益彰，能够为中国的基金、公募、私募及个人投资者提高股票挖掘和股票投资水平起到抛砖引玉的作用。
　　——泉州金控集团党委书记、董事长蔡洪潮

第1章 数据挖掘基础
1．1 数据挖掘概述
1．1．1 数据挖掘的过程
1．1．2 数据挖掘的任务
1．1．3 数据挖掘的应用
1．1．4 数据挖掘的存在问题、未来发展和挑战
1．2 常用的数据挖掘算法
1．3 数据挖掘工具
1．3．1 MATLAB
1．3．2 SAS
1．3．3 SPSS
1．3．4 WEKA
1．3．5 R
1．3．6 工具的比较与选择
1．4 数据挖掘与云计算
1．5 Mahout分布式框架
1．5．1 Mahout简介
1．5．2 Mahout算法集
1．5．3 Mahout系统架构
1．5．4 Mahout的优缺点

第2章 股票大数据挖掘
2．1 股票大数据
2．1．1 大数据概述
2．1．2 大数据的处理
2．1．3 大数据炒股
2．2 股票预测
2．2．1 预测基础知识
2．2．2 股票预测的结构
2．2．3 股票预测技术
2．3 量化投资
2．3．1 什么是量化投资
2．3．2 量化投资的特点
2．3．3 量化投资的方法
2．3．4 量化投资选股模型
2．3．5 多因子选股模型
2．3．6 量化模型的建立

第3章 股票数据的准备
3．1 股票相关数据
3．2 数据的获取源
3．2．1 从雅虎获取历史交易数据
3．2．2 从腾讯获取实时交易数据
3．2．3 从新浪获取交易数据
3．2．4 从网易获取成交明细数据
3．2．5 从巨潮资讯获取基础数据
3．2．6 多源获取UGC数据
3．3 数据获取技术
3．3．1 网络爬虫技术
3．3．2 HTML解析
3．3．3 XML解析
3．3．4 JSON解析
3．4 数据预处理
3．4．1 数据清理
3．4．2 数据集成
3．4．3 数据变换
3．4．4 数据归约

第4章 分类方法与股票买卖点判断
4．1 分类概述
4．2 朴素贝叶斯
4．2．1 朴素贝叶斯分类算法的概念
4．2．2 朴素贝叶斯分类器模型
4．2．3 朴素贝叶斯分类器的优缺点
4．2．4 朴素贝叶斯分类器的应用
4．2．5 扩展的分类器
4．3 决策树
4．3．1 决策树方法介绍
4．3．2 属性选择的度量方法
4．3．3 剪枝技术
4．3．4 常用的决策树分类算法
4．3．5 ID3算法
4．3．6 C4．5 算法
4．3．7 CART算法
4．3．8 SLIQ算法
4．3．9 SPRINT算法
4．3．10 PUBLIC算法
4．3．11 算法比较
4．4 支持向量机
4．4．1 最优分类面
4．4．2 广义的最优分类面
4．4．3 序列最小最优化算法
4．4．4 核函数
4．4．5 SVM参数优化问题
4．4．6 SVM分类器
4．5 评价指标
4．6 基于SVM算法的股票买卖点判断
4．6．1 数据预处理
4．6．2 买卖点定义
4．6．3 买卖点判断

第5章 匹配方法与股票走势的预测
5．1 目标概述
5．2 模式匹配
5．2．1 模式匹配概述
5．2．2 模式匹配的定义
5．2．3 BF算法
5．2．4 KMP算法
5．2．5 BM算法
5．2．6 BMH算法
5．2．7 AC算法
5．2．8 模式匹配算法总结
5．3 常用的相似性度量方法
5．3．1 基于距离的度量
5．3．2 基于相似/相关的度量
5．3．3 其他度量方式
5．4 新方法：相似走势匹配在股票预测中的应用
5．4．1 方法思想
5．4．2 相似匹配的计算步骤
5．4．3 基于最相似走势的股票短期走势预测方法
5．4．4 基于多相似股票投票统计的近期涨跌预测方法
5．4．5 基于近期预测涨跌幅及其一致性统计的股票推荐方法
5．4．6 基于同匹配日期相似走势的股票预测方法
5．4．7 基于强匹配排序的股票趋势分析与选股方法
5．4．8 基于股票预测走势进行分类和推荐的方法
5．5 新方法：自身历史相关在股票预测中的应用
5．5．1 基于自身历史相关时间点的股票趋势预测方法
5．5．2 基于自相关排序的股票趋势分析与选股方法；
5．6 新方法：正负相关走势在股票预测中的应用
5．6．1 主要思想
5．6．2 计算步骤
5．6．3 方法步骤与创新特征
5．6．4 输出结果示例
5．7 新方法：自定义模式匹配在股票预测中的应用
5．7．1 主要思想
5．7．2 计算步骤
5．7．3 方法步骤与创新特征
5．7．4 输出结果示例
5．8 平台实战解析：搜索相似历史走势以替代老司机经验

第6章 相似股票判断与投资组合
6．1 目标概述
6．2 DTW动态时间规整算法
6．2．1 匹配模式
6．2．2 DTW算法原理
6．2．3 DTW算法改进
6．3 KNN算法
6．3．1 KNN算法简介
6．3．2 k值的选择
6．3．3 KNN算法的改进
6．3．4 KNN算法的实现
6．4 相似股票的判断和应用
s．4．1 新方法；用于辅助选股的股票分级活医度计算方法
6．4．2 新方法：基于股票强相关分析的选股推荐方法
6．4．3 平台实战解析

第7章 股票盘面强弱状态的判断
7．1 目标概述
7．2 马尔可夫模型
7．2．1 马尔可夫模型概述
7．2．2 马尔可夫过程
7．2．3 马尔可夫链
7．2．4 状态转移概率
7．2．5 马尔可夫链在天气预报中的应用
7．2．6 马尔可夫链在人民币汇率上的实证分析
7．3 隐马尔可夫模型
7．3．1 隐马尔可夫模型概述
7．3．2 隐马尔可夫的数学模型
7．3．3 评估问题与前向算法
7．3．4 解码问题与Viterbi算法
7．3．5 观察序列最大概率问题与Baum-Welch算法
7．3．6 隐马尔可夫模型在输入法中的应用
7．4 新方法：基于状态转移的股票长期走势预测与推荐方法
7．4．1 主要思想
7．4．2 计算步骤
7．4．3 方法步骤与创新特征
7．4．4 平台实战解析

第8章 股票间的延时联动涨跌规则
8．1 目标概述
8．2 贝叶斯
8．2．1 贝叶斯公式
8．2．2 贝叶斯推断
8．2．3 贝叶斯应用
8．3 关联规则挖掘
8．3．1 基本概念和模型
8．3．2 Apriori算法
8．3．3 FP-tree频集算法
8．3．4 关联规则的应用
8．4 关联规则在股票预测中的应用
8．4．1 新方法：基于时态联动挖掘的股票预测方法
8．4．2 新方法：基于股票间同现统计的股票推荐方法
8．4．3 平台实战解析

第9章 股票涨跌的幅值组合关系
9．1 目标概述
9．2 n-gram模型
9．2．1 自然语言处理
9．2．2 统计语言模型
9．2．3 n-gram模型简介
9．2．4 n-gram模型的数据平滑
9．2．5 n-gram模型的解码算法
9．2．6 利用n-gram纠正中文文本错误
9．3 新方法：个股涨跌的幅值组合关系挖掘
9．3．1 基于类似n元语法统计的股票预测方法
9．3．2 基于类似关联规则统计的股票预测方法
9．3．3 基于局部及全局语法统计的股票推荐方法
9．3．4 用于股市运行逻辑理解的强关联规则挖掘方法
9．3．5 平台实战解析

第10章 股票的循环滚动预测方法
10．1 目标概述
10．2 回归分析与股票预测
10．2．1 回归分析概述
10．2．2 一元线性回归模型
10．2．3 多元线性回归分析模型
10．2．4 线性相关程度测定
10．2．5 非线性回归分析
10．2．6 用回归分析进行股票预测
10．3 神经网络与股票预测
10．3．1 神经网络的基本原理
10．3．2 BP神经网络算法
10．3．3 用BP神经网络进行股票预测
10．4 深度学习与股票预测
10．4．1 深度学习介绍
10．4．2 深度学习的理论基础
10．4．3 典型的深度学习模型
10．4．4 LSTM递归神经网络
10．4．5 新方法：用LSTM网络进行股票预测
参考文献

　　股票投资是为了获得更大的收益，然而由于股票市场具有较大的动态特性，股票投资的收益与风险往往成正比，投资收益越高，存在风险则越大。有效地进行股票价格的预测，最大程度地规避股票风险，增加投资收益，是股票投资者最关注的热点问题。
　　近年来，中国股市起起伏伏，熊冠全球，许多投资者伤痕累累，损失惨重，股市已成为大多数中国股民的伤心地。中国股市的现状是多方面因素共同作用的结果，作为普通的投资者无法改变这一现实，怨天尤人于事无补；要想在股市中博弈，立于不败之地，只能从现实出发，从自身做起。
　　在股票交易事务处理中，每天有大量的交易信息数据汇人数据仓库，这些数据无疑有益于股民了解股市的走势，做出正确的投资决策，然而从海量数据中提取有用的并最终可理解的模式才是投资者们最为关心的问题。
　　在大数据时代，数据挖掘无疑是最炙手可热的技术。数据挖掘的作用是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。数据挖掘技术刚好解决了数据利用的问题，所以数据挖掘与股票投资便很自然地结合在一起。但数据挖掘在国内也是一个新领域，加上较早之前计算能力的限制，尚未见关于股票投资与数据挖掘相结合的相关书籍，以及股票大数据领域的规模应用案例。虽然有一些量化投资方面的著作，但是量化投资和股票挖掘还是存在相当大的差别。在这样的背景下，本书将结合丰富的金融业数据资源，以及构建的股票大数据挖掘平台，介绍如何利用数据挖掘技术进行股票挖掘和投资实践。
　　首先需要学习数据挖掘技术。数据挖掘是一个交叉学科，融合了统计分析、模式识别、机器学习、信息检索、数据库、信息论和最优化算法等领域的学习思想，其基础理论比较多，但却很分散。其次要学习数据挖掘技术怎么应用到股票投资领域。对于有兴趣进行数据挖掘应用实践的读者来说，他们常有这样的困惑，如何将实际问题和已经学到的方法、原理联系起来，如何将数据挖掘技术有效地运用在实际应用中，给使用者带来价值。
　　本书以笔者团队的数据挖掘工作为基石，架设起研究和应用的桥梁，帮助读者从应用实例中学习数据挖掘和股票投资方法。具体而言，本书从不同的角度，以股票实际应用为导向，始终以实际案例讲解应用之下的技术和理论。本书对每个股票应用案例都有详细的解析，全面介绍了如何将一个实际问题抽象和转化为数据挖掘的问题，让读者明白来龙去脉。在过去的15年里，笔者一直从事数据挖掘和股票投资方面的学习和研究，本书也算是笔者本人过去多年学习和研究的总结。