基本信息

• 商品名称：实战情报大数据
• 作者：编者:邓劲生//黄金锋//黎珍|责编:白立军
• 定价：59.8
• 出版社：清华大学
• 书号：9787302567080

其他参考信息（以实物为准）

• 出版时间：2021-01-01
• 印刷时间：2021-01-01
• 版次：1
• 印次：1
• 开本：16开
• 包装：平装
• 页数：260
• 字数：403千字

编辑推荐语

\\\"l多层面阐述情报大数据的丰富内涵和实践。 l 描绘跨领域跨行业大数据框架体系。 l立体化覆盖情报大数据的采集处理和分析。 l宽领域概览情报大数据的规律及应用特点。 l广视角展示情报大数据的实施技术与工具。 \\\"

内容提要

\\\"过大数据手段搜集挖掘情报信息，已成为 上各个专业情报领域的重要手段。本书选取多个具有代表性的情报大数据领域，围绕大数据背景下情报的信息采集、储存、管理和分析等方面，从技术实现途径进行 详解，以学习掌握在海量数据中提炼出高价值情报的方法。
    本书以网络舆论情报、社会事件情报、国防科技情报、公共安全情报、开源人物情报等领域为实战案例\\\"

作者简介

邓劲生，国防科技大学前沿交叉学科学院研究员，主要从事大数据、人工智能、情报科学等方面的研究。主持 和省部级科研项目十余项，获得军队和省部级科技进步奖、教学成果奖多项，著译图书十余本，发表论文数十篇。

目录

目录
第1章情报大数据概述1
1.1大数据方法对情报的颠覆性影响1
1.1.1大数据时代的情报新特点1
1.1.2大数据时代情报工作新思维4
1.1.3情报大数据的分析流程6
1.2“棱镜”计划案例简介6
1.2.1数据基础7
1.2.2情报分析9
1.2.3情报目标10
1.3情报大数据平台常用框架11
1.3.1数据源采集12
1.3.2大数据预处理13
1.3.3大数据存储14
1.3.4大数据分析与挖掘14
1.3.5常见技术框架和工具16
1.3.6学习阶段建议19
第2章网络舆论情报大数据采集与分析21
2.1总体设计21
2.1.1需求分析21
2.1.2技术选型22
2.1.3框架软件23
2.1.4开发流程24
2.2实战环境搭建24
2.2.1准备操作系统环境24
2.2.2搭建Hadoop平台27
2.2.3数据采集工具Flume30
2.2.4数据仓库Hive32
2.2.5数据导入导出工具Sqoop34
2.2.6配置数据库MySQL35
2.3业务开发37
2.3.1数据采集与上传至HDFS37
2.3.2数据存储在Hive40
2.3.3Sqoop导出数据到MySQL41
2.3.4数据导成表格43
2.4可视化分析44
2.4.1热门关键词词云44
2.4.2热门关键词词频48
第3章社会事件情报关联与可视化分析53
3.1总体设计53
3.1.1功能结构53
3.1.2业务流程54
3.1.3数据库设计54
3.1.4数据库选型59
3.2实战环境搭建60
3.2.1安装ClickHouse60
3.2.2配置ClickHouse61
3.2.3创建ClickHouse库表64
3.2.4数据导入ClickHouse68
3.3业务开发71
3.3.1创建开源情报采集库表72
3.3.2定时 新Gdelt记录73
3.3.3下载gdeltv2文件75
3.3.4数据导入ClickHouse78
3.4可视化分析86
3.4.1 /地区交互网络构建87
3.4.2西方媒体对中国的情感分析89
3.4.3 人物热点分析93
3.4.4 组织关系热点分析95
3.4.5 热点主题分析97
3.4.6抗议性事件情况分析100
第4章开源人物情报社会网络构建103
4.1总体设计103
4.1.1需求分析103
4.1.2功能结构104
4.1.3业务流程104
4.1.4数据对象建模104
4.1.5技术选型105
4.2实战环境搭建106
4.2.1部署Neo4j106
4.2.2安装py2neo模块109
4.2.3安装scrapy模块110
4.3业务开发111
4.3.1使用scrapy模块爬取开源人物情报数据112
4.3.2使用SPARQL语句查询人物117
4.3.3爬取已定义的所有关系118
4.3.4爬取人物实体信息及关系124
4.3.5提取亲属信息131
4.3.6通过工具导入批量数据132
4.3.7利用py2neo模块导入数据136
4.4可视化分析142
4.4.1通过人物属性值查找节点142
4.4.2通过人物属性值查找相关联的节点142
4.4.3监测时任美国总统罗斯福的亲属关系144
4.4.4查询时任美国总统约翰·肯尼迪的校友关系144
4.4.5分析往届美国总统的死亡原因146
第5章用户行为情报分析及个性化推荐149
5.1总体设计149
5.1.1需求分析149
5.1.2技术选型150
5.1.3技术分析152
5.1.4开发流程153
5.2实战环境搭建153
5.2.1搭建Scala环境154
5.2.2搭建Spark平台155
5.2.3安装Maven159
5.2.4搭建IDEA集成开发工具160
5.3业务开发166
5.3.1用户视频行为数据集166
5.3.2个性化视频推荐166
5.3.3个性化推荐结果分析169
5.4可视化分析170
5.4.1观影人员评价总体分析171
5.4.2观影人员年龄段分布172
5.4.3观影人员职业分布174
5.4.4视频类型标签分析176
第6章科技动态情报大数据搜索优化179
6.1总体设计179
6.1.1需求分析179
6.1.2技术选型180
6.1.3数据库设计180
6.2实战环境搭建181
6.2.1搭建Elasticsearch环境181
6.2.2Elasticsearch集成中文分词器182
6.2.3Elasticsearch集成拼音分词器182
6.2.4搭建SpringBoot应用框架183
6.2.5SpringBoot集成MySQL数据库184
6.2.6SpringBoot集成Elasticsearch搜索引擎186
6.3业务开发188
6.3.1科技新闻爬虫模块188
6.3.2搜索引擎实现190
6.3.3Elasticsearch搜索优化195
6.4日志可视化197
6.4.1搭建Kibana环境197
6.4.2搭建Logstash环境198
6.4.3日志可视化分析200
6.5可视化分析202
6.5.1静态资源准备202
6.5.2后台管理页集成202
6.5.3新闻列表页集成206
6.5.4静态页面优化207
第7章视频图像情报深度学习车牌识别209
7.1总体设计209
7.1.1需求分析209
7.1.2技术分析210
7.1.3开发流程211
7.2实战环境搭建211
7.2.1人工神经网络库Keras212
7.2.2数值计算扩展NumPy212
7.2.3Python库Thea 3
7.2.4安装Sklearn213
7.2.5安装OpenCV213
7.3业务开发215
7.3.1卷积神经网络215
7.3.2车牌定位与截取222
7.3.3车牌号码识别232
第8章公共卫生情报可视化态势展示237
8.1总体设计237
8.1.1技术选型237
8.1.2技术分析238
8.1.3数据库设计238
8.2实战环境搭建239
8.2.1搭建Zookeeper环境239
8.2.2搭建Kafka环境240
8.2.3搭建Elasticsearch+MySQL环境241
8.2.4后端框架搭建241
8.3业务开发242
8.3.1请求疫情接口数据242
8.3.2发布数据到Kafka244
8.3.3整合MySQL和Elasticsearch245
8.3.4数据持久化247
8.4可视化分析250
8.4.1印度疫情发展趋势折线图252
8.4.2印度疫情发展趋势柱状图254
8.4.3欧洲疫情南丁格尔玫瑰图255
参考文献259