大数据平台异常检测分析系统的若干关键技术研究

本书在介绍相关研究工作及基础之后，主要针对大数据平台的访问日志研究平台异常的检测与分析问题。构建大数据平台异常的离线检测与分析的方法体系，研究概念漂移的二重检测机制、分布式日志的最大频繁序列模式、基于最大频繁模式的动态规则库构建方法、基于聚类分析K-Means算法、Canopy算法、CMBK算法）的离线异常检测算法，提出基于最大信息系数的在线异常检测方法、基于贝叶斯粒子群的异常检测方法；构建大数据平台异常的实时检测与分析方法体系，研究基于Web会话流的分布式实时异常定位方法、基于会话特征相似性模糊聚类的异常检测算法、基于相邻请求的动态时间阈值会话识别算法；研究平台异常时运行维护的推测式任务调度策略并提出基于实时负载的推测式任务调度算法；从大数据技术与组件技术选型入手，针对大数据平台异常检测分析系统进行深入的结构分析、构建一种称为融合框架的RADA系统，比较系统地介绍大数据平台异常的实时检测与分析系统的系统研发实现的关键技术。