大数据分析及发掘技术

大数据分析技术是指改良已有数据发掘和机器学习技术，是开发数据网络发掘、特异群组发掘、图发掘等新型的数据发掘技术，是突破基于对象的数据链接相似性链接等大数据融会技术，是突破用户兴致分析、网络行为分析、情感语义分析等面向领域的大数据发掘技术。

数据发掘就是从大批的、不完整的、有噪声的、模糊的、随机的实际使用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的流程。

数据发掘涉及的技术办法很多，依据发掘任务可分为分类或预测模型发觉数据总结、聚类、关联规则发觉、序列模式发觉、依附关系或依附模型发觉、异常和趋势发觉等办法。

依据发掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web。

从发掘任务和发掘办法的角度，侧重突破:

①可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观地感受到结果。

②数据发掘算法。图像化是将机器语言翻译给人看，而数据发掘应用的语言就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法可以让我们精炼数据，发掘数据的价值。这些算法一定要能够敷衍大数据的量，同时还具有很高的处置速度。

③预测性分析。预测性分析可以让分析师依据可视化分析和数据发掘的结果做出一些前瞻性断定。

④语义引擎。语义引擎需要涉及有足够的人工智能从而可以从数据中主动地提取信息。语言处置技术包含机器翻译、情感分析、舆情分析、智能输入、问答系统等。

⑤数据质量和数据管理。数据质量和数据管理是管理的最佳实践，通过标准化过程和机器对数据进行处置可以确保获得一个预设质量的分析结果。