大数据采集和预处置技术

（1）大数据采集技术

大数据是指通过RFID数据、传感器数据、社交网络交互数据及移动互联网数据等方法获得的各种类型的构造化、半构造化（或称之为弱构造化）及非构造化的海量数据，是大数据知识服务模型的根本。

大数据采集一般分为大数据智能感知层与基础支持层，大数据智能感知层主要包含数据传感体系、网络通讯体系、传感适配体系、智能辨认体系及软硬件资源接人系统，实现对构造化、半构造化、非构造化的海量数据的智能化辨认、定位、跟踪、接人、传输、信号转换、监控、初步处置和管理等:基础支持层主要是提供大数据服务平台所需的虚拟服务器，构造化、半构造化及非构造化数据的数据库及物联网资源等基础支持环境。

（2）大数据预处置技术

大数据预处置技术主要完成对已吸收数据的辨析、抽取、清洗等操作抽取:因获取的数据可能具有多种构造和类型，数据抽取流程可以帮助我们清洗:对于大数据，并不全是有价值的，有些数据并不是我们所关怀的内容而另一些数据则是完整错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库并进行管理和调用，主要解决大数据的可存储、可表示、可处置、可靠性及有效传输等几个关键问题。

开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为:键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包括了传统关系数据库系统以及NewSOL数据库。

开发大数据安全技术包含:改良数据烧毁、透明加解密、分布式浏览控制数据审计等技术；突破隐私保护和推理控制、数据真伪辨认和取证、数据持有完全性验证等技术。