每日一课 | 智慧灯杆之大数据采集技术简介

大数据是一种从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括大数据采集技术、大数据预处理技术、大数据存储及管理技术、大数据分析及挖掘技术、大数据展现与应用技术（大数据检索、大数据可视化、大数据应用、大数据安全等）。

1．大数据采集技术

大数据采集是指通过RFID数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速、高可靠数据爬取或采集高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术：设计质量评估模型，开发数据质量提高技术。

大数据采集一般分为大数据智能感知层和基础支撑层。大数据智能感知层主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接人系统，对构、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分数据的网络传输与压缩技术，大数据隐私保护技术等。