数据带来的不仅是机遇,同时也是挑战.传统的数据处理手段已经无法满足大数据的海量实时需求,需要采用新一代的信息技术来应对大数据的爆发.我们把大数据技术归纳为五大类,分别是基础架构支持、数据采集技术、数据存储技术、数据计算和数据展现交互。

1.基础架构支持

主要包括为支撑大数据处理的基础架构级数据中心管理、云计算平台、云存储设备及技术、网络技术、资源监控等技术.大数据处理需要拥有大规模物理资源的云数据中心和具备高效的调度管理功能的云计算平台的支撑。

2.数据采集技术

数据采集技术是数据处理的必备条件,首先需要有数据采集的手段,把信息收集上来,才能应用上层的数据处理技术.数据采集除了各类传感设备等硬件软件设施之外,主要涉及到的是数据的ETL(采集、转换、加载)过程,能对数据进行清洗、过滤、校验、转换等各种预处理,将有效的数据转换成适合的格式和类型.同时,为了支持多源异构的数据采集和存储访问,还需设计企业的数据总线,方便企业各个应用和服务之间数据的交换和共享。

3.数据存储技术

数据经过采集和转换之后,需要存储归档.针对海量的大数据,一般可以采用分布式文件系统和分布式数据库的存储方式,把数据分布到多个存储节点上,同时还需提供备份、安全、访问接口及协议等机制.

4.数据计算

我们把与数据查询、统计、分析、预测、挖掘、图谱处理、BI商业智能等各项相关的技术统称为数据计算技术.数据计算技术涵盖数据处理的方方面面,也是大数据技术的核心.

5.数据展现与交互

数据展现与交互在大数据技术中也至关重要,因为数据最终需要为人们所使用,为生产、运营、规划提供决策支持.选择恰当的、生动直观的展示方式能够帮助我们更好地理解数据及其内涵和关联关系,也能够更有效地解释和运用数据,发挥其价值.在展现方式上,除了传统的报表、图形之外,我们还可以结合现代化的可视化工具及人机交互手段,甚至是基于最新的如Google眼镜等增强现实手段,来实现数据与现实的无缝接口。

大数据技术是当今信息技术发展的前沿和热点领域，物联网、互联网以及移动通信网络的飞速发展催生了大数技术带来了速度、结构、体量、成本、价值、安全隐私、互联互通等各方面的问题,传统的信息技术处理手段在面对大数据问题时显得力不从心,缺乏扩展性和高效性.大数据问题需要云计算技术来解决,而同时大数据又能促进云计算技术的真正落地和实施,二者是相辅相成的关系.我们重点从基础架构支撑、数据采集、数据存储、数据计算以及数据展示与交互等方面描述大数据所涵盖的几大类技术,从另一个角度为相关领域的学者描述大数据技术的挑战与机遇,同时提供大数据技术上的参考分类方式.大数据技术正在随着日益剧增的数据量和处理需求不断的发展,不断的影响着我们的生活习惯和方式。