大数据系统综述
随着科学、技术和工程的迅猛发展, 近 20 年来, 许多领域 （如光学观测、光学监控、健康医护、传感器、用户数据、互联网和金融公司以及供应链系统） 都产生了海量的数据 （更恰当的描述或许是 “无限” 的数据, 例如, 在光学观测和监控等应用中, 数据都是源源不断而来的, 形成了 “数据灾难”）, 大数据的概念也随之再次引起重视. 与传统的数据相比, 除了大容量等表象特点, 大数据还具有其他独特的特点, 例如大数据通常是无结构的, 并且需要得到实时分析, 因此大数据的发展需要全新的体系架构, 用于处理大规模数据的获取、传输、存储和分析. 本文对大数据分析平台进行了尽可能详尽的文献调研, 首先介绍了大数据的基本定义和大数据面临的一些挑战； 然后提出了大数据系统框架, 将大数据系统分解为数据生成、数据获取、数据存储和数据分析等 4 个模块, 这 4 个模块也构成了大数据价值链； 随后讨论了学术界和工业界中和大数据相关的方法和机制； 最后介绍了典型的大数据系统基准和大数据的一些科学问题. 本文意图为非专业读者提供大数据的全景知识, 也为高级读者定制自己的大数据解决方案提供辅助思想, 希望能够对大数据相关的科技和工程人员起到一些参考作用
- 2021-04-17
- 阅读511
- 下载0
- 44页
- pdf
