大数据

大数据

20世纪90年代，大数据一词开始被使用，人们普遍认为：是John Mashey创造了这一词汇，或者说是他让这个词流行起来。大数据通常包括一些大尺寸的数据集，其大小超出了在可接受时间内使用常用软件工具捕获，查觉，管理和处理数据的能力。大数据哲学包含非结构化、半结构化和结构化的数据，但主要集中于非结构化数据上。大数据的“大小”定义一直在不断变化，从2012年十几二十个万亿字节转变为万万亿字节的数据。大数据需要一套新的技术以及新型态的技术集成来显示数据集的多样性、复杂性和海量性。

2016年的定义认为，“大数据，即信息资产，其特点是：数量，速度和种类都很大，因此需要特定的技术和分析方法以实现其价值转化。“ 此外，有组织还为其添加了一个新的特性——“准确性”， 虽然一些行业权威对此表示质疑。这三个特性（数量，速度和种类）已经进一步扩展到大数据的其他互补特征。

l  机器学习：大数据无需追根溯源，即可简单的发现行为模式

l  数位足迹：大数据通常为数字交互所产生的免费副产品

2018年的定义认为，“大数据需使用并行计算工具来处理数据”，并指出“这代表了在计算机科学使用中，通过并行编程理论产生了明确、明显的定义变化，以及通过使用Codd关系模型产生的担保和能力的损失”

l  随着这一概念日渐成熟，更能明确“大数据”和“商业智能”之间的区别

l  商业智能使用具有高信息密度数据的描述统计来衡量事物，检测趋势等。

大数据使用非线性系统识别的归纳统计法及概念和低信息密度的大型数据集中推断规律（回归，非线性关系和因果效应）以揭示关系和依赖关系，或执行预测结果和行为。

特征

大数据拥有如下特征：

数量：

生成数据和存储数据的数量。数据的大小决定了其价值和潜在能力，以及它是否可以归类为大数据。

种类：

数据的类型和性质。这有助于帮助分析的人有效地利用数据。大数据是从文本、图像、音频、视频中提取出来的，另外通过数据融合补全缺失的片段。

速度：

数据生成和处理的速度可以满足发展道路上的各种需求和挑战。 大数据通常是实时可用的。

准确性

捕获数据的数据质量会有很大的差异，影响分析的准确性。