10、大数据组织与理解：挑战与机遇
大数据组织与理解：挑战与机遇
1. 大数据分析的挑战
大数据分析面临诸多挑战，需要仔细应对。
首先是数据可靠性问题。数据收集与分析不能孤立进行，可靠性是关键，它并非随数据量增大而自然提升。数据收集可能出错，例如谷歌多次更新搜索算法，导致用户输入查询的分布变化，其搜索建议也影响了搜索者行为，使数据易产生偏差，类似“观察者效应”。而且基于部分结果采取的干预和行动会进一步引入偏差。此外，现象本身可能在模型捕捉之前就已演变，因此处理这些失败情况的统计方法在大数据分析中愈发重要。
其次，存在对大数据的误解，认为数据量能让方法论变得不必要。如 Anderson（2008）认为技术先进到可自动发现模式、趋势和关系，无需假设或模型，觉得知道人们做了什么并精确跟踪活动即可，“有足够数据，数字会自行说明问题”。但 Harford（2014）反驳称，统计学家花了 200 年研究研究方法和避免数据处理中的陷阱。
2. 大数据的粒度与自相似性
大数据常与数据量关联，但高数据量不一定意味着丰富内容。过去磁盘空间稀缺时，人们开发了许多压缩算法，因为数据常存在重复，流行的比特序列会被更短的比特表示替代。数据对象的理论压缩比由 Kolmogorov 复杂度决定，即生成该对象的最短计算机程序长度。
Shannon（1948）提出的信息熵也与此相关。熵表示无序或不确定性，信息熵的度量是对给定源中每个可能数据值计算的，是该值概率质量函数的负对数。高概率事件信息熵低，低概率事件信息熵高，即携带更多“信息”，所以不太可能的值更有趣。信息熵为无损压缩的最短平均长度提供了绝对限制。Kolmogorov 复杂度和信息熵都可用于描述大数据的描述复杂度。
<