11、大数据组织挑战与关联数据统一模型解析

大数据组织挑战与关联数据统一模型解析

1. 大数据组织挑战概述

大数据组织挑战主要分为两个方面：一是为数据集提供结构良好且组织有序的元数据；二是对数据集本身进行结构化和组织。在大数据环境下，我们需要从可用资源中捕获正确的元素。

2. 外部数据集成

寻找集成结构化和非结构化信息的最佳方法是当前的研究热点。早在 2002 年就开始考虑为数据仓库提供外部信息，并提出使用 RDF 来表示文本文档和数据仓库配置文件的元数据。

数据仓库解决了以统一方式访问多个独立数据源的问题，使数据能够从中央存储库进行收集、组织和访问。而如今，数据分析师对访问组织外部数据的需求日益增长，主要驱动因素包括数据量的增加、跨数据集链接技术的发展以及集成结构化和非结构化数据的需求。

网络上大量免费可用的开放数据，包括结构化和非结构化数据，被称为“广泛数据”。对于广泛数据，重要的是链接元数据而非数据本身，因为在广泛数据中，多样性比规模更为重要，数据量问题可通过分布式技术解决，而多样性则是大数据面临的真正挑战。

Hendler 提出了一种处理广泛数据的方法——DIVE：
-发现（Discovery）：企业内部的数据搜索就很复杂，在网络上搜索则更难。可使用各种轻量级元数据支持数据集发现，简单的发现方法是分面搜索，如按主题、位置、日期、数据集格式等。更复杂的搜索应涉及联合目录、关键词含义的相似性以及特定领域元数据的开发。
-集成（Integration）：数据集通常是独立创建的，在企业环境中，需要语义来创建数据混搭，有时还需要额外的数据集来集成其他数据。使用