现在企业每天都在收集大量数据，而这已经超出传统关系数据库可以处理的范围。

这使得企业需要利用数据湖和数据仓库来管理数据，而这又引发新的问题：何时使用数据湖，何时使用数据仓库，它们的主要区别是什么？

这两个数据存储库都存储业务数据，用于分析和报告，但它们的区别在于其目的、结构、支持的数据类型、数据源和典型用户方面。了解这些区别可以确定数据湖和数据仓库在企业分析策略中的作用。

一般来说，这两个数据存储库的数据源包括：生成数据的系统（CRM、ERP、HR和财务应用程序），以及移动应用程序、实时数据流、网络和网站日志、传感器和其他来源。企业根据业务规则处理来自这些来源的数据记录，然后将数据发送到其中一个存储库，以进行持续存储和管理。

当企业将来自各种业务应用程序、物联网设备和外部来源的数据传输到数据湖或数据仓库平台后，他们就可以识别趋势，并提供见解，以帮助企业做出更明智的业务决策。数据湖通常包含各种大数据集，可用于高级分析应用程序。另一方面，数据仓库存储传统交易数据，用于基本的BI、分析和报告用途。

下面让我们看看这两个数据存储库以及它们之间的差异。

什么是数据湖？

数据湖通常是一个庞大的存储库，以原生格式存储原始数据。数据湖的好处之一是，它可以存储不同结构的数据，而不仅仅是传统的结构化数据。系统用唯一的标识符和元数据标记每个存储的数据元素，以便在需要时更容易查询。但数据湖在获取数据时不需要预定义的模式。相反，数据科学家和其他分析师将模式应用于数据集，并在数据获取过程完成后对其进行过滤，以满足特定的分析需求。

当首次出现时，数据湖最常与Hadoop分布式处理框架相关联。然而，随着数据不断涌入企业，架构选项开始增加，以包含其他大数据平台。很多IT供应商现在开始在云端支持数据湖，通常结合Spark处理引擎和云对象存储服务。

什么是数据仓库？

数据仓库是数据存储库，这些数据由业务应用程序生成或收集，然后存储用于预定的分析目的。大多数数据仓库都是建立在关系数据库上，因此，对数据应用预定义的模式。此外，通常在加载数据之前，企业会对数据进行清理、整合和整理，以用于既定目的。

由于数据仓库中的数据已经处理完毕，因此进行高级分析相对容易。业务经理和其他非分析专业人员也可以使用自助BI工具自行访问和分析数据。企业数据仓库为整个组织提供集中式数据存储库，而可以为各个部门设置较小的数据市场。与数据湖一样，企业越来越多地部署云数据仓库，作为本地数据仓库的替代方案。

数据湖与数据仓库：8个重要区别

当企业拥有来自运营系统的大量数据需要随时进行分析以支持日常业务流程时，他们通常会选择数据仓库而不是数据湖。数据仓库通常是企业的单一真实来源，因为它们存储了历史业务数据，这些数据已经经过清理和分类。

相比之下，数据湖通常存储来自更多来源的数据。数据湖平台本质上是来自组织运营系统和其他来源的各种原始数据资产的集合，通常包括内部和外部来源。

下表详细介绍了数据湖和数据仓库之间的8个区别。

 

	数据湖	数据仓库
支持的数据类型	数据湖可以处理结构化、半结构化和非结构化数据，这些数据通常以原生格式存储，这使得整个原始数据都可用于分析目的。	数据仓库通常存储来自事务处理系统和其他业务应用程序的结构化数据。在大多数情况下，在将数据加载到数据仓库之前，企业会对数据进行清理和整理。
分析使用	企业主要将数据湖用于数据科学应用—涉及机器学习、预测建模和其他高级分析技术。分析目标并不总是预先定义。	数据仓库支持不太复杂的BI、专门分析、报告和数据可视化应用程序，通常具有预定义目的，以分析业务运营和跟踪关键绩效指标。
用户	数据科学家和数据分析师是数据湖的主要用户。数据工程师会支持他们，通常通过构建数据管道并根据需要帮助准备数据用于分析。	业务分析师、高层人员和运营人员通过自助BI工具使用数据仓库。或者，BI分析师和开发人员在数据仓库中为业务用户运行查询。
数据处理方法	数据湖支持传统的提取、转换和加载（ETL）流程，但企业更有可能使用提取、加载和转换（ELT），他们首先加载原始数据，然后根据特定需求进行转换。	数据团队通常使用ETL流程在数据仓库中进行数据集成和准备。在加载数据集之前，他们最终确定数据结构，以支持BI和分析应用程序。
模式	数据团队可以在数据集存储在数据湖中后，使用读时模式方法定义模式。	数据团队在加载数据集之前，在数据仓库中定义模式，遵循写时模式做法。
数据存储	数据通常存储在关系数据库以外的平台上，例如Hadoop分布式文件系统、云对象存储服务或NoSQL数据库。	企业通常使用传统磁盘存储将数据存储在关系数据库中。他们还可以在柱式数据库上构建数据仓库，类似于磁盘存储。
成本	硬件成本可以更低，因为数据湖使用成本较低的服务器和存储。数据管理的成本也可能更低。但有些数据湖很大，这可能会抵消成本优势。	一般来说，数据仓库所需的大型服务器和磁盘存储系统使其比数据湖更昂贵。管理数据仓库的成本也可能更高。
业务优势	数据湖使数据科学团队能够分析各种结构化和非结构化数据集，并创建分析模型，为战略规划和业务决策提供见解。	企业使用数据仓库集中存储库，用于存储整理和整合后的数据，以分析业务绩效并支持运营决策。

如果你想要记住数据湖和数据仓库之间的区别，请想象实际的仓库和湖泊：仓库储存来自特定来源的精选商品，而湖泊则包含河流、溪流和其他未经过滤的水源。从广义上讲，同样的区别也适用于数据湖和数据仓库。

根据企业目标选择合适的平台

在数据湖与数据仓库之间做出选择，主要取决于企业计划如何利用自己的数据。

由于数据仓库包含企业已经处理并准备分析的历史数据，因此它们非常适合技术知识较少的员工。数据仓库不仅适合业务分析师、高管和用户使用自助BI和分析工具分析数据，而且，数据仓库的设计通常使不同的团队和部门可以轻松访问存储在其中的数据。这就是为什么构建良好的数据仓库架构是打破企业系统数据孤岛的关键。

在从大量来源获取大量数据的企业中，数据湖很受欢迎。数据摄取相对简单，因为数据湖可以存储原始数据。但与数据仓库中已处理的数据相比，此类数据更难搜寻和处理。因此，数据科学家通常将数据湖用于高级分析应用。数据湖具有灵活性，可针对相同的数据集中构建不同的分析模型，这也使数据湖成为具有不同分析需求的企业的热门选择。

最终，很多企业可能会同时部署这两种类型的平台，以支持不同类型的数据分析。在某些情况下，在统一环境中结合数据湖和数据仓库可能是最佳选择。例如，来自数据仓库的数据可能会被馈入数据湖，以便数据科学家进行更深入的分析。更进一步，新的数据湖平台已经出现，新平台结合数据湖的灵活存储和可扩展性与数据仓库的数据管理和用户友好的查询功能。