湖仓一体：揭秘数据湖架构现代化之道

IBM China

2023-07-17 16:14 2423

作者：Hebert W. Pereyra，IBM 杰出工程师，Hybrid Data Management首席架构师

译者：刘俊，IBM watsonx.data开发架构师

北京2023年7月17日 /美通社/ -- 数据湖诞生至今已有十多年的历史，为全球一些最大的企业提供了数据分析的支持。然而，也有人认为，绝大多数数据湖部署已经演变成为"数据沼泽"。不论你站在哪一边，现实情况是，这些系统中仍然承载着大量的数据。这些数据规模庞大，使得移动、迁移或对其进行现代化都变得异常困难。

数据湖的巨大挑战：单一结构的架构问题

从较高层次来看，数据湖是一个大规模的单一数据存储库。数据可以以原始形式存储，也可以经过优化，采用适合专用引擎使用的不同格式。

就Hadoop而言，它是最受欢迎的数据湖之一，通过使用开源软件实现该存储库，并在通用硬件上运行，可以以非常低的成本在系统中存储大量数据。数据可以以开放的数据格式进行持久化，从而实现了数据消费的民主化，并通过自动复制提供了高可用性的支持。默认的处理框架具备从故障中恢复的能力。这无疑是与传统分析环境有着显著差异的重要转变，传统数据分析环境往往意味着供应商锁定以及无法处理大规模数据。

另一个出乎意料的挑战是将Spark引入作为大数据处理框架。由于其支持数据转换、流式处理和SQL，它迅速获得了广泛的认可。然而，它并未能与现有的数据湖环境友好共存，因此通常需要额外的专用计算集群才能运行Spark。

我们将时间前移15年回到当下，现实已经清楚地表明了这项技术所涉及的权衡和妥协。其快速的采用意味着客户很快失去了对数据湖中数据的追踪。同样具有挑战的是，他们无法确定数据的来源、获取方式以及在处理过程中的转换方式。数据治理仍然是这项技术中尚未探索的领域。虽然软件可能是开源的，但需要有人学习如何使用、维护和支持它。仅依赖社区支持并不能持续满足业务运营所需的响应时间。高可用性通过复制实现则意味着需要更多磁盘上的数据副本，增加存储成本，并导致故障更加频繁。而高可用的分布式处理框架则意味着不得不在性能方面做出妥协，以换取弹性（这将导致交互式分析和商业智能的性能严重下降）。

为何要对数据湖进行现代化？

数据湖在特定的使用场景中已经被证明是成功的。然而清楚的是，企业迫切需要对这些部署进行现代化，保护基础设施、技能和存储在这些系统中的数据的投资。

在寻找答案的过程中，行业研究了现有的数据平台技术及其优势。很明显，有效的方法是将传统的（或者说是遗留的）数据仓库或数据集市的关键特性与数据湖的优势结合起来。以下几个关键要素迅速浮出水面：

具备弹性和可扩展的存储，能够满足日益增长的数据规模需求。
采用开放的数据格式，使数据对所有人都可访问，同时针对高性能进行优化，并具备良好定义的结构。
开放的元数据（可共享），能够支持多个消费引擎或框架。
支持数据更新（ACID特性）和事务并发处理。
综合的数据安全和数据治理（如数据血缘、完整的数据访问策略定义和执行，包括地理分布）。

上述要素导致了湖仓一体的出现。湖仓一体是一种数据平台，是将数据仓库和数据湖的优点融合在一起，形成统一、协调的数据管理解决方案。

利用watsonx.data来现代化数据湖的好处

站在当下数据分析的十字路口，IBM的回应是为企业提供watsonx.data解决方案。

站在当下数据分析的十字路口，IBM的回应是为企业提供watsonx.data解决方案，这是一个用于大规模数据管理的新型开放式数据存储，允许企业在无需迁移的情况下围绕、增强和现代化其现有的数据湖和数据仓库。它支持开放式的多云与混合云，可以在客户管理的基础设施（本地或者私有云）和公有云上运行。它建立在湖仓一体架构之上，并嵌入了一整套解决方案（以及通用软件堆栈），适用于所有形态。

与市场上的竞品相比，IBM的方法基于开源堆栈和架构。这些组件并不是新的，而是业界已经广泛使用的成熟组件。IBM关注它们的互操作性、共存性和元数据交换。用户可以快速入门，从而大大降低了入门和使用的成本，因为其上层架构和基础概念是大家熟悉且直观的：