为什么把“数据当产品”是数据网状结构中最关键的原则

在这篇文章中，我们将探讨为什么把数据当作产品来对待是数据网（Data Mesh）最重要的原则，以及它如何使组织能够更好地释放数据的真正价值。

图片由 Debby Hudson 拍摄，在 Unsplash 照片提供

在深入探讨数据作为产品的重要性之前，我们先简要定义一下数据网（Data Mesh）。这一概念由Zhamak Dehghani提出的数据网（详情）是一种架构方法，旨在分散数据的所有权和管理责任。不再是中央数据团队管理整个组织的数据，而是将数据的所有权和管理责任分配给最接近数据的特定领域团队。这种方法建立在四个基本原则之上。

• 基于领域的数据所有权
• 数据作为产品
• 自助式数据平台
• 联邦式计算治理

虽然所有这些原则都至关重要，但我认为将数据视为产品是把这些原则连接起来的关键。

在传统的数据架构中，数据通常被看作是业务操作的副产品。它被存储在数据湖或数据仓库中，之后才由中央数据团队进行清理和整理。

这种方法常常让数据分析师感到沮丧，因为它花了太多时间来发挥数据的价值（因为数据未被汇总、质量差等），而业务要求的速度更快。此外，数据工程师经常有太多的数据增强和扩充工作要做，无法专注于新的任务。

这就体现了领域导向的数据所有权的用武之地，将数据管理责任交给更贴近该领域实际工作的跨职能团队。由于公司难以通过集中化的数据所有权来推进发展，因此不得不采取分散化的方式。

随着这一转变，组织摆脱了集中式数据团队带来的瓶颈问题：域团队可以独立运行，以满足业务需求的速度迭代并优化自己的数据产品。这让域内的数据分析师和工程师对数据产品有了更强的责任感。

然而，当这些数据需要被访问和使用时，在分散式组织中已经遇到了一些重大问题：人们找不到数据，也摸不清数据的质量等。数据需要得到记录、质量保障并且便于访问。

在一个去中心化不可避免的世界里，把数据当作产品来看待的思维方式调整是最关键的数据网架构原则之一。

如果把数据当作产品来看待，数据资产必须可靠且易于维护，并且以满足其他团队、应用程序或数据科学家的需求为设计目的。这样的产品导向方法确保数据质量高、易于发现和使用，使其成为推动业务价值的核心资源。

把数据当作产品来考虑这一理念赋予最接近数据的团队——领域团队——更大的能力，使其能够完全掌控数据。每个领域团队负责生产、维护并持续优化其数据产品。他们理解数据的上下文和意义，使他们最适合管理数据。此外，每个领域团队都可以独立发展，确保组织能够管理大量数据并避免集中化带来的瓶颈。领域团队指的是那些对特定业务领域有深入了解的团队。

就像对待实物产品一样，数据产品在设计时也应该考虑到最终用户的需求。当数据生产者像产品经理一样思考时，他们专注于提供如下特性的数据：

• 可靠性：数据必须既准确又一致。
• 可发现性：数据应该容易查找和理解。
• 安全性：敏感信息必须受到保护，并且要设置适当的访问权限。
• 互操作性：数据产品必须设计成可以在整个组织内部无缝集成。

将数据视为产品的用户导向方法对于希望提升数据成熟度的组织来说至关重要。

我们讨论了众多组织中去中心化不可避免地出现，这引发了将数据当作产品来对待的想法。那么，关于自助数据平台和联邦计算管理这两个原则又怎么说呢？

把数据当作产品看待的好处突显了建立一个自助数据平台的必要性，以便不同团队能以标准方式创建数据产品。而自助数据平台的成功则依赖于高质量且文档齐全的数据产品的可用性。

关于联邦计算治理框架，将数据视为产品可以使得治理更加可扩展和可实施。数据产品可以拥有明确的治理政策，比如所有权、数据来源、文档和问责制，从而更容易查找和访问数据集，而不会降低创新或灵活性。

虽然数据网格融合了几个关键原则，但“将数据视为产品”这一原则将使公司在数据成熟度之旅中取得进展，改善他们处理数据及从中提取价值的方法。它从根本上改变了组织处理、管理和利用数据价值的方式。通过将产品思维应用于数据，组织可以确保数据质量高、以用户为中心且符合业务需求，随着公司的发展而扩展。

把数据视为产品的公司不仅能提升基于数据的决策水平，还将形成一种氛围，在这种氛围下，使数据成为推动创新和竞争优势的关键力量。

如果你想了解更多关于数据作为产品的内容，可以看看我写的其他相关文章：

• 数据作为一种产品与数据产品之间的区别是什么？
• Oda 的数据作为产品
• Adevinta 的将数据视为产品