数据网实战——Zeenea《数据网实用指南》的推荐做法

这个标题通俗易懂，并符合中文的口语表达习惯，同时准确地反映了文章的主题和内容。

这些建议旨在帮助读者更好地理解数据网的复杂性，并提供一些方向。

数据网的四个原则，（来源：zeenea）

• 实施数据网状架构（Data Mesh）主要是一个组织和文化的转变——它并不需要立即投入在基础设施上的资金。
• 数据网状架构（Data Mesh）并没有一个固定的架构——每个组织采用的解决方案都各不相同，并且这些解决方案会随着时间的推移不断演变。

· 介绍
· 第一部分 — 规划你的试点项目
· 第二部分 — 为试点项目组建开发团队和搭建数据平台
· 第三部分 — 制作你的第一个数据产品
· 第四部分 — 实施联邦计算管理
· 扩展数据网状结构的规模
· 重要要点
· 结论
· 参考文献

本文总结了Zeenea的《数据之旅》系列文章。该系列由四部分组成——摘自Zeenea的《数据网实用指南》——提供了一种符合数据网四大原则的数据网之旅的起步方案，并充分利用现有的人员和技术资源。

以下是数据网格的四大原则，版权所有：zeenea

在接下来的几节里，我们将更深入地探讨这个概念，并提供成功实施Data Mesh的建议。

启动数据网状结构的转型涉及基于已确立原则的实际步骤。旅程从试点项目的定义范围开始，遵循数据网状结构的四大原则：分散的数据管理权、将数据当作产品来看待、自助服务的数据基础设施以及联邦式的计算治理。

通过利用现有资源，如人力和技术资产，可以确保对组织的影响最小化。Premium Offices作为一个案例研究，展示了如何识别领域并选择初始用例。这是促进最理想学习条件的一个重要方面。通过强调特定的前提条件和具体的步骤，组织可以在不影响运营的情况下建立去中心化数据管理的基础。

按领域组织 — 来自Premium Offices的核心能力 , © zeenea

1.1. 领域识别

识别自主领域并重新分配数据的所有权可能会遇到阻力或理解上的模糊，从而导致延误或不一致的问题。

建议：进行全面彻底的分析，并与相关方和行业专家合作，确保数据所有权的明确定义和顺利交接，以及与现有运营体系的适配。

1.2. 使用场景选择.

这样做起来，选择一个能够有效展示数据网价值的初始应用场景，同时与组织优先级和能力相匹配，可能颇具挑战性，这将影响到项目的成功率以及利益相关者的支持度。

建议：优先处理那些专注于实际业务成果、涉及来自一个或两个领域的数据、并在复杂性和可行性之间找到平衡的用例。确保与组织的目标和用户的需求相一致。

1.3. 数据产品的定义

定义能够提供实际价值并符合用户需求的数据产品可能颇具挑战性，这可能影响项目的效率以及用户的接受程度。不一致或模糊地定义数据产品会导致误解、低效，从而降低数据网状结构的实施效果。

建议：与利益相关者密切合作，为了建立内部数据产品定义的清晰和一致的定义，确保其与业务目标、技术能力以及用户需求相一致。

1.4. 跨领域整合

在整合来自多个领域的数据的同时保持一致性和高标准，会带来技术和实施方面的挑战，可能造成数据孤岛或数据不一致。

建议：实施稳健的数据集成流程和标准体系，确保跨域数据流动和互操作性的顺畅。

1.5. 资源分配工作

将资源，特别是合格人员和技术，分配给试点项目，同时处理现有承诺，可能会超出组织当前的能力。

建议：根据项目需求和所需关键技能优先配置资源。鼓励团队合作和灵活应对，以提高资源配置效率。

成功启动数据网（Data Mesh）的转型和试点项目有赖于两个关键前提：界定领域和选定初始应用场景。通过明确规则，组织可以实现去中心化的数据管理而不引起混乱。

建立一个高效的开发团队和一个稳定的数据平台对于成功启动数据管理去中心化的试点项目至关重要。利用现有的资源并实施Data Mesh的原则能够奠定坚实的基础。

高级办公室案例展示了所需多学科团队结构，包括数据产品管理员、工程师和可视化开发人员，以适应特定的领域需求。构建团队为各领域提供必要的技术工具，可以简化数据的提取、处理和存储。利用现有基础设施并投资自动化可以加速开发和扩展能力。建立专门的开发团队有助于有效实施数据网概念原则，从而推动有价值的洞察并确保长期成功的去中心化数据管理。

数据网格平台的三个层面 © zeenea

2.1. 领域专业知识匹配

在不同领域和数据团队之间整合多样化的专业知识是一项挑战，这会影响理解和团队合作，这对于有效开发数据产品至关重要。

建议：通过定期的工作坊、培训和团队建设活动促进跨领域的知识共享和协作，以缩小知识差距并促进对项目的共同目标的共同认识。

2.2. 资源调配和可用情况

在将熟练工程师和可视化软件开发人员分配给试点团队的同时，平衡领域和数据团队的现有承诺可能会超出组织的承受能力。

建议：根据项目需求和关键技能优先考虑资源分配。鼓励灵活的团队结构和工作流程，以适应需求的变化并确保资源得到最佳利用。

2.3. 工具有关的复杂度和基础设施的复杂度

在资源分配、开发和监控及维护这些领域，管理工具和基础设施的复杂性是一项重大挑战，可能导致效率低下和瓶颈问题。

建议投资于强大的工具和基础设施，以简化数据产品的开发和部署过程。实施标准化的流程和自动化，以减少复杂性并确保跨领域的统一性。

2.4. 互用性和规范化：

确保数据产品在各个领域和平台之间具有互操作性和标准化对于无缝集成和扩展性至关重要，但可能遭遇阻力或不一致。

建议如下：建立清晰的数据产品开发规则和标准，强调与现有平台的互操作性和兼容性要求。推动团队间的协作和建立反馈机制以解决遇到的问题并推动持续改进。

2.5. 平台整合与调整

将Data Mesh平台与现有基础设施和平台整合，尤其是在那些拥有多样化或混合型基础设施的组织中，可能会遇到技术和实施上的挑战。

建议：对现有平台和基础设施进行全面评估，以识别集成点和兼容性要求。与平台专家和利益相关者紧密合作，制定定制集成策略，确保与数据网模型顺利集成。

建立一个专门的开发团队对于分散的数据管理的成功至关重要。通过汇集各种技能，组织可以有效地实施数据网（Data Mesh）原则，促进洞察。利用现有平台和自动化可简化开发，确保长期的成功。

在Data Mesh框架内采用“数据作为产品”的理念，代表着一种向产品导向文化的变革性转变，这种文化与成功的API管理模式相呼应。遵循DATSIS原则（可发现的、可寻址的、可信的、自描述的、互操作的、安全的），组织可以有效监控跨域的数据，确保一致、可靠且易于集成。

利用现有的技术和行业最佳实践，以及精心构建的数据治理结构，有助于创建稳健的数据产品，促进问责制和标准化的同时，提高整体的运营效率。将数据视为宝贵资产并实施结构化的管理框架，不仅加强了数据治理，还使组织能够构建一个更加敏捷且响应迅速的数据生态系统，能够更灵活地推动创新，更精准地实现战略目标。

数据产品的构成要素, © zeenea

3.1. 文化变迁

转向以产品为中心的数据管理方式可能会遭遇习惯使用传统数据管理方法的团队的反对。

建议如下：培养团队合作的文化，并通过有效的交流和培训课程强调数据产品的思维方式的优势，以促进团队成员更好地理解和采纳数据产品的思维方式。

3.2. 治理与标准化

在满足不同需求的同时遵守标准和治理规则是一件大事。

建议：建立强大的治理机制，提供明确的指导方针，并鼓励领域团队与中央治理机构之间的协作。

3.3. 技术整合

现有数据基础设施和工具的兼容性问题可能导致数据产品难以顺利集成到现有系统中。

建议：进行全面的兼容性测试，投资于互操作性的解决方案，并尽可能利用现有设施来减少干扰。

3.4. 元数据管理

在大规模数据管理中，确保数据元的完整无缺、准确一致，是有效管理和治理的关键。

建议：使用自动化的元数据管理工具，制定清晰的元数据标准，并将元数据治理作为数据产品开发的重要环节优先。

3.5. 开发体验

解决分布式团队中的资源限制和技能不足，对于确保开发体验流畅至关重要。

建议如下：投资于开发者的培训和技术工具，自动化重复性的任务，并促进开发工作流程中持续改进的文化。

3.6. 灵活的基础设施

将数据网格原则适应不同的基础设施环境，需要确保在混合环境中兼容性和可扩展性得以保证。

建议：设计模块化和灵活的架构，强调互操作性的标准，并利用基于云的技术以增强可扩展性和灵活性。

3.7. 安全和合规

Edited to:
3.7. 安全, 合规

在分散化数据管理的过程中，同时满足安全和合规性要求，是保障数据隐私和遵守监管规定的一大挑战。

建议：实施强大的安全控制，执行数据访问策略，并定期开展审计以确保符合行业规范。

拥抱“数据即产品”的概念对组织向分散式数据管理转型至关重要。这种思路培养了一个负责任、标准化和高效的文化，确保数据在各个层面的一致性、可靠性和无缝集成。

在数据网（Data Mesh）中的联邦计算治理通过计算算法和分布式技术跨多个实体协调决策过程，强调去中心化、协作、透明和适应性。尽管在理论上很简单，但在实施时常遇到文化和监管障碍，尤其是在高度监管的行业中，其中央集权控制根深蒂固。

Zeenea主张使用自动化来简化治理方面的流程，例如质量控制、可追踪性以及访问控制管理。高级办公场景通过逐步集成联邦治理来体现这种做法，在保留对质量与访问控制等关键功能的集中监督的同时，让数据产品负责人参与决策。这种迭代方法强调了元数据处理的重要性，并推动了数据网状环境中向有效联邦治理的渐进式发展。

联邦计算治理模式，© martinFowler.com

4.1. 内部文化难题

联邦管理的引入常常会在组织内部遇到阻力，尤其是在监管严格的行业中，因为中央控制已经深入人心。

建议如下：通过全面的变革管理策略来消除文化障碍。通过清晰的沟通和教育让关键利益相关者了解去中心化的优点，从而赢得他们的支持。

4.2. 中央治理团队的迟疑态度

集中治理团队可能不愿意下放控制权，这会阻碍过渡到联邦模型并降低灵活性。

这里有个建议：鼓励中央管理团队和各领域的负责人通过强调共同的目标，赋予地方更多的决策权，来建立信任和合作。

4.3. 数据治理的统一

让数据治理与风险管理及合规性同步进行可能会比较有难度，尤其是当运营团队更注重其他任务，而减少对治理的关注时。

建议：将数据治理措施与风险管理和合规流程结合起来，强调它们带来的共同利益，并确保治理工作与组织的总体目标相一致。

4.4. 识别地方负责人

找到当地负责人的身份来负责治理任务可能会很困难，尤其是在数据产品的负责人已经忙于主要职责时。

建议：提供明确的指导方针和资源支持机制，以明确分配治理责任，并为数据产品负责人提供培训和发展机会，以便他们能够有效管理与治理相关的任务，同时在现有职责范围内履行其现有角色。

4.5. 成本，和碎片化问题

实施联邦治理缺乏充分的规划和自动化的话，可能导致治理成本上升和碎片化现象。

建议如下：投资自动化解决方案以优化治理流程，并借助现有技术进行质量控制、追溯管理及访问策略管理，以节省成本并确保各领域的统一性。

在数据网织（Data Mesh）环境中拥抱联邦式的计算治理模式需要在应对文化与监管挑战的同时，利用自动化来简化治理流程。逐步实现去中心化的举措为构建可扩展且灵活的数据管理框架铺平了道路。

试点项目成功完成后，该组织准备扩大其数据网（Data Mesh）的实施。数据管理的去中心化符合监管建议，并且更加强调了质量控制的自动化以及关键数据的血缘关系提取。在扩展领域时应优先考虑成熟度和使用情况，而自动化则需要分阶段实施，以克服资源限制带来的挑战。利用现有解决方案并优先考虑增量自动化项目有助于平滑地集成到现有流程里。这样一来，确保了渐进式进展，并最大化了数据网采用所能带来的好处。

扩展数据网，版权所有 zeenea

将数据产品引入数据管理类似于生成数字对象的过程。可以利用精益制造工具优化数据产品的创建和消费过程，从而提升系统的吞吐量和灵活性。应用精益原则，例如分析价值链和缩短循环时间，能有效提高效率。数据产品的生产涉及三条主要的价值链：新产品的开发、现有产品的更新以及根据用户需求定制的数据利用。

制作数据产品 © zeenea

通过测量每个步骤的时间并确定各步骤之间的延迟，可以确定循环时间和循环频率。监控循环故障可以发现更多的效率低下问题。专注于通过改进流程或引入自动化来减少重大时间浪费。优先优化频繁触发的循环，特别是在数据网状结构实现中的循环1，因为这里通常是新产品创建的地方，并随后进行更新或改进。虽然循环3在初期很少出现，但随着数据网状结构的发展，它变得至关重要。

数据产品的价值在于其对有效用途的贡献和再利用率。最初依赖于第1和第2周期，第三周期随着时间逐渐简化为搜索信息、查阅文档和申请访问，类似于一个市场平台。这代表了数据网状结构中客户体验的一种流程——从纸面上看，这种体验与市场或在线购物平台非常相似：我搜索，我查看，我选择，我下单，我收到货。

数据网格（Data Mesh）正逐渐成为一种主流实践，这不仅需要组织和文化的变革，而且不仅仅是短期内的基础设施投资。每个组织的数据网格架构都是独特的，并且会随着时间演变。精益制造工具有助于集中精力和投资。通过一个监控系统来确保可扩展性，该系统连接数据生产者和消费者，并提供市场功能、性能评估和全局分析的能力。

要点如下:数据网状结构实用指南

数据网状架构（Data Mesh）已不再只是一个理论上的概念，而是一种正在大规模采用的主流实践。

实施数据网状架构主要是组织和文化的转型——它不需要立即在基础设施方面投入资金。

数据网状架构并没有统一的标准架构——每个组织采用的解决方案都会根据组织的发展不断调整和优化。

实施方法应循序渐进，并使用精益制造工具来正确地集中精力和投资，通过识别并解决真正的瓶颈来实现。

为了确保数据网状架构的可扩展性，需要建立一个全面的监督系统，以实现：

— 连接数据生产者和消费者。

— 为消费者提供市场能力，让他们能够像购物一样订购数据。

— 为生产者提供控制和评估产品性能，以及管理私有数据资产的手段。

— 提供用于全局分析的工具，以进行风险管理及战略优先级设定。

通过Data Mesh转型实现去中心化的数据管理的道路需要仔细界定范围和目标、组建团队、开发产品以及实施联邦计算治理模式。遵循Data Mesh的四个原则，组织可以为变革打下坚实的基础。

提供的建议强调了清晰界定领域、有针对性地选择用例以及合理分配资源以确保项目成功的的重要性。组建一支有能力的开发团队并投资于正确的工具和基础设施对于启动和维持试点项目来说非常重要。此外，将数据视为产品的一种文化转变有助于跨领域责任、标准化和效率的提升。

实施联邦计算治理也会带来一系列挑战。然而，通过仔细的规划、合作和自动化，组织可以逐步向去中心化的决策方式过渡，同时确保关键功能的中央监督。

通过应用数据网（Data Mesh）和联邦式计算治理的原则，组织可以充分发挥其数据资产的潜力，以推动创新、灵活应变和战略一致，在日益复杂且数据驱动的环境中。

数据网之旅——第一部分——确定你的试点项目范围

数据网格之旅：第二部分，为试点项目搭建数据平台

通往数据网之旅 第3部分 — 创建你的第一个数据产品

数据网之旅 第4部分 — 实施联邦计算管理

阅读我们的数据网格实用指南电子书：https://info.zeenea.com/the-practical-guide-to-data-mesh

数据网状结构的原则与架构