AI项目的绩效管理：如何跟踪影响并提升生产力

这篇文章探讨了QB Labs如何开发了Turo，一个可以衡量AI项目在价值追踪和绩效管理方面影响力的工具。Turo通过整合企业的分析工具输出，为公司提供了对其AI项目的整体视图。它提供了各个应用场景的可见性，并通过识别问题和明确责任归属来提高生产力。来自不同行业的客户报告称，通过自动化的KPI跟踪和报告活动，生产力提高了25-30%。这意味着数据科学家或工程师每月可以节省一个完整的工作周，否则他们需要手动收集数据、整合到报告中并分享给相关方。

量子黑实验室是量子黑，麦肯锡的AI的研发和软件开发核心。量子黑实验室有超过250位技术专家致力于推动AI创新，并支持和加速其超过1400位数据科学家在100多个地点的项目。我们利用同事们的集体经验打造一系列工具和资产套件，确保AI/ML模型能够进入生产阶段并产生持续的影响。

使用人工智能和机器学习（AI/ML）的项目是业务价值的重要驱动力，公司已经从探索这项技术可以做些什么转向大规模应用它以抢占市场份额。成功捕捉数字化创新的全部经济价值的公司是那些严格追踪每个高级分析项目的价值和表现的公司。

技术团队需要证明在人工智能能力和应用场景方面的投资是可持续且合理的，在大规模扩展或进一步项目扩展之前。

正如我们书中第三十章所述，《重塑：麦肯锡指南——在数字和AI时代的竞争》（Wiley出版社，2023年6月）描述了有效的影响力跟踪可以为未来的投资提供有力支持，并将其转化为可量化的业务指标。

为了让投资者做出最明智的决策，必须对AI/ML项目的进展有清晰的了解。战略价值追踪帮助他们优先考虑最具影响力和价值的AI项目，并确定支持这些项目所需的数据资产和技术基础设施。以下是一些措施：

• 领先指标：这些可以预测未来的事件或趋势，并用于预判变化，提供未来可能发生的早期信号。
• 滞后指标：这些反映过去的事件或结果，并用于确认趋势，提供已经发生的事的反馈。
• 投资：企业在构建AI组合上投入了多少？
• 第三方成本和数据：我们在第三方工具和API访问上花了多少钱？我们在数据集和数据访问上花了多少钱？
• 采用程度：我们是否获得了每个用例所需的业务采用程度？未来的解决方案的基准是什么？例如，我们应该如何衡量未来解决方案的成功？

然而，AI/ML项目的复杂程度使得衡量影响并有效表达它变得困难，特别是在大公司中。具体原因如下：

• 不同的团队可能使用多种分散的工具来管理AI用例。
• 特别是当它们变得很多，并且处于不同的部署阶段时，利益相关者很难监控他们的用例。
• 不同的用例有不同的业务、安全和法律合规方面，需要有一种方法来明确哪些因素适用于哪些用例。
• 没有一个集中的方式来追踪和比较分析用例的性能、成本、生产率指标和采用率。

Turo 提供针对生成式 AI 和传统机器学习项目的 AI 性能管理。可通过网页应用访问，Turo 提供涵盖整个 AI 项目组合的快速简单的洞察生成，例如：

• 个别用例的深入探讨
• 领先指标和关键绩效指标(KPI)
• 例如合规问题、预算上限已满或新机遇。
• 用例的所有权及访问权限管理。

Turo有以下主要特点：

概览作品集 — 无缝收集来自不同系统的数据，提供组织内所有AI项目的统一视图，帮助用户全面了解。提供项目进展和成熟度的洞察，并及时发现潜在瓶颈。

Turo的项目概览功能汇集来自各种系统的数据，提供您所有人工智能项目的统一视图。

合规跟踪—— 用于全程管理和缓解AI及相关技术的风险，并确保符合AI法规和内部政策。

Turo 的合规跟踪确保了从头到尾的风险管理。

指标监控 — 通过跟踪业务和性能指标，确保AI项目符合业务目标，并在数值变化时发出警报。

Turo 的指标报告确保 AI 项目与公司的商业目标相吻合

成本追踪 — 通过整合基础设施或大型语言模型（LLM）使用数据到一个简单统一的可视化界面，来跟踪每个请求、会话或云实例的花费，以避免不必要的花费和超支。

使用 Turo 可以追踪费用，防止不必要的花费。

Turobot — 无论是快速见解、主动建议，还是详细的项目成本分析报告，Turobot助手都能帮助您更好地做出决策。

Turobot帮助做决策。

来自各行各业的客户报告称，通过自动化重复的关键绩效指标跟踪和报告任务，生产效率提高了25%到30%。这相当于每月为数据科学家或工程师这样的专业人员节省了一整周的时间，他们原本需要手动收集数据，整合到报告中，并与利益相关者分享。

领导们还提到，Turo 显著提升了他们以更直观和互动的方式向上游传达价值的能力，从而增强了各业务部门对 AI 功能的信任度。

如一位业务相关人员所言，将所有AI项目放在Turo上，有助于我们发现已开发或购买的AI能力，从而避免重复的努力。

我们团队需要Turo吗？

以下是一些明显的信号：

• 组织内部没有一个统一的清单来记录所有用例。
• 投资者无法追踪特定用例的投入与回报。
• 利益相关者仅靠简单的电子表格来追踪AI投资组合的表现，无法访问实时的动态仪表板。
• 合规性复杂，无论针对内部还是外部政策，都无法将其与用例的实际影响跟踪联系起来。

从战略上看，组织需要一份现有的数据和AI产品的清单。最佳形式是一些视觉仪表板，监控每个分析场景的表现，以便更好地做出决策。

Turo通过整合组织主要使用的分析工具，提供了一个跨业务单元和地区全局审视项目的视角。它能为需要了解其AI应用场景影响和状态的相关方提供快速洞察。

在量子黑（QuantumBlack），我们亲身体验到将AI解决方案从概念转变为实施可能充满挑战。我们认识到，扩大AI/ML项目的规模需要衡量重要指标并跟踪其影响，这样企业才能评估每个具体应用案例的实际价值。

量子黑科技地平线（QuantumBlack Horizon，https://www.mckinsey.com/about-us/new-at-mckinsey-blog/mckinsey-launches-its-new-product-suite-to-help-clients-scale-ai）是一系列企业人工智能产品，包括Kedro（https://medium.com/quantumblack/accelerating-the-path-to-production-for-ai-b016f2913b1d）、Brix（https://medium.com/quantumblack/driving-discovery-and-reuse-of-ai-c3196fff30e7）和Alloy，提供解决组织层面人工智能采用痛点的方案，比如规模扩展问题。这是一套首创的企业人工智能产品系列，更好地帮助麦肯锡客户发现、组装、定制和协调人工智能项目。

想了解更多关于QuantumBlack Horizon如何帮助您的信息，请通过电子邮件联系Yetunde Dada。

特别感谢所有为本文作出贡献的人：Mohammed ElNabawy，Fabiana Ferrara，James Mulligan，Jo 斯奇伯里，Joanna Sych，Sarah Mulligan 和 Matt Fitzpatrick。