AI模型集成到业务系统的方式演化
2022/8/27 23:26:05
本文主要是介绍AI模型集成到业务系统的方式演化,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
如今,AI模型百花齐放,在业务场景中的使用是越来越多,那AI模型是如何集成到系统中的呢?这几年的集成方式又有何变化呢?
在一些早期系统中,模型比较简单,这时,真正在线上系统部署模型时,模型只是以算法的形式出现,模型参数作为算法所需要的“数据”,存储在内存或分布式缓存(如Redis)中。模型在推理运算时,从缓存中取出参数,再结合特征,完成模型预测推理运算。
这样的一些集成方式,多见于一些早期的推荐系统,模型也相对比较简单,如LR、FM、FFM等。这种方式将算法与参数分离,使其可以各自演化、迭代。如模型参数更新时,只需要更新缓存数据,系统可能并不需要上线。一定程度上的满足了工程上的需要。
但随着模型越来越复杂,以Redis缓存模型为代表的方式,逐渐不符合现代模型的需要。以PMML、sklearn为代表的模型框架的方式出现了。模型框架本身提供了多种模型的实现方式,
并提供了推理接口。业务系统集成时,将模型框架集成到系统当中。这时模型一般是以文件的形式存在。也可以满足一定程度上单独演化的需要。
但上述方式也有其问题,一方面模型以文件的形式集成到系统内,更新不方便。另一方面,模型的更新速度一般都比较快,一旦模型更新(结构或参数),系统就需要上线,非常不方便。
于是第三种方式出现了,即模型服务的方式。这种方式,模型以分布式API服务的形式,集成到系统中(如tensorflow-serving),模型的升级演化,不会影响业务系统的使用,非常方便。
但这种方式也有其问题,因为并不是所有的模型都是基于tensorflow开发的,随着pytorch的市场份额越来越高,其他框架的模型也越来越占主导地位。有的甚至都不一定都是基于python语言的。而且tensorflow的分布式扩展能力比较差,一旦流量上升后,难以支撑业务发展。
近几年,随着容器化和云计算技术的发展,新时代的云技术模型服务出现了。这种技术以AI模型市场(aimodelmarket.cn)为代表,以容器作为系统交割的基本单位,模型服务在容器中,方便扩展。模型的升级演化和业务系统分离,互不影响,同时又是跨语言的。而且得益于云计算技术,服务的扩展能力几乎是无限的。这就给业务系统的稳定性提供了极大的保障。
展望未来,我们希望随着像AI模型市场(http://aimodelmarket.cn)这样的服务的发展,越来越多的模型服务被开发出来,并实现服务商和业务方的分离,将极大的提高生产力。
这篇关于AI模型集成到业务系统的方式演化的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-22程序员出海做 AI 工具:如何用 similarweb 找到最佳流量渠道?
- 2024-12-20自建AI入门:生成模型介绍——GAN和VAE浅析
- 2024-12-20游戏引擎的进化史——从手工编码到超真实画面和人工智能
- 2024-12-20利用大型语言模型构建文本中的知识图谱:从文本到结构化数据的转换指南
- 2024-12-20揭秘百年人工智能:从深度学习到可解释AI
- 2024-12-20复杂RAG(检索增强生成)的入门介绍
- 2024-12-20基于大型语言模型的积木堆叠任务研究
- 2024-12-20从原型到生产:提升大型语言模型准确性的实战经验
- 2024-12-20啥是大模型1
- 2024-12-20英特尔的 Lunar Lake 计划:一场未竟的承诺