网站首页 站内搜索

搜索结果

查询Tags标签: 模型推理框架,共有 1条记录
  • 安卓机上 4G 内存跑 alpaca,欢迎试用轻量级 LLM 模型推理框架 InferLLM

    从 LLM 火爆以来,社区已经出现了非常多优秀的模型,当然他们最大的特点就是体积大,最近为了让大模型可以在更低端的设备上运行,社区做了非常多的工作, gptq 实现了将模型进行低比特量化,因此降低了运行大模型对CPU内存,GPU显存的要求,llama.cpp 实现了在本地 CPU/G…

    2023/5/8 18:52:04 人评论 次浏览
扫一扫关注最新编程教程