搜索结果
查询Tags标签： LLM，共有 11条记录-
苹果AppleMacOs系统Sonoma本地部署无内容审查(NSFW)大语言量化模型Causallm
最近Mac系统在运行大语言模型（LLMs）方面的性能已经得到了显著提升，尤其是随着苹果M系列芯片的不断迭代，本次我们在最新的MacOs系统Sonoma中本地部署无内容审查大语言量化模型Causallm。 这里推荐使用koboldcpp项目，它是由c++编写的kobold项目，而MacOS又是典型的Unix…
2024/3/16 14:32:29 人评论 次浏览 -
权威媒体评选：2023年25个最佳开源软件
与往年一样，2023 年的 InfoWorld 最佳开源软件奖评选了诸多令人惊叹且不拘一格的开源项目。在这25个获奖项目中，您会了解到和编程语言、运行时、应用程序框架、数据库、分析引擎、机器学习库、大型语言模型 (LLM) 有关的工具，以及至少一两个超出预期的项目。Apache Hud…
2024/1/24 18:02:32 人评论 次浏览 -
开放 LLM 排行榜: 深入研究 DROP
最近，开放 LLM 排行榜 迎来了 3 个新成员: Winogrande、GSM8k 以及 DROP，它们都使用了 EleutherAI Harness 的原始实现。一眼望去，我们就会发现 DROP 的分数有点古怪: 绝大多数模型的 F1 分数都低于 10 分 (满分 100 分)！我们对此进行了深入调查以一探究竟，请随我们一…
2024/1/16 5:02:49 人评论 次浏览 -
文心一言大模型-function Calling的应用
"大模型的函数调用"（Large Model Function Calling）是一个涉及到在大型人工智能模型，如 GPT-4 或类似的高级深度学习模型中使用函数调用的概念。在这种情况下，函数调用可以有两种含义：内部函数调用： 这指的是大型模型在其内部运行时执行的函数调用。这些函…
2024/1/2 1:03:02 人评论 次浏览 -
如何使用 Megatron-LM 训练语言模型
在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 Accelerate 的创建是为了支持跨 GPU 和 TPU 的分布式训练，并使其能够非常容易的集成到训练代码中。🤗 …
2023/5/30 1:22:12 人评论 次浏览 -
LLM探索：GPT概念与几个常用参数 Top-k, Top-p, Temperature
前言 上一篇文章介绍了几个开源LLM的环境搭建和本地部署，在使用ChatGPT接口或者自己本地部署的LLM大模型的时候，经常会遇到这几个参数，本文简单介绍一下~temperature top_p top_k关于LLM 上一篇也有介绍过，这次看到一个不错的图A recent breakthrough in artificial i…
2023/5/24 14:22:13 人评论 次浏览 -
越小越好: Q8-Chat，在英特尔至强 CPU 上体验高效的生成式 AI
大语言模型 (LLM) 正在席卷整个机器学习世界。得益于其 transformer 架构，LLM 拥有从大量非结构化数据 (如文本、图像、视频或音频) 中学习的不可思议的能力。它们在 多种任务类型 上表现非常出色，无论是文本分类之类的抽取任务 (extractive task) 还是文本摘要和文生图…
2023/5/24 1:22:15 人评论 次浏览 -
AIGC持续火爆大模型争相推出，庞大市场造就算力供应模式演变
本图由AI生成黄仁勋说的AI发展迎来iPhone时刻，对NVIDIA有什么影响？ 文/王吉伟近期的AIGC领域仍旧火爆异常。 但火的不只是AIGC应用，还有巨头之间的AI竞赛，以及接连不断上新的AI大模型（LLM，Large Language Model）。 面对ChatGPT带来的技术冲击，为了研发谷歌多模态A…
2023/5/23 1:22:30 人评论 次浏览 -
LLM探索：环境搭建与模型本地部署
前言 最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了… 上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地部署还是没问题的。 本文将介绍这以下两个国产开源LLM的本地部署ChatGLM-6B M…
2023/5/20 14:22:05 人评论 次浏览 -
安卓机上 4G 内存跑 alpaca，欢迎试用轻量级 LLM 模型推理框架 InferLLM
从 LLM 火爆以来，社区已经出现了非常多优秀的模型，当然他们最大的特点就是体积大，最近为了让大模型可以在更低端的设备上运行，社区做了非常多的工作， gptq 实现了将模型进行低比特量化，因此降低了运行大模型对CPU内存，GPU显存的要求，llama.cpp 实现了在本地 CPU/G…
2023/5/8 18:52:04 人评论 次浏览 -
Android平台上的Native内存分析
Android平台上的Native内存分析 https://blog.csdn.net/xoyojank/article/details/82876508 文章目录背景 UE4的内存统计 memreport MemoryProfiler2 LLM Android进程内存 DDMSMemoryAnalyzer 背景 UE4游戏在Android上的进程内存占用…
2021/5/2 7:29:31 人评论 次浏览
