网站首页 站内搜索

搜索结果

查询Tags标签: ChatGLM,共有 3条记录
  • 聊聊ChatGLM-6B源码分析(二)

    基于ChatGLM-6B第一版,要注意还有ChatGLM2-6B以及ChatGLM3-6B转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote/ChatGLMPreTrainedModel 官方的描述是 处理权重初始化的抽象类,以及下载和加载预训练模型的接口。 掩码 如下是GLM模型的掩码结构,在此抽象类中,由…

    2024/1/12 14:02:22 人评论 次浏览
  • 聊聊ChatGLM6B的微调脚本及与Huggingface的关联

    本文首先分析微调脚本trainer.sh的内容,再剖析ChatGLM是如何与Huggingface平台对接,实现transformers库的API直接调用ChatGLM模型,最后定位到了ChatGLM模型的源码文件。 脚本分析 微调脚本: PRE_SEQ_LEN=128 LR=2e-2CUDA_VISIBLE_DEVICES=0 python3 main.py \--do_tra…

    2024/1/3 18:32:37 人评论 次浏览
  • 聊聊ChatGLM-6B部署与微调的深入理解

    ChatGLM的部署,主要是两个步骤:在Github上下载chatglm的库文件 在Hugging Face上下载模型参数与配置文件ChatGLM包 从Github上看ChatGLM项目文件的结构来看,仅仅是包含三种部署方式的py代码与微调的py代码 而相关的实现细节,比如神经网络、激活函数、损失函数等具体的…

    2024/1/3 1:03:32 人评论 次浏览
扫一扫关注最新编程教程