网站首页 站内搜索

搜索结果

查询Tags标签: TinyBERT,共有 1条记录
  • 【笔记】TinyBERT(EMNLP2019)

    【笔记】TinyBERT(EMNLP2019) 两阶段蒸馏:预训练阶段+finetune阶段设计3种损失函数分布来适应bert的不同层级的损失计算 embedding 层输出来自 transformer 层的隐藏层和注意力矩阵输出 logits 的预测层 1. 知识蒸馏的设计 可以将网络的任何一层称为行为函数(fff , beha…

    2021/4/17 18:26:38 人评论 次浏览
扫一扫关注最新编程教程