搜索结果
查询Tags标签： 蒸馏，共有 7条记录-
Incremental Learning Techniques for Semantic Segmentation 论文阅读笔记
Incremental Learning Techniques for Semantic Segmentation 论文阅读笔记 摘要 当需要增量学习新任务时，由于灾难性的遗忘，深度学习架构表现出严重的性能下降。 之前增量学习框架专注于图像分类和对象检测，本文正式提出了语义分割的增量学习任务。作者设计了方法提取…
2022/9/8 23:56:12 人评论 次浏览 -
NLP模型压缩概述
目录1. 为什么需要模型压缩2. 模型压缩的基本方法 1. 为什么需要模型压缩 理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。 同时，在部署时，大模型预测速度较低且需要更好的硬件支持…
2022/6/28 23:31:17 人评论 次浏览 -
【论文笔记】（防御蒸馏）Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks
有关蒸馏 (Distillation)的论文：(2006)Model Compression (2014)Do Deep Nets Really Need to be Deep?--- 论文笔记 (2015)Distilling the Knowledge in a Neural Network--- 论文笔记摘要 本文提出了防御蒸馏（defensive distillation），主要思想为：使用从DNN中提…
2022/6/26 23:27:06 人评论 次浏览 -
知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍
如有错误，恳请指出。这篇博客将记录我看视频后对知识蒸馏的笔记，视频链接见参考资料[1]，其中包含知识蒸馏的算法原理（训练流程与测试流程），以及知识蒸馏能够正常工作的背后机理与其发展的趋势及展望。 在这篇博客中，主要都是介绍没有涉及具体的代码，我另外还将会记…
2022/3/19 12:58:30 人评论 次浏览 -
深度学习之模型蒸馏、剪枝等文献机器源码实现
下面这个既有源码，又有文献深度学习模型优化+模型蒸馏+模型压缩_cbd_2012的博客-CSDN博客_模型压缩 模型蒸馏深度学习模型优化+模型蒸馏+模型压缩、https://blog.csdn.net/shentanyue/article/details/83539382经典论文：（1）Distilling the Knowledge in a Neural Netw…
2022/1/13 9:33:51 人评论 次浏览 -
深度学习之模型蒸馏、剪枝等文献机器源码实现
下面这个既有源码，又有文献深度学习模型优化+模型蒸馏+模型压缩_cbd_2012的博客-CSDN博客_模型压缩 模型蒸馏深度学习模型优化+模型蒸馏+模型压缩、https://blog.csdn.net/shentanyue/article/details/83539382经典论文：（1）Distilling the Knowledge in a Neural Netw…
2022/1/13 9:33:51 人评论 次浏览 -
【笔记】TinyBERT(EMNLP2019)
【笔记】TinyBERT(EMNLP2019) 两阶段蒸馏：预训练阶段+finetune阶段设计3种损失函数分布来适应bert的不同层级的损失计算 embedding 层输出来自 transformer 层的隐藏层和注意力矩阵输出 logits 的预测层 1. 知识蒸馏的设计 可以将网络的任何一层称为行为函数（fff , beha…
2021/4/17 18:26:38 人评论 次浏览
