搜索结果
查询Tags标签： Distillation，共有 6条记录-
【论文笔记】（防御蒸馏）Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks
有关蒸馏 (Distillation)的论文：(2006)Model Compression (2014)Do Deep Nets Really Need to be Deep?--- 论文笔记 (2015)Distilling the Knowledge in a Neural Network--- 论文笔记摘要 本文提出了防御蒸馏（defensive distillation），主要思想为：使用从DNN中提…
2022/6/26 23:27:06 人评论 次浏览 -
IMPROVE OBJECT DETECTION WITH FEATURE-BASEDKNOWLEDGE DISTILLATION: 论文和源码阅读笔记
paper：https://openreview.net/pdf?id=uKhGRvM8QNH code：https://github.com/ArchipLab-LinfengZhang/Object-Detection-Knowledge-Distillation-ICLR2021 1、摘要：开篇paper提到kd之所以在目标检测上的失败主要是两个原因：1、前景和背景之间的像素不平衡。 2、缺乏对…
2021/11/23 22:12:07 人评论 次浏览 -
IMPROVE OBJECT DETECTION WITH FEATURE-BASEDKNOWLEDGE DISTILLATION: 论文和源码阅读笔记
paper：https://openreview.net/pdf?id=uKhGRvM8QNH code：https://github.com/ArchipLab-LinfengZhang/Object-Detection-Knowledge-Distillation-ICLR2021 1、摘要：开篇paper提到kd之所以在目标检测上的失败主要是两个原因：1、前景和背景之间的像素不平衡。 2、缺乏对…
2021/11/23 22:12:07 人评论 次浏览 -
knowledge distillation 综述
直接上论文survey：https://arxiv.org/pdf/2006.05525v6.pdf 开局提到有数种模型加速的方法： 1、权重共享和剪枝 2、低秩分解 3、转移的紧凑卷积滤波器：这些方法通过转移去除无关紧要的参数或压缩卷积滤波器 4、KD然后摘要里面说明kd的key problem是如何将teacher模型里…
2021/11/22 23:14:07 人评论 次浏览 -
knowledge distillation 综述
直接上论文survey：https://arxiv.org/pdf/2006.05525v6.pdf 开局提到有数种模型加速的方法： 1、权重共享和剪枝 2、低秩分解 3、转移的紧凑卷积滤波器：这些方法通过转移去除无关紧要的参数或压缩卷积滤波器 4、KD然后摘要里面说明kd的key problem是如何将teacher模型里…
2021/11/22 23:14:07 人评论 次浏览 -
【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派
我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。已经有人记了笔记（很用心，强烈推荐）：https://github.com/Sakura-gh/ML-notes 本节内容综述 本节课由助教Arvin Liu补充一些前沿的技术，李老师讲的，其实有些老了。 首先复习模…
2021/6/22 23:28:11 人评论 次浏览
