搜索结果
查询Tags标签： Transformer，共有 79条记录-
马赛克，一生之敌，是时候说再见了【兄弟，借一部说话】
马赛克，小伙伴们的一生之敌，终于可以说再见了！ 何恺明大神的新作，Kaiming 讲故事能力和实验能力，一如既往的强！ MAE 的论文，21 年的 11 月份就发出来了。 但是一直没有开源，我也就一直没有写文，最近代码发出来了，可以一睹为快了！ 我们先说下 MAE 的任务：简单讲…
2022/1/14 23:05:20 人评论 次浏览 -
马赛克，一生之敌，是时候说再见了【兄弟，借一部说话】
马赛克，小伙伴们的一生之敌，终于可以说再见了！ 何恺明大神的新作，Kaiming 讲故事能力和实验能力，一如既往的强！ MAE 的论文，21 年的 11 月份就发出来了。 但是一直没有开源，我也就一直没有写文，最近代码发出来了，可以一睹为快了！ 我们先说下 MAE 的任务：简单讲…
2022/1/14 23:05:20 人评论 次浏览 -
Attention Is All You Need
本文告诉我们attention机制可以不仅用于联系编码器和解码器，也可以用于模型的全部部分的构筑。 arXiv:1706.03762v5 贡献小引： Equal contribution. (先驱)Jakob proposed replacing RNNs with self-attention and started the effort to evaluate this idea. (模型实现…
2022/1/12 23:06:05 人评论 次浏览 -
Attention Is All You Need
本文告诉我们attention机制可以不仅用于联系编码器和解码器，也可以用于模型的全部部分的构筑。 arXiv:1706.03762v5 贡献小引： Equal contribution. (先驱)Jakob proposed replacing RNNs with self-attention and started the effort to evaluate this idea. (模型实现…
2022/1/12 23:06:05 人评论 次浏览 -
NLP-预训练模型-2019：T5【Text-to-Text 预训练模型超大规模探索】
《原始论文：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》 2019年10月，Google 在《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》这篇论文中提出了一个最新的预训练模型 T5（Text-To-…
2021/12/30 23:07:31 人评论 次浏览 -
NLP-预训练模型-2019：T5【Text-to-Text 预训练模型超大规模探索】
《原始论文：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》 2019年10月，Google 在《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》这篇论文中提出了一个最新的预训练模型 T5（Text-To-…
2021/12/30 23:07:31 人评论 次浏览 -
ViT (Vision Transformer) ---- RNN
1.one to one 模型 如何对时序数据建模？人类大脑在阅读时，并不是把一段文字看完在思考，而是边思考变阅读，随着看完后就积累了整段文字的大意，因此处理时序数据就不能使用one to one 模型 什么是one to one模型？一个输入对应一个输出，例如输入一张图片，输出类别概率…
2021/12/22 23:52:37 人评论 次浏览 -
ViT (Vision Transformer) ---- RNN
1.one to one 模型 如何对时序数据建模？人类大脑在阅读时，并不是把一段文字看完在思考，而是边思考变阅读，随着看完后就积累了整段文字的大意，因此处理时序数据就不能使用one to one 模型 什么是one to one模型？一个输入对应一个输出，例如输入一张图片，输出类别概率…
2021/12/22 23:52:37 人评论 次浏览 -
Transformer学习笔记
Transformer 这一概念是在论文Attention is All You Need 中提出,感兴趣的可以通过链接阅读原文。这篇文章主要讲讲我对Transformer这个模型学习的理解。 什么是Transformer？Transformer可以理解为一个黑盒，我们将一段序列输入模型，经过Transformer之后，输出另一段序列…
2021/12/14 6:21:35 人评论 次浏览 -
Transformer学习笔记
Transformer 这一概念是在论文Attention is All You Need 中提出,感兴趣的可以通过链接阅读原文。这篇文章主要讲讲我对Transformer这个模型学习的理解。 什么是Transformer？Transformer可以理解为一个黑盒，我们将一段序列输入模型，经过Transformer之后，输出另一段序列…
2021/12/14 6:21:35 人评论 次浏览 -
AI 2021 年度报告
建议大伙有空还是自己亲自读一下，虽然有点长，188页ppt。 https://docs.google.com/presentation/d/1bwJDRC777rAf00Drthi9yT2c9b0MabWO5ZlksfvFzx8/edit#slide=id.gef9b05119a_0_288很多诸如deepmind在生物医学方面的突破什么的，大家自己也能总结出来，但总体上信息量还…
2021/12/10 6:16:44 人评论 次浏览 -
AI 2021 年度报告
建议大伙有空还是自己亲自读一下，虽然有点长，188页ppt。 https://docs.google.com/presentation/d/1bwJDRC777rAf00Drthi9yT2c9b0MabWO5ZlksfvFzx8/edit#slide=id.gef9b05119a_0_288很多诸如deepmind在生物医学方面的突破什么的，大家自己也能总结出来，但总体上信息量还…
2021/12/10 6:16:44 人评论 次浏览 -
课程九学习笔记: 自监督ViT算法：BeiT和MAE
课程九学习笔记: 自监督ViT算法：BeiT和MAE1. SSL在NLP中的应用： 2. Bert 3. BeiT 4. MAE：Masked Autoencoders Are Scalable Vision Learners 5. 实践：Config配置和实验分开进行自监督+ Transformer 1. SSL在NLP中的应用：Self-Supervised Learning (SSL)：通过自己“…
2021/12/7 11:17:28 人评论 次浏览 -
课程九学习笔记: 自监督ViT算法：BeiT和MAE
课程九学习笔记: 自监督ViT算法：BeiT和MAE1. SSL在NLP中的应用： 2. Bert 3. BeiT 4. MAE：Masked Autoencoders Are Scalable Vision Learners 5. 实践：Config配置和实验分开进行自监督+ Transformer 1. SSL在NLP中的应用：Self-Supervised Learning (SSL)：通过自己“…
2021/12/7 11:17:28 人评论 次浏览 -
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
论文：https://arxiv.org/abs/2103.14030 代码：https://github.com/microsoft/Swin-Transformer 论文中提出了一种新型的Transformer架构(Swin Transformer)，其利用滑动窗口和分层结构使得Swin Transformer成为了机器视觉领域新的Backbone，在图像分类、目标检测、语义分…
2021/12/5 7:20:13 人评论 次浏览
