搜索结果
查询Tags标签： Transformer，共有 79条记录-
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
论文：https://arxiv.org/abs/2103.14030 代码：https://github.com/microsoft/Swin-Transformer 论文中提出了一种新型的Transformer架构(Swin Transformer)，其利用滑动窗口和分层结构使得Swin Transformer成为了机器视觉领域新的Backbone，在图像分类、目标检测、语义分…
2021/12/5 7:20:13 人评论 次浏览 -
【Transformer养猪】Livestock Monitoring with Transformer
对牲畜行为的跟踪有助于在现代动物饲养场及早发现并预防传染病。除了经济收益，这将减少畜牧业中使用的抗生素数量，否则这些抗生素将进入人类的饮食，加剧抗生素耐药性的流行，这是导致死亡的主要原因。我们可以使用大多数现代农场都有的标准摄像机来监控牲畜。然而，大多…
2021/11/28 23:40:43 人评论 次浏览 -
【Transformer养猪】Livestock Monitoring with Transformer
对牲畜行为的跟踪有助于在现代动物饲养场及早发现并预防传染病。除了经济收益，这将减少畜牧业中使用的抗生素数量，否则这些抗生素将进入人类的饮食，加剧抗生素耐药性的流行，这是导致死亡的主要原因。我们可以使用大多数现代农场都有的标准摄像机来监控牲畜。然而，大多…
2021/11/28 23:40:43 人评论 次浏览 -
Transformer课程第33章：过滤掉sequential redundancy对Transformer模型Funnel-Transformer架构及完整源码实现
1，Transformer网络中的redundancy 产生的本质原因剖析 2，不同类型pooling operation数学原理解析 3，对sentence进行single-vector presentation不同类型实现技术解析 4，对Transformer的hidden states的处理方式分析 5，对reduced hidden sequence的进行原始状态恢复实…
2021/11/27 17:11:35 人评论 次浏览 -
Transformer课程第33章：过滤掉sequential redundancy对Transformer模型Funnel-Transformer架构及完整源码实现
1，Transformer网络中的redundancy 产生的本质原因剖析 2，不同类型pooling operation数学原理解析 3，对sentence进行single-vector presentation不同类型实现技术解析 4，对Transformer的hidden states的处理方式分析 5，对reduced hidden sequence的进行原始状态恢复实…
2021/11/27 17:11:35 人评论 次浏览 -
Transformer
胡乱写的！！！！！！ 目录 一、初探Encoder-Decoder 1.Encoder 2.回到transformer的图 二、Decoder – Autoregressive (AT) 1、Decoder内部结构 1）带Masked的MHA 三、Decoder – Non-autoregressive (NAT) 四、Encoder-Decoder 五、Training 六、训练的Tips一、初探Enc…
2021/11/21 23:42:33 人评论 次浏览 -
Transformer
胡乱写的！！！！！！ 目录 一、初探Encoder-Decoder 1.Encoder 2.回到transformer的图 二、Decoder – Autoregressive (AT) 1、Decoder内部结构 1）带Masked的MHA 三、Decoder – Non-autoregressive (NAT) 四、Encoder-Decoder 五、Training 六、训练的Tips一、初探Enc…
2021/11/21 23:42:33 人评论 次浏览 -
Transformer XL源码实现
1，人工智能中最重要的公式之一MLE数学本质剖析及代码实战 2，Language Model的数学原理、Chain Rule剖析及Sparsity问题 3，Markov Assumption：first order、second order、third order剖析 4，Language Model：unigram及其问题剖析、bigram及依赖顺序、n-gram 5，使用U…
2021/11/14 17:40:05 人评论 次浏览 -
Transformer XL源码实现
1，人工智能中最重要的公式之一MLE数学本质剖析及代码实战 2，Language Model的数学原理、Chain Rule剖析及Sparsity问题 3，Markov Assumption：first order、second order、third order剖析 4，Language Model：unigram及其问题剖析、bigram及依赖顺序、n-gram 5，使用U…
2021/11/14 17:40:05 人评论 次浏览 -
Java审计——Commons Collections 迭代调用链
0x00 前言 单独的写迭代连的调用，主要原因是因为很多Commons Collections链都是以迭代链为基础而进行进一步利用的。所以先把迭代连找出来。 顺便把Commons Collection的概述基础这些也做一个介绍。 0x01 迭代链 网上大多的文章都是先介绍Transformer等一系列使用到的类，…
2021/11/4 14:10:12 人评论 次浏览 -
Java审计——Commons Collections 迭代调用链
0x00 前言 单独的写迭代连的调用，主要原因是因为很多Commons Collections链都是以迭代链为基础而进行进一步利用的。所以先把迭代连找出来。 顺便把Commons Collection的概述基础这些也做一个介绍。 0x01 迭代链 网上大多的文章都是先介绍Transformer等一系列使用到的类，…
2021/11/4 14:10:12 人评论 次浏览 -
Transformer详解
本文是根据台大李宏毅教授网课整理，主要是记笔记以供自己复习。 这里写目录标题 Transformer是什么应用Seq2Seq架构详解EncoderDecoderAutoregressive（AT）Non-autoregressive(NAT)训练exposure bias训练Seq2Seq Model的Tips1、Copy Mechanism复制机制2、Beam SearchTra…
2021/10/24 6:13:14 人评论 次浏览 -
Transformer详解
本文是根据台大李宏毅教授网课整理，主要是记笔记以供自己复习。 这里写目录标题 Transformer是什么应用Seq2Seq架构详解EncoderDecoderAutoregressive（AT）Non-autoregressive(NAT)训练exposure bias训练Seq2Seq Model的Tips1、Copy Mechanism复制机制2、Beam SearchTra…
2021/10/24 6:13:14 人评论 次浏览 -
swin transformer 总结
1. 背景介绍 原名：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 获奖：2021 ICCV Best Paper 2.文章介绍 2.1概括 Swin Transformer 是一种新型的transformer，可以用作视觉和语言处理的统一模型 特性 - 引出了一种具有层级的特征表达方式（…
2021/10/20 23:11:37 人评论 次浏览 -
swin transformer 总结
1. 背景介绍 原名：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 获奖：2021 ICCV Best Paper 2.文章介绍 2.1概括 Swin Transformer 是一种新型的transformer，可以用作视觉和语言处理的统一模型 特性 - 引出了一种具有层级的特征表达方式（…
2021/10/20 23:11:37 人评论 次浏览
