监督、自监督和无监督

2021/11/29 23:10:46

本文主要是介绍监督、自监督和无监督,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

Supervise learning
self supervise learning label 不需要特别雇佣人类去标记,他可以自动产生

"Self-supervised Learning "这个词,当初Yann LeCun说过,其实并不是一个老词。根据2019年4月在Facebook上的一个帖子,他说,我现在说的这个方法,他叫Self-supervised Learning。为什么不叫无监督学习呢?因为无监督学习是一个比较大的家族,里面有很多不同的方法,为了让定义更清晰,我们叫它 “自监督”,比如我们之前提到的cycle gan,也是无监督学习的一个案例,我们也不使用标注的配对数据,但是,它和Self-supervised Learning还是有点区别。在无监督学习的范畴内,有很多方法,Self-supervised Learning就是其中之一。

代表:GERT、GPT
在这里插入图片描述
首先你有大量的没有标注的资料,用这些没有标注的资料,你可以去训练一个模型,你必须发明一些不需要标注资料的任务,比如说做填空题,比如说预测下一个 Token

这个不用标注资料的学习叫做,Self-Supervised Learning,或者是也有人叫 Pre-Training,那用这些不用标注资料的任务,学完一个模型以后,它本身没有什麽用,BERT 只能做填空题,GPT 只能够把一句话补完,但是你可以把它用在其他下游的任务裡面

auto-encoder 我们虽然说他是一个 UNsupervised 的方法,但其实还是有一个 label,只不过这个 label 不需要人产生而已

auto-encoder:
在这里插入图片描述

cycle-GAN:
在这里插入图片描述

对 RL 来说,我们不知道下一步到底应该落子在哪里



这篇关于监督、自监督和无监督的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程