热门标签
更多>
搜索结果
查询Tags标签: SimCSE,共有 3条记录-
SimCSE的loss实现-tensorflow2
对比学习的核心就是loss的编写,记录下loss的tensorflow实现 def unsupervise_loss(y_pred, alpha=0.05):idxs = tf.range(y_pred.shape[0])y_true = idxs + 1 - idxs % 2 * 2y_pred = tf.math.l2_normalize(y_pred, dim = 1)similarities = tf.matmul(y_pred, y_pred,adj…
2022/3/28 23:31:31 人评论 次浏览 -
超细节的对比学习和SimCSE知识点
2020年的Moco和SimCLR等,掀起了对比学习在CV领域的热潮,2021年的SimCSE,则让NLP也乘上了对比学习的东风。下面就尝试用QA的形式挖掘其中一些细节知识点,去更好的理解对比学习和SimCSE。1、如何去理解对比学习,它和度量学习的差别是什么? 2、对比学习中一般选择一个b…
2021/8/24 23:11:40 人评论 次浏览 -
超细节的对比学习和SimCSE知识点
2020年的Moco和SimCLR等,掀起了对比学习在CV领域的热潮,2021年的SimCSE,则让NLP也乘上了对比学习的东风。下面就尝试用QA的形式挖掘其中一些细节知识点,去更好的理解对比学习和SimCSE。1、如何去理解对比学习,它和度量学习的差别是什么? 2、对比学习中一般选择一个b…
2021/8/24 23:11:40 人评论 次浏览