网站首页 站内搜索

搜索结果

查询Tags标签: SimCSE,共有 3条记录
  • SimCSE的loss实现-tensorflow2

    对比学习的核心就是loss的编写,记录下loss的tensorflow实现 def unsupervise_loss(y_pred, alpha=0.05):idxs = tf.range(y_pred.shape[0])y_true = idxs + 1 - idxs % 2 * 2y_pred = tf.math.l2_normalize(y_pred, dim = 1)similarities = tf.matmul(y_pred, y_pred,adj…

    2022/3/28 23:31:31 人评论 次浏览
  • 超细节的对比学习和SimCSE知识点

    2020年的Moco和SimCLR等,掀起了对比学习在CV领域的热潮,2021年的SimCSE,则让NLP也乘上了对比学习的东风。下面就尝试用QA的形式挖掘其中一些细节知识点,去更好的理解对比学习和SimCSE。1、如何去理解对比学习,它和度量学习的差别是什么? 2、对比学习中一般选择一个b…

    2021/8/24 23:11:40 人评论 次浏览
  • 超细节的对比学习和SimCSE知识点

    2020年的Moco和SimCLR等,掀起了对比学习在CV领域的热潮,2021年的SimCSE,则让NLP也乘上了对比学习的东风。下面就尝试用QA的形式挖掘其中一些细节知识点,去更好的理解对比学习和SimCSE。1、如何去理解对比学习,它和度量学习的差别是什么? 2、对比学习中一般选择一个b…

    2021/8/24 23:11:40 人评论 次浏览
扫一扫关注最新编程教程