算法工程师面试之OOV问题如何解决？

2021/6/20 20:26:18

编程Tag： 算法 token 问题面试解决下面 OOV 逐个

本文主要是介绍算法工程师面试之OOV问题如何解决？，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

OOV 是什么？

OOV 问题是NLP中常见的一个问题，其全称是Out-Of-Vocabulary，下面简要的说了一下OOV：
在这里插入图片描述

下面说一下Bert中是怎么解决OOV问题，如果一个单词不在词表中，则按照subword的方式逐个拆分token，如果连逐个token都找不到，则直接分配为[unknown]

这篇关于算法工程师面试之OOV问题如何解决？的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！