向量数据库的崛起：从矢量搜索到深度学习 (二)

前言

在上一节中，我们简要介绍了向量数据库的背景以及对非结构化数据进行向量化的方法，即 Embedding。那么我们如何将这些特征向量应用于搜索任务呢？在搜索任务中，最常见的情况是从数据库中查找与给定向量最相似的数据。因此，我们需要一种能够衡量向量之间相似程度的算法，这也是本节将要介绍的内容。

继续上一节的例子，在如下词频向量中：

极限科技: [ 1 1 1 1 0 0 ]
科技公司: [ 0 0 1 1 1 1 ]
公司　　: [ 0 0 0 0 1 1 ]

我们将寻找与“科技”最相似的单词。

科技　　: [ 0 0 1 1 0 0 ]

欧几里德距离

欧几里德距离^[1]（Euclidean distance）是在欧几里德空间中衡量两个点之间距离的一种度量方法。它是最常见和直观的距离度量方法之一，用于计算实数向量空间中两个点之间的直线距离。

对于给定两个向量 $x$ 和 $y$，欧几里德距离的计算公式如下：

$$distance(x,y)=\sqrt{\sum \_{i=1}^n(x_i-y_i{)}^2}$$

我们可以使用如下代码：

import numpy as np

def distance(x, y):
  return np.sqrt(np.sum(np.square(x - y)))

来计算给定两个向量的欧几里德距离，例如，“科技”和“极限科技”之间的距离为 $1.41$：

distance(
  np.array([1, 1, 1, 1, 0, 0]),
  np.array([0, 0, 1, 1, 0, 0]),
)

除此之外，还有：

• 欧氏距离（Euclidean metric）
• 曼哈顿距离（Taxicab geometry）
• 切比雪夫距离（Chebyshev distance）
• 闵可夫斯基距离（Minkowski distance）

等其它用来衡量向量之间距离的算法。

范数

范数^[2]（Norm）是一个将向量映射到非负实数的函数，用于衡量向量的大小或长度。在线性代数中，范数是向量空间中的一种度量，常用于衡量向量的大小、距离和相似性。

在向量空间中，最常见的范数是 $L_p$ 范数，其定义如下：

$$\Vert x\Vert \_p=(\sum _{i=1}^n|x_i{|}^p{)}^{1/p}$$

不难发现，当 $p=2$ 时，$L_2$ 范数计算的是该向量与原点之间的欧几里德距离，故又称为欧几里德范数。我们可以使用 numpy.linalg.norm 来计算给定向量的范数。

余弦相似度

余弦相似度^[3]（Cosine similarity）是用于衡量两个向量之间的方向相似性的算法，余弦相似度衡量的是两个向量之间的夹角余弦值。它的取值范围在$-1$ 到 $1$ 之间，值越接近 $1$ 表示两个向量的方向越相似，值越接近 $-1$ 表示两个向量的方向越不相似，值为 $0$ 表示两个向量之间没有方向上的相似性。余弦相似度的计算公式如下：

$$similarity(x,y)=\frac{x\cdot y}{\Vert x{\Vert }_2\Vert y{\Vert }_2}$$

其中，$x\cdot y$ 表示向量的点积^[4]，$\Vert x{\Vert }_2$ 表示向量 $x$ 的欧几里德范数。

from numpy.linalg import norm

def cosine_similarity(x, y):
  return np.dot(x, y) / (norm(x) * norm(y))

cosine_similarity(
  [1, 1, 1, 1, 0, 0], # 极限科技
  [0, 0, 1, 1, 0, 0], # 科技
)

通过以上代码片段，我们可以计算出“科技”与“极限科技”的余弦相似度为 $0.70$，同样地，我们可以计算出“科技”与其他几个单词的相似度：

极限科技: 0.70
科技公司: 0.70
公司　　: 0.00

通过余弦相似度计算得出的结果与我们的认知是一致的，即在词频统计的向量中，“科技”与“公司”没有相似度，而与“极限科技”和“科技公司”具有相同的相似度。

总结

本节介绍了余弦相似度算法，它可以在向量搜索时用于查找最相似的数据。除此之外，还有其它多种用于衡量候选者与待查找向量相似度（即得分）的算法，例如：

• 内积得分（Dot product）
• $L_2$ 范数得分（$L_2$ norm score）
• 层次聚类得分（Hierarchical clustering score）
• 倒排索引得分（Inverted index score）

这些得分算法应根据具体的应用场景和需求选择使用。

参考资料

• [1]: https://zh.wikipedia.org/wiki/欧几里得距离
• [2]: https://zh.wikipedia.org/wiki/范数
• [3]: https://zh.wikipedia.org/wiki/余弦相似性
• [4]: https://zh.wikipedia.org/wiki/点积