Mathematical basis of AI

Math AI

AI 的数学基础

距离

距离是衡量向量之间相关性的一种方式，这里整理了一些 AI 中常用的距离。

||x,y||_p = \left(\sum_{i=1}^n |x_i - y_i|^p\right)^{\frac{1}{p}}

当 $p=0$ 时，即为汉明距离

||x,y||_0 = \sum_{i=1}^n \mathbb{I}(x_I \neq y_i)

当 $p=1$ 时，即为曼哈顿距离

||x,y||_1 = \sum_{i=1}^n |x_i - y_i|

当 $p=2$ 时，即为欧几里得距离

||x,y||_2 = \sqrt{\sum_{i=1}^n (x_i - y_i)^2}

当 $p=\infty$ 时，即为切比雪夫距离

||x,y||_\infty = \max_{i=1}^n |x_i - y_i|

注：

\begin{aligned} ||x,y||_\infty &= \left(\sum_{i=1}^n |x_i - y_i|^p\right)^\frac{1}{p} \\ &= {|x_j-y_j|} \left(1^p + \sum_{i=1,i\neq j}^n \left|\frac{x_i-y_i}{x_j-y_j}\right|^p\right)^\frac{1}{p} \ (|x_j-y_j| = \max|x_i-y_i|) \\ &= |x_j-y_j| \\ &=\max|x_i-y_i| \end{aligned}

因为下面两篇文章是用 Typst 编写，而 Typst 目前仅支持渲染为 PDF，所以这里将其渲染为 PDF，然后再嵌入到这里。