理解AI的数学世界 - 从0维到高维空间
维度是描述一个点所需要的独立坐标数量。简单来说,就是确定一个位置需要几个数字!
每个维度代表一个不同的空间概念,从简单的点到复杂的AI高维空间...
0维:蚂蚁被困在一个点上,哪也去不了
1维:蚂蚁在一条线上,只能前进后退
2维:蚂蚁在一张纸上,可以前后左右爬
3维:蚂蚁变成了一只鸟,还能上下飞
768维:就像有了768个"方向"可以移动!
用滑块调整维度,观察图形的变化!
2维空间是一个平面,需要两个坐标(x, y)来确定位置。就像一张纸,你可以在上面自由地前后左右移动。
↑ 旋转的3维立方体
向量嵌入就像给每个词发一张"身份证",上面有很多属性值。电脑虽然不懂"苹果"这个词,但能看懂身份证上的数字,从而"理解"这个词!
选择两个词语来计算它们的相似度
👆 请先选择词语
国王 - 男人 + 女人 ≈ 女王
这就是向量嵌入的神奇之处!通过简单的数学运算,AI能发现词语之间的语义关系。
高维空间中,数据变得极度稀疏。想象在10平米的房间找钥匙很容易,但如果房间变成100万个足球场那么大,钥匙还是那么小,找起来就难如登天!
在2维空间中,30个数据点相对密集,彼此之间的距离较近,便于分析和计算。
1. 降维:PCA、t-SNE将高维数据投影到低维
2. 注意力机制:只关注相关部分
3. 流形假设:真实数据往往分布在低维流形上
根据提示,找到目标点在高维空间中的正确坐标!