🧠 多头注意力探索

Multi-Head Attention - AI如何"多角度"理解语言

🎓 概念入门
🔍 QKV解密
🎭 互动演示
⚔️ 单头vs多头
🎮 挑战游戏

什么是多头注意力?

💡 核心概念

多头注意力就像8个同学同时看一篇文章——A同学关注语法,B同学关注情感,C同学关注事实...最后大家把发现汇总,比一个人看要全面得多!

📄

🔧 具体实现

1. 将Q、K、V在维度上分割成h个头(如8头,每头64维)
2. 每个头独立计算注意力
3. 拼接所有头的输出,再线性变换

输入
→
分割成8头
→
头1: 语法
头2: 指代
头3: 语义
...
→
拼接
→
输出

QKV - 注意力的三要素

💡 图书馆比喻

Query(查询):你带着问题去("我要找关于恐龙的书")
Key(键):书架上的标签("古生物"、"恐龙"、"侏罗纪")
Value(值):书架上的真书

你的问题和标签匹配得越好,那本书就越容易被找到!

🎯
Query
我在找什么?
查询向量
🏷️
Key
怎么匹配?
键向量
📦
Value
实际内容
值向量

🧮 计算过程

1. 匹配计算:Query · Key = 注意力分数
2. 归一化:Softmax → 权重(所有权重和为1)
3. 加权求和:权重 × Value = 最终输出

我 喜欢 吃 苹果

👆 点击词语查看QKV交互

当"我"作为Query时,会与所有词的Key计算匹配度...

多头注意力互动演示

8头

🧠 8个注意力头各司其职

👆 点击上方任意"头"查看详情

每个头关注不同的语言特征...

🔤 头1: 句法关系

关注主语-动词、动词-宾语的语法结构

🔗 头2: 指代消解

"他"指代谁?"这"指什么?

💡 头3: 语义相似

找出同义词、近义词、相关概念

📍 头4: 位置邻近

关注相邻词语的局部关系

单头 vs 多头 注意力

🥉 单头注意力

65%

准确率

  • 只能关注一种关系
  • 容易遗漏信息
  • 理解不够全面

🥇 多头注意力

92%

准确率

  • 同时关注多种关系
  • 信息捕获更完整
  • 理解更加全面

💡 为什么多头更好?

就像8个专家同时分析一篇文章:

• 语言学家关注语法结构
• 心理学家关注情感色彩
• 逻辑学家关注论证关系
• 历史学家关注时代背景

最后综合所有人的意见,比任何一个人的判断都更全面、更准确!

🎮 多头注意力挑战

🎯 游戏目标

作为"注意力头",找出句子中特定的关系!每个头有不同的任务。

得分: 0 / 0