Multi-Head Attention - AI如何"多角度"理解语言
多头注意力就像8个同学同时看一篇文章——A同学关注语法,B同学关注情感,C同学关注事实...最后大家把发现汇总,比一个人看要全面得多!
1. 将Q、K、V在维度上分割成h个头(如8头,每头64维)
2. 每个头独立计算注意力
3. 拼接所有头的输出,再线性变换
Query(查询):你带着问题去("我要找关于恐龙的书")
Key(键):书架上的标签("古生物"、"恐龙"、"侏罗纪")
Value(值):书架上的真书
你的问题和标签匹配得越好,那本书就越容易被找到!
1. 匹配计算:Query · Key = 注意力分数
2. 归一化:Softmax → 权重(所有权重和为1)
3. 加权求和:权重 × Value = 最终输出
当"我"作为Query时,会与所有词的Key计算匹配度...
每个头关注不同的语言特征...
关注主语-动词、动词-宾语的语法结构
"他"指代谁?"这"指什么?
找出同义词、近义词、相关概念
关注相邻词语的局部关系
准确率
准确率
就像8个专家同时分析一篇文章:
• 语言学家关注语法结构
• 心理学家关注情感色彩
• 逻辑学家关注论证关系
• 历史学家关注时代背景
最后综合所有人的意见,比任何一个人的判断都更全面、更准确!
作为"注意力头",找出句子中特定的关系!每个头有不同的任务。