D03 注意力机制手算与代码实现

1.2 注意力计算的三阶段流程注意力机制的计算过程可以分解为三个清晰的阶段计算相似度、归一化权重、加权求和。这种设计模仿了人类注意力分配的过程——先评估各选项与当前任务的相关性然后根据相关性分配注意力资源。上图展示了注意力机制的三阶段计算流程。图中Query与Key1-4分别计算相似度得到s1-s4经SoftMax归一化得到注意力权重a1-a4最后与Value1-4加权求和得到Attention Value。1.3 注意力计算的三阶段流程根据图示注意力机制的计算过程可分为三个清晰的阶段。设当前解码器的隐藏状态为Query向量维度编码器的各时间步隐藏状态同时作为Key和Value各有n个对应图中Key1-4和Value1-4。