请解释Transformer中的多头注意力机制 (MHA) 的原理，并说明其复杂度。BERT 和GPT在架构上有什么区别?
尚未关联知识库答案
多头注意力机制 (Multi-Head Attention) 的核心思想是将输入的Q、K、V通过不同的线性投 影映射到h个子空间，在每个子空间中独立计算Scaled Dot-Product Attention，然后将h个头 的输出拼接起来，再经过一次线性变换得到最终输出。公式为….,headh)WAO，其中。复杂度方面，MHA的 时间复杂度为0(n?. d)，其中mn是序列长度，d是特征维度。平方项来自注意力矩阵的计算，这 也是Transformer处理长序列时的主要瓶颈。BERT和GPT的核心架构差异在于: BERT是双向 编码器 (Encoder-only) ，采用掩码语言模型 (MLM) 进行预训练，能够同时看到上下文信 息，适合理解类任务 GIADA, IS) 。GPT是单向解码器 (Decoder-only) , RAB 回归语言模型进行预训练，只能看到左侧上下文，适合生成类任务 〈如文本生成、对话) 。这 也是为什么BERT在NLU任务上更强，而GPT在NLG任务上更有优势。