注意力机制 on 标准答案https://www.xin800.com/tags/%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/Recent content in 注意力机制 on 标准答案Hugozh-CNFri, 31 Jul 2026 00:00:00 +0000Transformer 注意力整套完整流程梳理https://www.xin800.com/post/transformer-attention-pipeline/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/transformer-attention-pipeline/从向量到QKV到点积到缩放到Softmax到加权融合，完整的Transformer注意力流程，全程业务语言，供应链案例贯穿。什么是交叉注意力机制（Cross-Attention）https://www.xin800.com/post/what-is-cross-attention/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/what-is-cross-attention/交叉注意力机制实现两组不同业务信息之间的关联匹配，Q来自A数据集，K/V来自B数据集，是机器翻译和知识库匹配的核心技术。什么是自注意力机制（Self-Attention）https://www.xin800.com/post/what-is-self-attention/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/what-is-self-attention/自注意力机制实现同一组数据内部所有条目的两两关联计算，依靠QKV向量与相似度打分自动识别远距离业务关联，是Transformer的核心基础。多头注意力机制（Multi-Headed Self-Attention）https://www.xin800.com/post/multi-head-attention/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/multi-head-attention/多头注意力赋予注意力多种子表达方式，8组独立QKV矩阵并行分析，同时捕捉因果、时序、实体、动作等多种关系。点积与余弦相似度https://www.xin800.com/post/dot-product-vs-cosine/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/dot-product-vs-cosine/通过Q-K点积自动算出任意两条业务信息之间关联程度，详解Thing、query-vector、key-vec等概念，区分点积与余弦相似度的本质差异。点积业务场景与计算逻辑https://www.xin800.com/post/dot-product-business/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/dot-product-business/点积是一套快速计算公式，用来衡量两组向量大方向是否一致，输出一个数字代表匹配程度，是注意力机制计算关联程度的基础运算。