https://www.xin800.com/tags/transformer/Recent content in Transformer on 标准答案Hugozh-CNWed, 05 Aug 2026 00:00:00 +0000https://www.xin800.com/post/why-transformer-6-layers/Wed, 05 Aug 2026 00:00:00 +0000https://www.xin800.com/post/why-transformer-6-layers/业务通俗比喻 把每一层Block想象成一道加工工序： - 第1‑2层：看懂字面、词语、局部语法（看懂相邻词语关系） - 第3‑4层：理解句子句法、短语关系 - 第5‑6层：提炼全局深层语义、长距离逻辑（跨很远的词的指代、逻辑） 句子（张量）一层层流过每道工序，逐层把原始输入打磨成高级语义特征。 👉https://www.xin800.com/post/transformer-attention-pipeline/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/transformer-attention-pipeline/从向量到QKV到点积到缩放到Softmax到加权融合，完整的Transformer注意力流程，全程业务语言，供应链案例贯穿。https://www.xin800.com/post/what-is-cross-attention/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/what-is-cross-attention/交叉注意力机制实现两组不同业务信息之间的关联匹配，Q来自A数据集，K/V来自B数据集，是机器翻译和知识库匹配的核心技术。https://www.xin800.com/post/what-is-self-attention/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/what-is-self-attention/自注意力机制实现同一组数据内部所有条目的两两关联计算，依靠QKV向量与相似度打分自动识别远距离业务关联，是Transformer的核心基础。https://www.xin800.com/post/multi-head-attention/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/multi-head-attention/多头注意力赋予注意力多种子表达方式，8组独立QKV矩阵并行分析，同时捕捉因果、时序、实体、动作等多种关系。https://www.xin800.com/post/dot-product-vs-cosine/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/dot-product-vs-cosine/通过Q-K点积自动算出任意两条业务信息之间关联程度，详解Thing、query-vector、key-vec等概念，区分点积与余弦相似度的本质差异。https://www.xin800.com/post/dot-product-business/Fri, 31 Jul 2026 00:00:00 +0000https://www.xin800.com/post/dot-product-business/点积是一套快速计算公式，用来衡量两组向量大方向是否一致，输出一个数字代表匹配程度，是注意力机制计算关联程度的基础运算。