admin管理员组

文章数量:1663031

Transformer - model architecture

flyfish

Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分

输入部分

输出部分

输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码

输出部分包含:
线性层
softmax处理器

左侧编码器部分和右侧解码器部分

编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成

解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成

本文标签: TransformerModelArchitecture