add fourth chapter

This commit is contained in:
skindhu 2024-11-04 19:58:26 +08:00
parent 70cfd9316c
commit 173888ddff
1 changed files with 1 additions and 1 deletions

View File

@ -654,7 +654,7 @@ layers.4.0.weight has gradient mean of 1.3258541822433472
>
> 加入快捷连接后,信息可以在层与层之间**直接跳跃**。例如,假设在第 n 层,我们有输入 X<sub>n</sub>经过注意力和前馈网络得到输出F(X<sub>n</sub>)。加入快捷连接后,这一层的输出可以表示为:
>
> $$ \text { 输出 }=X_{n}+F\left(X_{n}\right) $$
> $$\text { 输出 }=X_{n}+F\left(X_{n}\right) $$
>
> 这意味着第 n 层的输出不仅包含了这一层的新信息 F(X<sub>n</sub>),还保留了原始输入 X<sub>n </sub>的信息。下面是这样做的好处:
>