From b4466703859860d4525b7feac9fb8df4499a2c8f Mon Sep 17 00:00:00 2001 From: skindhu Date: Sat, 2 Nov 2024 14:52:21 +0800 Subject: [PATCH] add third chapter --- cn-Book/3.实现注意力机制.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/cn-Book/3.实现注意力机制.md b/cn-Book/3.实现注意力机制.md index 8a59078..fd2bcf6 100644 --- a/cn-Book/3.实现注意力机制.md +++ b/cn-Book/3.实现注意力机制.md @@ -996,9 +996,9 @@ tensor([[2., 2., 0., 2., 2., 0.], > > 3. **缩放操作的作用** > -> 在应用 dropout 时，一部分注意力权重被随机置零（假设 dropout 率为 p）。剩余的权重会被放大，其放大倍数为 $ \frac{1}{1-p} $。放大后的权重记为 z′： +> 在应用 dropout 时，一部分注意力权重被随机置零（假设 dropout 率为 p）。剩余的权重会被放大，其放大倍数为 $` \frac{1}{1-p} `$。放大后的权重记为 z′： > -> $$ z_{i}^{\prime}=\frac{z_{i}}{1-p} \quad \text { （对于未被置零的权重） } $$ +> $$ \frac{z_{i}}{1-p} \quad \text { （对于未被置零的权重） } $$ > > >