From 34aafd088c4be51f884b8f2adfbe1b756d2b8ed7 Mon Sep 17 00:00:00 2001 From: skindhu Date: Sat, 2 Nov 2024 15:01:43 +0800 Subject: [PATCH] add third chapter --- cn-Book/3.实现注意力机制.md | 6 +++++- 1 file changed, 5 insertions(+), 1 deletion(-) diff --git a/cn-Book/3.实现注意力机制.md b/cn-Book/3.实现注意力机制.md index 1a8e654..d3fe867 100644 --- a/cn-Book/3.实现注意力机制.md +++ b/cn-Book/3.实现注意力机制.md @@ -1000,7 +1000,11 @@ tensor([[2., 2., 0., 2., 2., 0.], > > > -> $$ \text{softmax}\left(z_{i}\right)=\frac{e^{z_{i}}}{\sum_{j} e^{z_{j}}} $$ +> Softmax 函数的公式如下: +> +> $$ \text{softmax}\left(z_{i}\right)=\frac{e^{z_{i}}}{\sum_{j} e^{z_{j}}} $$ +> +> 其中zi是输入的每个分数(即未激活的原始值),e 是自然对数的底。这个公式的作用是将输入向量中的每个元素转换为一个概率值,且所有值的和为 1。 > >