add fifth chapter

2024-11-07 15:37:50 +08:00 · 2024-11-07 15:37:50 +08:00 · c5424bf0b2
parent 5667bf1b36
commit c5424bf0b2
1 changed files with 0 additions and 2 deletions
--- a/cn-Book/5.在无标记数据集上进行预训练.md
+++ b/cn-Book/5.在无标记数据集上进行预训练.md
@ -278,8 +278,6 @@ tensor([ -9.5042, -10.3796, -11.3677, -11.4798, -9.7764, -12.2561])
 >
 >    在计算交叉熵损失时，我们希望最大化模型分配给每个正确目标token的概率。交叉熵损失的数学公式为：
 >
 >    $$\text { Loss }=-\sum_{t=1}^{T} \ln P\left(y_{t} \mid x, \theta\right)$$
 >
 >    其中：
 >
 >    + T 是序列长度