From 1ba8e31763f50697d5f1a1befd916f7616dc0a41 Mon Sep 17 00:00:00 2001
From: yuhui <173983476@qq.com>
Date: Mon, 14 Apr 2025 18:05:40 +0800
Subject: [PATCH] =?UTF-8?q?Update=205.=E5=9C=A8=E6=97=A0=E6=A0=87=E8=AE=B0?=
 =?UTF-8?q?=E6=95=B0=E6=8D=AE=E9=9B=86=E4=B8=8A=E8=BF=9B=E8=A1=8C=E9=A2=84?=
 =?UTF-8?q?=E8=AE=AD=E7=BB=83.md?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 cn-Book/5.在无标记数据集上进行预训练.md | 4 ++--
 1 file changed, 2 insertions(+), 2 deletions(-)

diff --git a/cn-Book/5.在无标记数据集上进行预训练.md b/cn-Book/5.在无标记数据集上进行预训练.md
index 0dfe638..ac773ec 100644
--- a/cn-Book/5.在无标记数据集上进行预训练.md
+++ b/cn-Book/5.在无标记数据集上进行预训练.md
@@ -328,7 +328,7 @@ neg_avg_log_probas = avg_log_probas * -1
 print(neg_avg_log_probas)
 ```
 
-结算的结果为：`tensor(-10.7940)`。
+结算的结果为：`tensor(10.7940)`。
 
 这种将负值 -10.7940 转化为正值 10.7940 的操作在深度学习中称为交叉熵损失。
 
@@ -1447,4 +1447,4 @@ What makes us want to be on top of that?
 + 训练集和验证集的损失可以用来评估 LLM 在训练过程中生成文本的质量。
 + 预训练 LLM 的过程就是通过调整模型权重来最小化训练损失。
 + LLM 的训练循环是深度学习中的标准流程，通常使用交叉熵损失和 AdamW 优化器。
-+ 在大规模文本数据集上预训练 LLM 非常耗费时间和资源，因此可以加载 OpenAI 提供的开源预训练权重，作为自行预训练模型的替代方案。
\ No newline at end of file
++ 在大规模文本数据集上预训练 LLM 非常耗费时间和资源，因此可以加载 OpenAI 提供的开源预训练权重，作为自行预训练模型的替代方案。