From 299822cf07476cadb949d62a7a97e28e020d5ac9 Mon Sep 17 00:00:00 2001
From: yuhui <173983476@qq.com>
Date: Mon, 14 Apr 2025 19:01:19 +0800
Subject: [PATCH] =?UTF-8?q?Update=205.=E5=9C=A8=E6=97=A0=E6=A0=87=E8=AE=B0?=
 =?UTF-8?q?=E6=95=B0=E6=8D=AE=E9=9B=86=E4=B8=8A=E8=BF=9B=E8=A1=8C=E9=A2=84?=
 =?UTF-8?q?=E8=AE=AD=E7=BB=83.md?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 cn-Book/5.在无标记数据集上进行预训练.md | 4 ++--
 1 file changed, 2 insertions(+), 2 deletions(-)

diff --git a/cn-Book/5.在无标记数据集上进行预训练.md b/cn-Book/5.在无标记数据集上进行预训练.md
index 0dfe638..d7991c1 100644
--- a/cn-Book/5.在无标记数据集上进行预训练.md
+++ b/cn-Book/5.在无标记数据集上进行预训练.md
@@ -422,7 +422,7 @@ tensor(10.7940)
 ```python
 file_path = "the-verdict.txt"
     with open(file_path, "r", encoding="utf-8") as file:
-text_data = file.read()
+    text_data = file.read()
 ```
 
 加载数据集后，我们可以查看其中的字符数和 token 数：
@@ -1447,4 +1447,4 @@ What makes us want to be on top of that?
 + 训练集和验证集的损失可以用来评估 LLM 在训练过程中生成文本的质量。
 + 预训练 LLM 的过程就是通过调整模型权重来最小化训练损失。
 + LLM 的训练循环是深度学习中的标准流程，通常使用交叉熵损失和 AdamW 优化器。
-+ 在大规模文本数据集上预训练 LLM 非常耗费时间和资源，因此可以加载 OpenAI 提供的开源预训练权重，作为自行预训练模型的替代方案。
\ No newline at end of file
++ 在大规模文本数据集上预训练 LLM 非常耗费时间和资源，因此可以加载 OpenAI 提供的开源预训练权重，作为自行预训练模型的替代方案。