From 414d9d40ec689956b6e1c7b6f3f9c7c504774234 Mon Sep 17 00:00:00 2001 From: skindhu Date: Thu, 24 Oct 2024 10:36:33 +0800 Subject: [PATCH] add first chapter --- Book/1.理解大语言模型.md | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/Book/1.理解大语言模型.md b/Book/1.理解大语言模型.md index 6312ba3..dbf946e 100644 --- a/Book/1.理解大语言模型.md +++ b/Book/1.理解大语言模型.md @@ -74,7 +74,9 @@ LLMs 还可以支持复杂的聊天机器人和虚拟助手，例如 OpenAI 的 创建 LLM 的一般过程包括预训练和微调。术语 "pre" 在 "pretraining" 中指的是初始阶段，此时模型（如 LLM）在一个大型且多样化的数据集上进行训练，以便获得对语言的广泛理解。预训练模型随后作为基础资源，可以通过微调进一步优化。微调是指模型在一个更狭窄的数据集上进行专门训练，这个数据集更针对特定任务或领域。包含预训练和微调的这种两阶段训练方法在图 1.3 中进行了说明。 -> **思考：** 预训练的数据集已经学习好了语言模型的基础能力，包括语法、词汇、语言结构，可以相对准确的预测下一个token。而微调则是利用特定领域的数据来让模型适应某些特定的任务。 +> [!TIP] + +> 思考：** 预训练的数据集已经学习好了语言模型的基础能力，包括语法、词汇、语言结构，可以相对准确的预测下一个token。而微调则是利用特定领域的数据来让模型适应某些特定的任务。 > > + 微调默认情况下会调整所有权重，但由于权重已经经过预训练，大多数情况下，微调只会对预训练权重进行微小调整，而不是大幅度改变。这种方式能够让模型保持原有的语言生成能力，同时使其在特定任务上表现得更好。 > + 冻结部分权重的微调，一般冻结低层（往往是学习到的基础语言特征），对高层的权重进行调整。一般用于加速训练，或者数据量较小，全权重微调可能导致过拟合的情况下使用。