From f06ca17e8a4a677e8bad325e82dd20e11d016248 Mon Sep 17 00:00:00 2001
From: skindhu <skindhu@tencent.com>
Date: Wed, 2 Apr 2025 09:33:02 +0800
Subject: [PATCH] Add appendixB

---
 README.md                                     |  2 +-
 ...®å’Œè¿›ä¸€æ­¥é˜…读.md => 附录B.å�‚考文献和扩展阅读.md} |  0
 cn-Book/附录E.使用 LoRA 的�数高效微调.md     | 27 +++++++++++++++++++
 3 files changed, 28 insertions(+), 1 deletion(-)
 rename cn-Book/{附录B.�考文献和进一步阅读.md => 附录B.�考文献和扩展阅读.md} (100%)
 create mode 100644 cn-Book/附录E.使用 LoRA 的�数高效微调.md

diff --git a/README.md b/README.md
index 7d2843f..613b741 100644
--- a/README.md
+++ b/README.md
@@ -43,7 +43,7 @@
 + [第六章：用于分类任务的微调](./cn-Book/6.用于分类任务的微调.md)
 + [第七章：指令�循微调](./cn-Book/7.指令�循微调.md)
 + [附录A：PyTorch简介](./cn-Book/附录A.PyTorch简介.md)
-+ [附录B：�考文献和进一步阅读](./cn-Book/附录B.�考文献和进一步阅读.md)
++ [附录B：�考文献和扩展阅读](./cn-Book/附录B.�考文献和扩展阅读.md)
 + [附录C：习题解答](./cn-Book/附录C.习题解答.md)
 + [附录D：给训练循环添加高级技巧](./cn-Book/附录D.给训练循环添加高级技巧.md)
 
diff --git a/cn-Book/附录B.�考文献和进一步阅读.md b/cn-Book/附录B.�考文献和扩展阅读.md
similarity index 100%
rename from cn-Book/附录B.�考文献和进一步阅读.md
rename to cn-Book/附录B.�考文献和扩展阅读.md
diff --git a/cn-Book/附录E.使用 LoRA 的�数高效微调.md b/cn-Book/附录E.使用 LoRA 的�数高效微调.md
new file mode 100644
index 0000000..4cf7b2d
--- /dev/null
+++ b/cn-Book/附录E.使用 LoRA 的�数高效微调.md	
@@ -0,0 +1,27 @@
+本附录介�低秩适应 (LoRA)，这是最广泛使用的�数高效微调技术之一。在解释 LoRA 背�的主��想之�，本附录将基于第 6 章中的垃圾邮件分类微调示例并对 LLM 进行微调。然而，需�注�的是，LoRA 微调也适用于第 7 章中讨论的有监�的指令微调。
+
+## E.1 LoRA 简介
+
+LoRA，�低秩适应，是一�通过仅调整模型���数的一�部分，使预训练模型更好地适应特定（通常较�）数�集的技术。“低秩�指的是将模型调整�制在总���数空间的一个较�维度�空间的数学概念，这有效地�获了训练期间���数�化的最具影�力的方�。
+
+> [!TIP]
+>
+> **个人�考：** LoRA技术现在用的比较多，我们该怎么�解LoRA，想象你有一个�常厉害的工具箱（预训练模型），里�有很多工具，�以����样的事情。现在你�想用这个工具箱�修自行车（特定任务）。
+>
+> LoRA 就�是给你的工具箱增加了一些专门用�修自行车的“�工具�（模型的一�部分���数）。你�需�把整个工具箱里的工具都�掉或者�新学习怎么使用它们，�需�学会用这些新增的“�工具�就行了。
+>
+> “低秩�的��是，这些新增的“�工具�并�是全新的��常��的工具。它们是在已有的工具基础上进行了一些简�的调整或者组�，就能很好地完�修自行车的任务。这就好比你�需��新�明轮�，�需�给现有的扳手加个特殊的套筒就能拧紧自行车上的螺�。
+>
+> 所以，LoRA 的好处就是，它能让预训练模型快速适应新的任务，而且�需�学习和调整很少的“�工具�，这样就更高效�更�资�。
+
+LoRA 方法之所以有用且�欢迎，是因为它能够高效地在特定任务的数�上对大型模型进行微调，从而显著�低了传统微调方法所需的计算�本和资�。
+
+为了解释 LoRA 的工作原�，�设存在一个与特定层相关�的大型��矩阵 W。LoRA �以应用于 LLM 中的所有线性层（��将会看到），为了说明，我们先关注�个层。
+
+在训练深度神�网络时，在��传播过程中，我们会学习到一个 ΔW 矩阵，它包�了关于我们如何更新原始���数的信�，以便在训练过程中最�化�失函数。在本附录的其余部分，我们将使用术语“���作为模型���数的简称。
+
+在传统训练和微调中，��更新定义如下：
+
+W<sub>updated</sub> = W + ΔW
+
+由 Hu 等人 (https://arxiv.org/abs/2106.09685) �出的 LoRA 方法�供了一�更有效的方法�计算��更新矩阵 ΔW，通过学习它的近似值：
\ No newline at end of file