From 2aca5ac7d6d647eab49c729854c19b3b0258dfb1 Mon Sep 17 00:00:00 2001 From: skindhu Date: Wed, 2 Apr 2025 17:20:13 +0800 Subject: [PATCH] Add appendixE --- cn-Book/附录E.使用LoRA的参数高效微调.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/cn-Book/附录E.使用LoRA的参数高效微调.md b/cn-Book/附录E.使用LoRA的参数高效微调.md index 3487b6c..d527f47 100644 --- a/cn-Book/附录E.使用LoRA的参数高效微调.md +++ b/cn-Book/附录E.使用LoRA的参数高效微调.md @@ -447,7 +447,7 @@ print(f"Total trainable LoRA parameters: {total_params:,}") Total trainable LoRA parameters: 2,666,528 ``` -如我们所见，使用 LoRA 后，可将可训练参数的数量减少了近 50 倍。秩和 alpha 一般都默认设置为 16 ，但通常也会增加秩的大小，这从而增加可训练参数的数量。Alpha 通常选择为秩的一半、两倍或相等。 +如我们所见，使用 LoRA 后，可训练参数的数量减少了近 50 倍。秩和 alpha 一般都默认设置为 16 ，但通常也会增加秩的大小，这从而增加可训练参数的数量。Alpha 通常选择为秩的一半、两倍或相等。 现在可以通过打印模型架构来验证这些层是否已按预期修改：