diff --git a/.gitignore b/.gitignore index e43b0f9..3d41e4c 100644 --- a/.gitignore +++ b/.gitignore @@ -1 +1,4 @@ .DS_Store + +.cursor + diff --git a/.nojekyll b/.nojekyll new file mode 100644 index 0000000..e69de29 diff --git a/_sidebar.md b/_sidebar.md new file mode 100644 index 0000000..8fa251d --- /dev/null +++ b/_sidebar.md @@ -0,0 +1,17 @@ +- **Build a Large Language Model (From Scratch) 中文版** + + - [1.理解大语言模型](./cn-Book/1.理解大语言模型.md) + - [2.处理文本数据](./cn-Book/2.处理文本数据.md) + - [3.实现注意力机制](./cn-Book/3.实现注意力机制.md) + - [4.从零开始实现一个用于文本生成的 GPT 模型](./cn-Book/4.从零开始实现一个用于文本生成的%20GPT%20模型.md) + - [5.在无标记数据集上进行预训练](./cn-Book/5.在无标记数据集上进行预训练.md) + - [6.用于分类任务的微调](./cn-Book/6.用于分类任务的微调.md) + - [7.指令遵循微调](./cn-Book/7.指令遵循微调.md) + +- **附录** + + - [附录A. PyTorch简介](./cn-Book/附录A.PyTorch简介.md) + - [附录B. 参考文献和扩展阅读](./cn-Book/附录B.参考文献和扩展阅读.md) + - [附录C. 习题解答](./cn-Book/附录C.习题解答.md) + - [附录D. 给训练循环添加高级技巧](./cn-Book/附录D.给训练循环添加高级技巧.md) + - [附录E. 使用LoRA的参数高效微调](./cn-Book/附录E.使用LoRA的参数高效微调.md) diff --git a/cn-Book/1.理解大语言模型.md b/cn-Book/1.理解大语言模型.md index 24e0f96..2ca4fa5 100644 --- a/cn-Book/1.理解大语言模型.md +++ b/cn-Book/1.理解大语言模型.md @@ -1,3 +1,5 @@ +# 1.理解大语言模型 + 本章涵盖以下内容: - **大语言模型(LLM)背后基本概念的高级解释** diff --git a/cn-Book/2.处理文本数据.md b/cn-Book/2.处理文本数据.md index b67b787..1311885 100644 --- a/cn-Book/2.处理文本数据.md +++ b/cn-Book/2.处理文本数据.md @@ -1,3 +1,5 @@ +# 2.处理文本数据 + 本章涵盖以下内容: + **为大语言模型的训练准备文本数据集** diff --git a/cn-Book/3.实现注意力机制.md b/cn-Book/3.实现注意力机制.md index 801a557..0054e13 100644 --- a/cn-Book/3.实现注意力机制.md +++ b/cn-Book/3.实现注意力机制.md @@ -1,5 +1,7 @@ +# 3.实现注意力机制 + 本章涵盖以下内容: + **探讨在神经网络中使用注意力机制的原因** diff --git a/cn-Book/4.从零开始实现一个用于文本生成的 GPT 模型.md b/cn-Book/4.从零开始实现一个用于文本生成的 GPT 模型.md index 8839fca..0b7bbb4 100644 --- a/cn-Book/4.从零开始实现一个用于文本生成的 GPT 模型.md +++ b/cn-Book/4.从零开始实现一个用于文本生成的 GPT 模型.md @@ -1,3 +1,5 @@ +# 4.从零开始实现一个用于文本生成的 GPT 模型 + 本章涵盖以下内容: + **编写一个类 GPT 的大语言模型(LLM),可以训练其生成类人文本(指的是由人工智能模型生成的文本,这些文本在语言表达、语法结构、情感表达等方面与人类自然书写的文本非常相似)** diff --git a/cn-Book/5.在无标记数据集上进行预训练.md b/cn-Book/5.在无标记数据集上进行预训练.md index 079d8f0..7e81c0f 100644 --- a/cn-Book/5.在无标记数据集上进行预训练.md +++ b/cn-Book/5.在无标记数据集上进行预训练.md @@ -1,3 +1,5 @@ +# 5.在无标记数据集上进行预训练 + 本章涵盖以下内容: + **计算训练集和验证集的损失,以评估训练过程中大型语言模型生成文本的质量** diff --git a/cn-Book/6.用于分类任务的微调.md b/cn-Book/6.用于分类任务的微调.md index 2314149..82c57b2 100644 --- a/cn-Book/6.用于分类任务的微调.md +++ b/cn-Book/6.用于分类任务的微调.md @@ -1,3 +1,5 @@ +# 6.用于分类任务的微调 + 本章涵盖以下内容: + **介绍不同的LLM微调方法** diff --git a/cn-Book/7.指令遵循微调.md b/cn-Book/7.指令遵循微调.md index 87497d6..5171f73 100644 --- a/cn-Book/7.指令遵循微调.md +++ b/cn-Book/7.指令遵循微调.md @@ -1,3 +1,5 @@ +# 7.指令遵循微调 + 本章涵盖以下内容: + **LLM 指令微调过程概述** diff --git a/cn-Book/附录A.PyTorch简介.md b/cn-Book/附录A.PyTorch简介.md index 6ecd85b..659205a 100644 --- a/cn-Book/附录A.PyTorch简介.md +++ b/cn-Book/附录A.PyTorch简介.md @@ -1,3 +1,5 @@ +# 附录A. PyTorch简介 + 本章涵盖以下内容: + **PyTorch深度学习框架概述** diff --git a/cn-Book/附录B.参考文献和扩展阅读.md b/cn-Book/附录B.参考文献和扩展阅读.md index 699a4ad..c0b2b29 100644 --- a/cn-Book/附录B.参考文献和扩展阅读.md +++ b/cn-Book/附录B.参考文献和扩展阅读.md @@ -1,4 +1,6 @@ +# 附录B. 参考文献和扩展阅读 + - [第一章](#第一章) - [第二掌](#第二掌) - [第三章](#第三章) diff --git a/cn-Book/附录C.习题解答.md b/cn-Book/附录C.习题解答.md index 0161020..014c27a 100644 --- a/cn-Book/附录C.习题解答.md +++ b/cn-Book/附录C.习题解答.md @@ -1,4 +1,6 @@ +# 附录C. 习题解答 + - [第二掌](#第二掌) - [练习 2.1](#练习-21) - [练习 2.2](#练习-22) diff --git a/cn-Book/附录D.给训练循环添加高级技巧.md b/cn-Book/附录D.给训练循环添加高级技巧.md index be7ab62..4224f25 100644 --- a/cn-Book/附录D.给训练循环添加高级技巧.md +++ b/cn-Book/附录D.给训练循环添加高级技巧.md @@ -1,3 +1,5 @@ +# 附录D. 给训练循环添加高级技巧 + - [D.1 学习率预热](#d1-学习率预热) - [D.2 余弦衰减](#d2-余弦衰减) - [D.3 梯度裁剪](#d3-梯度裁剪) diff --git a/cn-Book/附录E.使用LoRA的参数高效微调.md b/cn-Book/附录E.使用LoRA的参数高效微调.md index 3c338b3..ec168db 100644 --- a/cn-Book/附录E.使用LoRA的参数高效微调.md +++ b/cn-Book/附录E.使用LoRA的参数高效微调.md @@ -1,3 +1,5 @@ +# 附录E. 使用LoRA的参数高效微调 + 本附录介绍低秩适应 (LoRA),这是最广泛使用的参数高效微调技术之一。在解释 LoRA 背后的主要思想之后,本附录将基于第 6 章中的垃圾邮件分类微调示例并对 LLM 进行微调。然而,需要注意的是,LoRA 微调也适用于第 7 章中讨论的有监督的指令微调。 ----- diff --git a/index.html b/index.html new file mode 100644 index 0000000..7f14794 --- /dev/null +++ b/index.html @@ -0,0 +1,59 @@ + + + + + + Build a Large Language Model (From Scratch) 中文版 + + + + + + + +
+ + + + + + + + + + + + + + + + + + + + \ No newline at end of file diff --git a/run_docsify.sh b/run_docsify.sh new file mode 100644 index 0000000..d3e5028 --- /dev/null +++ b/run_docsify.sh @@ -0,0 +1,3 @@ +#! /bin/bash + +docsify serve . \ No newline at end of file