charieswei
/
Build-A-Large-Language-Model-CN
mirror of https://github.com/skindhu/Build-A-Large-Language-Model-CN.git
1
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity

Merge pull request #13 from ruohai0925/main 

修改一个关于句子3掩码矩阵的可能的错误
This commit is contained in:
long_long_ago 2025-05-27 10:38:09 +08:00 committed by GitHub
parent 1fad72948d 0c5d321e4d
commit 2e38fbbdb0
No known key found for this signature in database
GPG Key ID: B5690EEEBB952194
1 changed files with 1 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
cn-Book/2.处理文本数据.md
View File

@ -466,7 +466,7 @@ print(tokenizer.decode(tokenizer.encode(text)))
> >
> + 句子1（掩码矩阵）：`[1, 1, 1, 1, 0]` > + 句子1（掩码矩阵）：`[1, 1, 1, 1, 0]`
> + 句子2（掩码矩阵）：`[1, 1, 1, 1, 0]` > + 句子2（掩码矩阵）：`[1, 1, 1, 1, 0]`
> + 句子3（掩码矩阵）：`[1, 1, 1, 0, 0]` > + 句子3（掩码矩阵）：`[1, 1, 1, 1, 0]`
> >
> 在这个掩码矩阵中，`1` 表示模型会关注的 token，`0` 表示模型会忽略的填充 token。通过这种掩码矩阵，模型知道在计算和训练时哪些 token 是有效内容，哪些 token 是填充部分，无需关注。 > 在这个掩码矩阵中，`1` 表示模型会关注的 token，`0` 表示模型会忽略的填充 token。通过这种掩码矩阵，模型知道在计算和训练时哪些 token 是有效内容，哪些 token 是填充部分，无需关注。