diff --git a/cn-Book/2.处理文本数据.md b/cn-Book/2.处理文本数据.md index d43fb4d..b67b787 100644 --- a/cn-Book/2.处理文本数据.md +++ b/cn-Book/2.处理文本数据.md @@ -346,7 +346,7 @@ KeyError: 'Hello' -现在,让我们修改词汇表,将这两个特殊token 和 <|endoftext|> 包含在内,方法是将它们添加到我们在上一节中创建的唯一单词列表中: +现在,让我们修改词汇表,将这两个特殊token <|unk|> 和 <|endoftext|> 包含在内,方法是将它们添加到我们在上一节中创建的唯一单词列表中: ```python all_tokens = sorted(list(set(preprocessed)))