视频加载失败？在 YouTube 打开 ↗
一起构建GPT分词器
Let's build the GPT Tokenizer
AI 翻译，未经编辑审核
讲什么
Karpathy 实现字节对编码及编解码，讨论 Unicode 与分词如何导致大模型异常行为。
HN 网友推荐理由
HN 网友推荐理由：被推荐为分词器的深入讲解，从事大模型工作的人值得花时间看。
摘要与推荐理由由 HackerTube 用 AI 生成，大榕 AI 翻译整理，未经编辑审核。
视频数据来源：HackerTube（https://hackertube.org），基于 Hacker News 社区推荐整理，依 ODC-By 1.0（https://opendatacommons.org/licenses/by/1-0/）许可使用。筛选与中文整理：大榕 darong.ai。
展开英文原文字段
Title
Let's build the GPT Tokenizer
Summary
Andrej Karpathy builds the GPT tokenizer from scratch, implementing byte pair encoding along with encode and decode. He shows how many odd LLM behaviors trace back to tokenization, and covers Unicode byte encodings along the way.
Why HN
Recommended as the best deep dive on tokenizers, worth the two hours for anyone working with LLMs.
Primary topic
llm tokenization