视频加载失败？在 YouTube 打开 ↗
异常词元（Glitch Tokens）
Glitch Tokens - Computerphile
AI 翻译，未经编辑审核
讲什么
Rob Miles 解释让模型输出乱码的异常 token，以及分词器训练数据可能带来的成因。
HN 网友推荐理由
HN 网友推荐理由：讨论分词器或 GPT 异常行为时，常被用作易懂解释。
摘要与推荐理由由 HackerTube 用 AI 生成，大榕 AI 翻译整理，未经编辑审核。
视频数据来源：HackerTube（https://hackertube.org），基于 Hacker News 社区推荐整理，依 ODC-By 1.0（https://opendatacommons.org/licenses/by/1-0/）许可使用。筛选与中文整理：大榕 darong.ai。
展开英文原文字段
Title
Glitch Tokens - Computerphile
Summary
Rob Miles explains "glitch" tokens, odd strings in large language model vocabularies that make the model produce gibberish. He covers how they likely arise from tokenizer training data, such as Reddit usernames, that never appeared in the model's own training.
Why HN
HN points to it as the accessible explanation of why glitch tokens exist whenever tokenizers or odd GPT behavior come up.
Primary topic
llm tokenization