#Tokenizer

Token (词元)

Token 是 LLM 处理文本的最小单位——不是字，不是词，而是介于两者之间的"子词单元"。LLM 先把文本切成 Token，再给每个 Token 一个数字 ID，然后才能做数学运算。