#tokenizer

项目五：从零训练一个分词器

用 BPE（字节对编码）算法，从一个文本文件里学出一个分词器。训练完成后，你可以把任意中文句子切成 token。