Hugging Face tokenizers v1 发布：编码解码与扩展性能实测

Hugging Face 发布 tokenizers v1，输出与 v0.23 完全一致的 token ID，但速度常快数十倍。v1 将单个 crate 拆为 workspace，引入无分配模型、基于 SIMD 的 bitcannon 分词、合并循环重写、词缓存和原生多线程并行，并保留对 BPE、WordPiece、Unigram 的支持。