@cyberlangke/tokkit-internlm
v1.11.0
Published
InternLM tokenizer families for tokkit.
Readme
@cyberlangke/tokkit-internlm
InternLM 官方文本 tokenizer 的 tokkit 子包。
当前内置范围:
internlm2.5-1.8b- 覆盖
internlm/internlm2_5-1_8b
- 覆盖
internlm2.5-20b- 覆盖
internlm/internlm2_5-20b
- 覆盖
internlm/AlchemistCoder-L-7B- 复用现有
danubefamily
- 复用现有
说明:
- 当前只纳入许可证明确兼容且可公开下载标准 BPE
tokenizer.json的官方文本模型。 internlm3-8b-instruct当前只有tokenizer.model,不在本仓库当前 BPE 主线范围内。internlm2_5-7b许可证信号不够稳定,当前不默认纳入。
