@cyberlangke/tokkit-allenai
v1.11.0
Published
AllenAI tokenizer families for tokkit.
Downloads
1,369
Readme
@cyberlangke/tokkit-allenai
AllenAI 官方 tokenizer 的 tokkit 子包,当前包含 OLMo-2 内置 family。
支持的模型
使用方法
npm install @cyberlangke/tokkit-allenaiimport { getTokenizer } from "@cyberlangke/tokkit-allenai"
const tokenizer = await getTokenizer("olmo-2")
console.log(tokenizer.vocabSize)