@cyberlangke/tokkit-step
v1.11.0
Published
Step tokenizer families for tokkit.
Readme
@cyberlangke/tokkit-step
Step family 的 tokkit 子包,只包含 Step 相关 tokenizer。
支持的模型
使用方法
npm install @cyberlangke/tokkit-stepimport { getTokenizer } from "@cyberlangke/tokkit-step"
// 获取 Step family 对应的 tokenizer。
const tokenizer = await getTokenizer("step-3.5-flash")
console.log(tokenizer.vocabSize)