@cyberlangke/tokkit-01-ai
v1.11.0
Published
01.AI tokenizer families for tokkit.
Readme
@cyberlangke/tokkit-01-ai
01.AI 官方 tokenizer 的 tokkit 子包,当前包含 Yi、Yi-1.5、Yi-Coder 主线文本模型内置 family。
支持的模型
使用方法
npm install @cyberlangke/tokkit-01-aiimport { getTokenizer } from "@cyberlangke/tokkit-01-ai"
const tokenizer = await getTokenizer("yi")
const sameTokenizer = await getTokenizer("01-ai/Yi-1.5-34B")
console.log(tokenizer === sameTokenizer) // true