@cyberlangke/tokkit-qwen
v1.11.0
Published
Qwen tokenizer families for tokkit.
Readme
@cyberlangke/tokkit-qwen
Qwen family 的 tokkit 子包,只包含 Qwen 相关 tokenizer。
支持的模型
使用方法
npm install @cyberlangke/tokkit-qwenimport { getTokenizer } from "@cyberlangke/tokkit-qwen"
// 只安装 qwen 子包时,也能直接获取 qwen tokenizer。
const tokenizer = await getTokenizer("qwen3.5")
// 同系列模型名会映射到同一个 tokenizer family。
const sameTokenizer = await getTokenizer("Qwen/Qwen3.5-27B")
console.log(tokenizer === sameTokenizer) // true