@cyberlangke/tokkit-glm
v1.11.0
Published
GLM tokenizer families for tokkit.
Readme
@cyberlangke/tokkit-glm
GLM family 的 tokkit 子包,只包含 GLM 相关 tokenizer。
支持的模型
glm-4.7glm-5glm-4-0414
使用方法
npm install @cyberlangke/tokkit-glmimport { countTokens } from "@cyberlangke/tokkit-glm"
// 直接统计文本的 token 数量。
const count = await countTokens("你好,世界!", "glm-5", {
addSpecialTokens: false,
})
console.log(count)