token-counter-cli

统计文本/文件token数的CLI工具，支持多种模型编码估算和管道输入。

安装

npm install -g token-counter-cli

用法

直接传入文本

token-counter "Hello, world! How many tokens is this?"

统计文件

token-counter -f article.txt
token-counter -f README.md -m claude

管道输入

cat long_document.txt | token-counter
echo "Hello world" | token-counter

指定模型编码

token-counter -f paper.txt -m gpt-4
token-counter -f paper.txt -m llama
token-counter -f paper.txt --encoding bytes

支持的模型

| 模型 | 编码方式 | 估算精度 | |------|----------|---------| | gpt-4 / gpt-3.5 | cl100k_base | 约 4 字符/token | | gpt-3 | p50k_base | 约 4 字符/token | | claude | — | 约 3.7 字符/token | | llama | SentencePiece | 约 3.8 字符/token | | bert | WordPiece | 约 3.5 字符/token |

选项

| 选项 | 缩写 | 默认值 | 说明 | |------|------|--------|------| | --file | -f | — | 从文件读取文本 | | --model | -m | gpt-4 | 指定模型编码 | | --encoding | -e | — | 直接指定编码(bytes/char/word) | | --help | -h | — | 显示帮助 |

输出示例

📝 Token 统计结果
   🔤 Token 数:     142
   📋 详细信息:     GPT-4 (cl100k_base) | 字符: 568 | 词: 128 | 字节: 568
   💰 估算费用:
       GPT-4 输入: ~$0.0014
       GPT-4 输出: ~$0.0043
       GPT-3.5 输入: ~$0.0001

许可证

MIT