ja-llm-guard
v0.1.0
Published
日本語LLM出力の『読めるのに壊れている』を機械で拾う出口検査(かな比率・簡体字混入)。実測8,853件の失敗ログから抽出。依存ゼロ。
Maintainers
Readme
ja-llm-guard
日本語LLM出力の「読めるのに壊れている」を機械で拾う出口検査。依存ゼロ・MIT。
npx ja-llm-guard "検査したいテキスト"
cat output.txt | npx ja-llm-guard # 終了コード 0=合格 / 1=検知(CIの関所にそのまま置ける)const { check } = require('ja-llm-guard');
check('本日会議議事録送付確認依頼。');
// => [ 'kana_ratio_low:0.00<0.15' ] ← かなゼロの「日本語」は壊れの信号なぜ要るか(実測から)
ローカルLLM上で自律エージェント群を24時間動かし、{{days}}日間で{{records}}件の失敗を 記録した。その中で「言語の壊れ」系は:
| 実測件数 | 型 | |---|---| | {{nBrokenLanguageMix}} | 日英が無意味に混線した出力 | | {{nChineseInJapanese}} | 日本語文への中国語(簡体字)混入 | | {{nNotJapanese}} | 日本語で返ってこない |
これらは文字列としては正常に「読める」ので、例外にもならずログにも何も出ない。 多言語モデル(Qwen系など)を日本語業務に載せると、英語圏では起きない壊れ方をする。
2つの検査(本番で実際に故障を捕まえた形だけ)
- かな比率 — ひらがな・カタカナがゼロの「日本語文」は最も安く最も強い壊れの信号。 正常な日本語ビジネス文の実測はおおむね0.3〜0.6(既定の閾値は0.15)
- 簡体字混入 — 「CJKかどうか」の検査は日中両方を通してしまう。日本語の新字体に 存在しない簡体字だけのコードポイント(们・这・时 など)を名指しで見る
フル版
敬体・常体の混在検査、見張り・関所テンプレ8本(cron欠落検知・出力契約・承認キュー・ 心拍ほか)、わざと壊すBREAK試験込みの試験28本を同梱した {{productProJaName}}({{priceProJa}}・単一組織の商用ライセンス)を提供しています。 お問い合わせ: [email protected](件名に「日本語版テンプレ」とお書きください)
運営: GX Cafe合同会社(特定商取引法に基づく表記)
