ai-roast
v0.2.2
Published
여러 AI 에이전트의 실제 사용 기록을 로컬에서 수집하고, 사용 가능한 Claude·Codex CLI의 독립 평가를 종합하는 도구
Readme
AI 동료의 롤링페이퍼
여러 AI 에이전트의 실제 사용 기록을 로컬에서 수집하고, 사용 가능한 Claude·Codex CLI의 독립 평가를 종합하는 도구
시작
Node 20.11 이상과 yarn 필요, 평가에 사용할 CLI 설치·로그인 필요
yarn install
yarn build
yarn roast doctor
yarn roast runrun에서 분석할 도구를 고르고 로컬 수집에 동의한 뒤 마스킹된 실제 전송 입력을 확인
설치·로그인이 확인된 Claude·Codex CLI를 자동 사용해 수집한 기록을 종합하며, 평가 AI나 대표 작성자를 고르는 단계는 없음
--evaluators는 자동 감지를 제한할 때만 사용하는 고급 옵션이며, 전송 대상과 사용량은 동의 전에 표시
전송까지 동의하면 독립 평가·종합 평가·근거 검증 후 결과 페이지를 로컬 브라우저에 표시
| 명령 | 동작 |
| --- | --- |
| yarn roast doctor | Claude·Codex 설치·로그인 확인, AI 호출 없음 |
| yarn roast collect --collect --tools claude,codex | 최대 50세션씩 로컬 분석·마스킹, AI 전송 없음 |
| yarn roast run --collect --tools claude,codex --dry-run | 로컬 profile과 입력 미리보기만 생성 |
| yarn roast evaluate --profile <profile.json> --evaluators claude,codex | 저장된 자료 검증·전송 미리보기·동의 후 평가 |
| yarn roast serve --result <result.json> --no-open | 저장된 공개 결과만 로컬에서 다시 표시 |
비대화형 평가는 미리보기에 출력된 정확한 SHA-256을 --consent HASH로 전달해야 실행됨
--collect는 로컬 수집 동의이며 전송 동의를 대신하지 않음
기록과 설정
| 분석 도구 | 수집 범위 |
| --- | --- |
| Claude Code | ~/.claude/projects의 사용자 JSONL, 전역·선택 세션 프로젝트 지침, skills·commands 개수 |
| Codex | ~/.codex/sessions의 사용자 JSONL, 전역·선택 세션 프로젝트 지침, skills·prompts 개수 |
| Gemini CLI | ~/.gemini/tmp/*/chats/session-*.json 또는 .jsonl, 전역·프로젝트 GEMINI.md |
| Cursor | 아래 형식의 JSON 가져오기, 지정 프로젝트 .cursor/rules, .cursorrules, 지침 파일 |
| Copilot CLI | ~/.copilot/session-state/*/events.jsonl 사용자 이벤트와 지침 |
| Cline | CLI·VS Code task 폴더의 ui_messages.json 사용자 입력과 명시한 프로젝트 지침 |
| OpenCode | --opencode-import FILE 세션 JSON과 지침, DB 직접 수집은 제외 |
{"messages":[{"role":"user","content":"테스트부터 확인해줘","timestamp":"2026-11-01T09:00:00+09:00"}]}yarn roast run --collect --tools cursor --cursor-import ./cursor-export.json --project ./my-project여러 대화는 위 객체의 배열, 여러 파일은 --cursor-import 반복 사용
Cursor 내부 DB 자동 파싱·확인하지 못한 사용자 전역 규칙은 지원으로 표시하지 않음
--project, --redact 회사명은 반복 가능
최근 30일과 이전 1년 내 자료를 구분하고, 1년간 실제 발화가 없는 도구는 기본 제외 자동 지침·환경 삽입·도구 출력·보조 에이전트 대화는 사용자 발화에서 제외 시간 미상·일부 파싱 실패는 확인 불가·부분 수집으로 남기며 0점으로 바꾸지 않음
저장과 공개
- 비공개 파일은
.ai-roast/runs/<시각>/에 보관하고 Git·패키지에서 제외 profile.json·transmission-preview.json에는 마스킹된 발췌가 있으므로 공유하지 않음- 공개
result.json은 스키마·근거·기간·점수·레벨 검증을 통과한 허용 필드만 포함 - 실제 대화·지침·인증 파일은 결과 웹서버에서 제공하지 않음
- 서버는
127.0.0.1에만 바인딩하며 고정 포트가 필요하면--port 5199사용 - 평가당 180초 제한·실패한 호출만 1회 재시도, 일부 성공은 보존
--no-open으로 브라우저 자동 열기 생략
화면 개발과 검증
yarn dev는 합성 mock 결과로 화면을 개발하는 모드, 실제 결과는 CLI가 표시하는 결과 주소에서 확인
yarn lint
yarn lint:cli
yarn test
yarn test:cli
yarn test:e2e
yarn build도구별 평가는 내부에 유지하고 화면에는 종합 평가 한 벌만 표시
한마디·종합 점수·줄 없는 불릿·관측한 역할 차이·다음 행동·장단점으로 구성
공유 버튼은 화면 내용과 닉네임만 압축한 링크를 생성하며, 받은 사람은 전체 책장을 바로 볼 수 있음
공유받은 화면의 마지막 버튼은 본인 컴퓨터에서 CLI를 실행하는 생성 안내로 연결됨
폰트 라이선스와 생성 이미지 출처는 public/assets에 보관
로컬 배포 패키지
yarn pack --filename ai-roast.tgz빌드된 CLI와 정적 페이지를 묶으며 비공개 실행 자료는 포함하지 않음
패키지의 실행 명령은 ai-roast, 레지스트리 게시와 팀원 파일럿은 별도 단계
공유 웹 배포
- Vercel은
yarn build:host, 산출물dist사용 VERCEL_PROJECT_PRODUCTION_URL을 공유 웹 주소로 빌드에 반영, 직접 빌드할 때는VITE_PUBLIC_URL지정/download/ai-roast.tgz는 빌드된 CLI·결과 웹이 들어 있는 실행 패키지- 공유 링크의
#paper=부분에 닉네임·평가 문구·점수·도구 ID만 담음, 원문·발췌·근거·통계는 포함하지 않음 - 링크를 받은 사람의 기록을 웹에서 읽지 않음, 로그인한 Claude 또는 Codex CLI가 있는 본인 컴퓨터에서 명령을 실행해야 함
- 로컬 수집 동의와 마스킹 자료 전송 동의는 각각 확인
- 실제 결과·개인 지침·로그인 파일은 Git과 Vercel 업로드에서 제외
저장한 독립 평가를 종합 평가로 전환
yarn roast synthesize --profile <profile.json> --result <result.json> --evaluators codex기존 마스킹 기록과 평가를 다시 읽어 한 벌로 종합하며, 전송 미리보기와 동의를 거침 종합 점수는 산술 평균하지 않고 관측 근거로 다시 판단, 불명확한 축은 보류
- 친구에게 공유하기는 링크를 바로 복사하고 토스트로 안내, 시스템 공유 창은 사용하지 않음
- 마지막 장의 처음으로 버튼은 닉네임을 유지하고 표지로 이동
지원하는 에이전트 기록
| 도구 | 읽는 기록 | 제한 |
| --- | --- | --- |
| Claude Code | ~/.claude/projects 사용자 JSONL | 보조 에이전트·주입 지침 제외 |
| Codex | ~/.codex/sessions 사용자 JSONL | 이벤트 중복·보조 에이전트 제외 |
| Gemini CLI | ~/.gemini/tmp/*/chats JSON·JSONL | Gemini 웹 채팅은 대상 아님 |
| GitHub Copilot CLI | ~/.copilot/session-state/*/events.jsonl | VS Code Copilot Chat·중앙 DB는 아직 제외 |
| Cline | ~/.cline/data/tasks 및 VS Code의 saoudrizwan.claude-dev/tasks 안 ui_messages.json | 새 sessions DB는 제외, 작성 시각 있는 task·user_feedback만 포함 |
| Cursor | --cursor-import FILE JSON | 내부 DB 직접 읽기 제외 |
| OpenCode | --opencode-import FILE 세션 내보내기 JSON | 로컬 DB 직접 읽기 제외, 현재 flat user·이전 info/parts 형식 지원 |
- 도구가 설치돼 있거나 설정만 있다고 분석하지 않음, 실제 사용자 발화 시각으로 최근·가끔·과거 사용 구분
- 수집 도구와 평가 실행 환경은 별개, Claude·Codex 각각에 선택한 전체 도구의 동일한 기록을 전달해 독립 평가한 뒤 종합
- 일부 평가 실행 환경만 로그인돼 있으면 그 환경으로도 전체 도구의 기록은 분석하며, 전송 전에 실제 평가 실행 환경을 표시
- 홈에서 복사하는 명령어는 npm 공개 패키지
npx ai-roast, 새 버전은 npm 버전 번호로 구분 - 실행 시작과
--help에 버전 표시,0.2.0부터 평가 AI 선택 질문 없음
공식 형식 참고: Copilot 이벤트, Cline 메시지, OpenCode 내보내기
Node가 없거나 시작 명령이 안 될 때
- 기본 시작 명령은 홈에서 복사하는
npx ai-roast, CLI 기본 동작이 run이므로@latest·run인자 불필요 - npm 공개 패키지
ai-roast로 게시, Node 설치 보조 스크립트는 배포 웹의 tgz를 그대로 실행 - npx를 찾지 못하거나 Node 버전이 낮으면 홈의 Node 설치 안내를 열고 보조 명령 실행
- macOS·Linux:
curl -fsSL https://ai-roast-xi.vercel.app/start.sh | sh - Windows: 홈에서 PowerShell 보조 명령 복사, 영구 실행 정책 변경 없음
- Node 20.11 이상·npx가 준비돼 있으면 그대로 실행, 아니면 설치 여부를 묻고 y/Y 입력 후에만 설치
- 공식 Node v24.22.2 LTS 배포본과 SHASUMS256.txt를 받아 SHA-256 일치 확인 후 설치, 실패 시 실행하지 않음
- 실행용 런타임 저장 위치: macOS·Linux
$XDG_DATA_HOME/ai-roast/node또는~/.local/share/ai-roast/node, Windows%LOCALAPPDATA%/ai-roast/node - 기존 Node·셸 설정은 덮어쓰지 않고 해당 실행에 런타임 경로 적용,
AI_ROAST_RUNTIME_DIR로 저장 위치 지정 가능 - 보조 시작 주소는 no-store, 내부 패키지 주소는 배포별 고유 URL 유지
- 평가 완료 후 기본 브라우저에 로컬 결과를 자동 표시, 실패 시 터미널에 출력한 주소로 접속
yarn test:bootstrap으로 충분한 버전·미설치·구버전·거절·동의·체크섬·다운로드 실패·재사용 검증
설정 기반 평가지
새로 생성하는 결과는 한마디 요약 → 지침 설정 → 스킬 설정 → 커맨드 설정 → 프롬프트 습관 → 최종 요약으로 구성됩니다. 각 항목에서 좋은 점·덜어낼 점·보충할 점을 평가하며, 해당 사항이 없는 경우와 자료가 부족한 경우를 구분합니다.
스킬·커맨드의 설치 목록과 선택 수집한 최근 기록의 직접 호출·문서 로드를 구분합니다. 설치만으로 자주 사용한다고 판단하지 않습니다. 현재 지침·확장 요약·자동화 설정 발췌는 마스킹한 뒤 전송 미리보기와 동의 대상에 포함하며, 원본이나 개인 경로를 공유 링크에 넣지 않습니다. 자동화 스크립트는 실행하지 않습니다.
기존 결과는 호환 화면으로 열립니다. 새 평가지가 필요하면 collect부터 다시 진행하고 전송 내용을 확인해 동의해야 합니다. 개발용 public/result.json은 합성 예시이며 실제 사용자의 설정 분석 결과가 아닙니다.
평가가 invalid로 실패할 때
- 터미널과
result.json의issues에 실패한 검증 항목과 이유를 표시합니다. 잘못된 응답 값 자체는 공개 오류에 포함하지 않습니다. - 실행 폴더의
diagnostics/round1-claude-1.json처럼 단계·평가자·시도별 실패 응답을 비공개로 보존합니다. 진단 폴더는 0700, 파일은 0600이며 응답 원문이 있으므로 공유하지 않습니다. - 독립 평가가 모두 실패하면 종합 평가는 호출하지 않습니다. 저장된 독립 평가가 없는
synthesize실행도 전송 전에 차단합니다. - 재수집 없이 저장된
profile.json을evaluate --profile <경로> --evaluators claude로 다시 평가할 수 있습니다. 전송 미리보기 확인과 동의는 다시 진행합니다. - 이전 버전에서 저장하지 않은 실패 응답은 복구할 수 없으며, 진단은 수정 버전의 새 실행부터 남습니다.
평가용 생성 스키마는 실제 입력의 근거 ID 목록과 항목별 기간으로 제한합니다. sample-*는 근거 ID가 아니며, 현재 설정을 대화 점수의 근거로 사용할 수 없습니다. 모델 응답 생성 단계의 제한과 최종 참조 검증을 함께 적용합니다.
