본문으로 건너뛰기
JournalTORIS / FIELD NOTES

← 블로그개발 도구

Caveman(JuliusBrussee/caveman) 실측 검증 — 65% 절감 대신 3%와 33.2%가 뜻하는 것

깃허브 12만 스타를 넘긴 Caveman의 실제 토큰 절감률을 공식 eval·SoloSoft 감사·JetBrains 수치로 검증하고, 말투 스킬 대신 로컬 프록시를 써야 하는 조건을 정리합니다.

#Caveman #토큰절감 #ClaudeCode #코딩에이전트 #프록시 #오픈소스 #DevTools

Read in English

Caveman(JuliusBrussee/caveman) 실측 검증 — 65% 절감 대신 3%와 33.2%가 뜻하는 것

Q. Caveman 스킬을 쓰면 정말 AI 코딩 에이전트 토큰이 65% 줄어드나요? 아닙니다. 기본 /caveman 말투 스킬만 켜면 "Answer concisely." 같은 일반 간결 프롬프트 대비 출력 토큰 절감률은 중앙값 3%(-2.88%)에 불과합니다. 진짜 큰 비용 절감은 에이전트가 읽는 로그·JSON·CSV·테스트 출력을 줄여 주는 로컬 프록시(@caveman-ai/cli, 세션 전체 입력 토큰 33.2% 감소)에서 나옵니다.

⚠️ 정확도 가드레일: 이 글은 2026년 11월 19일 기준으로 작성했습니다. 스타 수, 벤치마크, CLI 명령어는 저장소 업데이트에 따라 바뀔 수 있습니다. JetBrains 공식 블로그 원문(blog.jetbrains.com)은 403 접근 제한으로 직접 열지 못해, JuliusBrussee/caveman 공식 README와 SoloSoft 감사 리포트에 인용된 수치(86개 작업, 출력 토큰 8.5% 감소, p=0.82)만 참고했습니다.

30초 요약

  • 65% 헤드라인의 실체: 과거 README와 고정 상수에서 유래한 수치이며, 현재 저장소 자체 평가(10개 개발 질문, claude-opus-5-5) 기준 기본 /caveman의 출력 절감률은 무프롬프트 대비 38.3%, "Answer concisely." 대비 중앙값 3%입니다.
  • 진짜 효과가 큰 기능: 출력 말투 스킬(Say less)보다 도구 출력을 압축하는 로컬 프록시(Read less, @caveman-ai/cli)가 6종 대용량 세션에서 전체 입력 토큰을 33.2%(885,793 → 591,673) 줄였습니다.
  • 역효과가 나는 구간: 스킬 규칙 자체를 프롬프트에 넣는 데 약 1,160 입력 토큰이 들고, 압축기가 없는 HTML 페이지는 프록시를 거치면 오히려 토큰이 9.9% 늘어납니다.
  • 추천 대상: API 종량제나 토큰 한도가 빡빡한 Claude Code·Codex 사용자라면 말투 스킬만 단독으로 쓰기보다 로컬 프록시와 CLAUDE.md 압축(/caveman-compress)을 함께 쓰는 편이 실익이 큽니다.

Caveman 토큰 절감 실측 도표

Caveman은 어떤 프로젝트이고 왜 12만 스타를 넘겼을까

Caveman(JuliusBrussee/caveman)은 코딩 에이전트가 말을 짧게 하고(Say less), 도구 출력을 적게 읽게(Read less) 만드는 오픈소스 스킬 겸 로컬 프록시입니다. 2026년 4월 공개 이후 2026년 11월 19일 기준 GitHub 스타 121,362개, 포크 7,097개를 기록했고 Apache-2.0 라이선스로 배포됩니다.

핵심 아이디어는 단순합니다. 항공기 정비 매뉴얼의 통제 영어(ASD-STE100)를 본떠 인사말, 군더더기, 요약 맺음말을 걷어내고 [대상] [동작] [이유] 순서로 답하게 만듭니다. 다만 코드 블록, CLI 명령어, 파일 경로, 에러 문자열, 부정어(not, never, no)는 한 글자도 바꾸지 않고 그대로 유지합니다.

4.0 버전부터는 단순 프롬프트 스킬을 넘어 여섯 가지 모듈(Six rocks)로 확장됐습니다. 말투 스킬, 도구 출력 압축 프록시, 작업 난이도별 모델 자동 라우팅(Auto), 재사용 스크립트 실행(Blocks), 프롬프트 캐시 유지(Waste fixes), 웹페이지 압축(Browse)이 한 CLI(@caveman-ai/cli)에 묶여 있습니다. 토리스 스튜디오에서도 하네스 엔지니어링 글에서 다뤘듯 모델 자체보다 주변 하네스가 실제 비용과 안정성을 가릅니다.

광고

말투 스킬(Say less): 65%가 아니라 3%인 이유

기본 /caveman 스킬은 아무 지시도 없는 장문 응답 대비 38.3%를 줄이지만, 이미 간결하게 답하라고 지시한 모델 대비로는 중앙값 3%(-2.88%) 차이입니다. 최신 코딩 모델들은 별도 스킬 없이도 "Answer concisely." 한 줄이면 충분히 짧게 답하기 때문입니다.

SoloSoft가 2026년 10월 3일 공개한 감사 리포트는 저장소에 커밋된 evals/snapshots/results.json(claude-opus-5-5, 10개 개발 질문, tiktoken o200k_base 기준)을 직접 재계산해 이 차이를 수치로 확인했습니다.

측정 조건 출력 토큰 합계 간결 프롬프트 대비 중앙값 비고
프롬프트 없음 (기본값) 6,983 기준 외 장문 설명 포함
"Answer concisely." 4,334 0% (기준) 실무 기본 대조군
/caveman (기본) 4,119 -2.88% (약 3%) 규칙 입력 +1,160 토큰
/megacave (문언문) 3,683 -9.14% 글자 수 대비 토큰 절감 제한적
/ultracave (최대 압축) 2,693 -34.73% (약 35%) 1문장 단편·키워드 위주

특히 주의할 점은 요청당 과금(예: GitHub Copilot 프리미엄 요청) 환경에서는 출력 토큰이 줄어도 요금이 1원도 내려가지 않는다는 사실입니다. 오히려 매 세션 시스템 프롬프트에 약 1,160 토큰의 규칙 텍스트가 추가되므로, 짧은 질의응답 위주 작업에서는 캐시 적중 여부에 따라 입력 비용이 늘 수 있습니다.

로컬 프록시(Read less)와 메모리 압축: 진짜 절감이 나오는 곳

에이전트 세션 비용의 대부분을 차지하는 것은 에이전트의 말투가 아니라 도구 실행으로 쏟아지는 입력 토큰입니다. 테스트 로그, CSV, YAML, JSON 파일을 한 번 읽을 때마다 수만 토큰이 컨텍스트에 쌓이기 때문입니다.

공식 문서(docs.caveman.so)와 저장소 README가 공개한 프록시 벤치마크(6종 대용량 도구 출력, 18개 태스크 쌍, 2026년 8월 엔진 기준)를 보면 입력 압축 효과는 출력 스킬과 자릿수가 다릅니다.

파일 유형 단일 파일 토큰 변화 파일 압축률 전체 세션 입력 토큰 변화 세션 절감률
CSV 28,041 → 314 98.9% 165,823 → 74,484 55.1%
Logs 22,810 → 348 98.5% 148,807 → 74,068 50.2%
YAML 20,447 → 178 99.1% 132,124 → 71,027 46.2%
Test output 18,806 → 203 98.9% 150,377 → 108,514 27.8%
JSON 18,837 → 281 98.5% 147,975 → 108,939 26.4%
HTML (미지원) 21,670 → 21,670 0% 140,687 → 154,641 +9.9% 증가
6종 전체 합계 130,611 → 22,994 82.4% 885,793 → 591,673 33.2%

6종 모두 18개 테스트 정답(18/18)을 유지했고, 원본 파일은 로컬 디스크에 그대로 남아 있어 에이전트가 필요할 때 다시 꺼내 볼 수 있습니다. 반면 압축기가 없는 HTML 파일은 프록시 오버헤드만 붙어 토큰이 9.9% 늘었습니다.

함께 제공되는 /caveman-compress는 매 세션 자동으로 읽히는 CLAUDE.md 같은 프로젝트 메모리 파일의 자연어 문장만 압축합니다. 공식 5종 테스트 픽스처 기준으로 6,198 토큰을 4,138 토큰(33.2% 감소)으로 줄이면서도 제목, 코드 블록, URL, 파일 경로는 원형 그대로 보존했습니다.

Q. 내가 입력하는 프롬프트도 원시인 말투로 줄여 쓰면 토큰이 더 절약되나요? 아니요. 공식 문서가 인용한 Adobe Research(CAVEWOMAN 논문)와 Caveman 가이드에 따르면 사용자 프롬프트까지 억지로 압축하면 오히려 모델 답변 품질이 떨어지고 재질문이 늘어납니다.

설치 방법과 텔레메트리 주의사항

스킬만 가볍게 쓰려면 npx skills 한 줄이면 되고, 도구 출력 압축까지 쓰려면 Node.js 22.13 이상 환경에서 @caveman-ai/cli를 설치해야 합니다. Claude Code 워크플로우 글에서 다룬 플러그인·확장 체계와 그대로 연결됩니다.

# 1) 말투 스킬만 설치 (Claude Code, Codex, Cursor, Gemini CLI 등 지원)
npx skills add JuliusBrussee/caveman -g

# 2) 로컬 프록시 포함 전체 설치 (Node.js 22.13+ 필요)
npx @caveman-ai/cli@latest

설치 전 알아둘 점이 하나 있습니다. 스킬 파일 자체는 로컬에서만 동작해 외부로 전송되는 데이터가 없지만, caveman CLI는 기본값으로 사용 통계(실행 명령어, 토큰 수, 랜덤 설치 ID, OS, IP)를 수집합니다. 프롬프트나 코드, 파일 경로는 수집하지 않는다고 명시돼 있으나 회사 보안 정책상 외부 텔레메트리를 꺼야 한다면 아래 명령으로 비활성화해야 합니다.

caveman telemetry off
# 또는 환경 변수 설정
export DO_NOT_TRACK=1

토리스의 판단

실무에 도입한다면 말투 스킬 단독 설치보다 로컬 프록시(@caveman-ai/cli)와 CLAUDE.md 압축(/caveman-compress)을 중심으로 쓰는 편이 맞습니다.

  • 쓰지 않아도 되는 경우: GitHub Copilot처럼 요청 횟수 기준으로 과금되는 도구를 쓰거나, 이미 시스템 프롬프트에 간결 응답 규칙을 잘 잡아 둔 상태라면 기본 /caveman 스킬은 체감 차이가 3% 내외로 작습니다.
  • 바로 도입할 만한 경우: Claude Code나 Codex로 테스트 로그·서버 로그·대형 JSON 응답을 자주 읽히는 1인 개발자라면, 로컬 프록시가 입력 토큰을 26~55%까지 깎아 주므로 컨텍스트 한도 관리와 API 비용 절감에 직접 도움이 됩니다.
  • 도입 직후 체크할 것: 사내 저장소나 민감한 프로젝트에서 돌릴 때는 caveman telemetry off를 먼저 실행하고, HTML 스크래핑이 많은 작업에서는 caveman off로 해당 기능을 끄는 편이 안전합니다.

출처

광고

YOUTUBE · TORIS STUDIO

토리스 영상 더 보기