- Published on
에이전트에게 일을 맡길 때 실제로 새는 비용은 어디인가
- Authors

- Name
- Indo Yoon
에이전트에게 일을 맡길 때 보는 숫자는 대개 토큰 단가예요. 그런데 며칠 굴려보면 청구서보다 성가신 건 실패한 작업을 되돌리는 시간이에요.
이 글은 제 측정값이 아니라 계산 구조예요. 아래 식에 자기 숫자를 넣으면 판단이 나옵니다.
비용은 두 항으로 갈린다
건당 기대 비용은 이렇게 생겼어요.
E = (1-p) x S + p x R
p— 실패율S— 성공 1건에 드는 시간R— 실패 1건을 되돌리고 다시 하는 시간
토큰 단가는 S와 R 안에 이미 들어 있어요. 따로 볼 이유가 없어요.
R이 S보다 큰 이유
R은 S보다 거의 항상 커요. 실패한 작업은 처음부터 다시 하는 것 말고도 할 일이 남기 때문이에요.
R의 내역은 네 덩어리예요.
- 인지 — 실패를 알아채는 시간. 자동 검증이 없으면 여기서 가장 많이 새요
- 원복 — 잘못된 변경을 되돌리는 시간
- 진단 — 무엇이 틀렸는지 찾는 시간
- 재실행 — 다시 시키는 시간
프롬프트를 다듬으면 줄는 건 p예요. R은 그대로 남아요. 그런데 R을 줄이는 조치는 p와 무관하게 모든 실패에 적용돼요.
숫자를 넣어보면
S = 4, R = 14라고 해볼게요(분 단위, 값은 자기 환경 것으로 바꾸세요).
| 실패율 p | 기대 비용 E | 사람이 직접(11분) 대비 |
|---|---|---|
| 0% | 4.0분 | 2.8배 빠름 |
| 10% | 5.0분 | 2.2배 빠름 |
| 20% | 6.0분 | 1.8배 빠름 |
| 35% | 7.5분 | 1.5배 빠름 |
| 50% | 9.0분 | 1.2배 빠름 |
| 64% | 10.4분 | 1.1배 빠름 |
| 71% | 11.1분 | 손으로 하는 것과 같음 |
손익분기점은 p = (11 - S) / (R - S) 예요. 위 값이면 71%예요. 실패율이 이보다 높으면 에이전트가 사람보다 느려요.
두 가지 개선을 비교하면
같은 실패율 35%에서 시작한다고 해볼게요.
프롬프트 개선 — 실패율을 35%에서 20%로 낮춘다고 해볼게요. E = 0.8 x 4 + 0.2 x 14 = 6.0분. 7.5분에서 6.0분이 됐어요.
원복 경로 — 실패율은 35% 그대로인데 R을 14분에서 5분으로 줄인다고 해볼게요(작업 전 커밋 + 자동 검증). E = 0.65 x 4 + 0.35 x 5 = 4.35분. 7.5분에서 4.35분이에요.
원복 경로가 더 싸게 더 많이 줄여요. 게다가 프롬프트 개선은 실패율을 20%로 낮춘다는 보장이 없는데, 원복은 한 번 세팅하면 확정이에요.
R을 줄이는 순서
효과가 큰 순서로 이래요.
- 작업 전 커밋 — 원복이 한 줄이 돼요.
R의 2번 항목이 거의 사라져요 - 자동 검증 — 1번 항목(인지)이 사라져요. 검증이 대신 알려주니까요
- 한 번에 한 종류만 변경 — 3번 항목(진단)의 후보가 줄어요
- 프롬프트 개선 — 위 셋을 한 뒤에야 남는 게 있어요
1번과 2번은 한 번만 해두면 모든 작업에 적용돼요. 프롬프트는 작업마다 다시 써야 해요.
되돌릴 수 없는 작업은 식이 다르다
위 계산은 실패해도 원상복구가 되는 작업을 전제해요. 되돌릴 수 없는 작업은 R이 유한하지 않아요.
외부 발신, 배포, 삭제가 그래요. p가 0이 아니면 기대값이 무한대가 돼요. 실패율 1%여도 마찬가지예요.
그래서 위임 여부는 이렇게 갈라요.
| 작업 | 위임 | 이유 |
|---|---|---|
| 로컬 파일 수정 | 한다 | 커밋으로 원복 |
| 테스트·빌드 실행 | 한다 | 부작용 없음 |
| 조사·수집 | 한다 | 읽기만 함 |
| 외부 발신 | 안 한다 | 원복 불가 |
| 배포 | 조건부 | 롤백 경로 있을 때만 |
| 삭제 | 안 한다 | 원복 불가 |
정리
에이전트 위임을 판단할 때 물어야 할 것은 "이 모델이 얼마나 똑똑한가" 가 아니라 "실패하면 얼마나 빨리 되돌릴 수 있는가" 예요.
실패율을 낮추는 노력은 수확 체감이 빨라요. 원복 비용을 낮추는 건 한 번 해두면 계속 남아요.
다음에 뭘 맡기기 전에 되돌릴 방법부터 정해두세요. 그게 프롬프트보다 싸요.