빨라졌다는 착각 — AI 코딩 생산성을 우리는 측정하지 못한다

들어가며

나는 AI 없이 개발하던 시절로 못 돌아간다. 프로젝트 열몇 개를 혼자 굴리고, Claude Code를 실행 레이어로 쓰는 지금은 "빨라졌다"는 감각이 확실하다.

그런데 글을 하나 읽고 그 감각이 흔들렸다. 나는 정말 빨라진 걸 측정한 적이 있나, 아니면 그냥 빨라졌다고 느낀 것뿐인가.

2025–2026년에 나온 데이터를 뒤져보니 답이 불편하다. 체감과 실측이 갈라진다. 그리고 자율주행 데이터로 커리어를 옮기는 나로선 이게 남 얘기가 아니다 — 데이터 엔지니어의 일이 정확히 "믿을 수 있는 측정을 설계하는 것"이기 때문이다. 이 글은 AI를 쓰지 말자는 글이 아니다. 왜 우리가 AI 생산성 숫자를 믿으면 안 되는지에 대한 글이다.

1. 체감과 실측이 갈라진다

가장 아픈 증거는 METR의 통제실험(RCT)이다. 성숙한 오픈소스 리포에서 숙련 개발자에게 실제 이슈를 시키되 AI 사용을 허용/금지로 나눴다.

결과: AI를 허용하니 완료 시간이 19% 늘었다. 느려진 것이다.

더 소름끼치는 건 지각과의 괴리다.

실험 전 개발자들은 AI가 24% 빠르게 해줄 거라 예측했고,
실제로는 19% 느려졌으며,
그걸 겪고 난 뒤에도 여전히 "20% 빨라졌다" 고 자기보고했다.

직접 느려지는 걸 겪고도 빨라졌다고 믿는다. 이게 인간이다. 나도 예외라고 장담 못 한다.

거대 서베이도 톤이 비슷하다. 2025 Stack Overflow 설문에서 AI 채택은 80%를 넘었지만, "AI가 생산성에 긍정적이었다"에 동의한 건 52%뿐이고, AI 정확도에 대한 신뢰는 1년 새 40%에서 29%로 떨어졌다.

체감은 데이터가 아니다. 자기보고된 생산성은 측정이 아니라 기분이다.

2. 병목은 "생성"이 아니라 "검증"으로 옮겨갔다

왜 빨라진 느낌인데 실제론 안 빨라질까. 시간이 어디로 새는지를 보면 답이 나온다.

Stack Overflow: 개발자의 최대 좌절 요인은 "거의 맞지만 아닌(almost-right)" 코드를 다루는 것(66%)이고, 45%는 AI 코드 디버깅이 더 오래 걸린다고 했다.
Sonar 설문: 96%가 AI 코드의 정확성을 완전히 신뢰하지 않고, 38%는 AI 코드 리뷰가 사람 코드 리뷰보다 더 힘들다고 답했다(덜 힘들다는 27%). 61%는 "맞아 보이는데 신뢰할 수 없는" 코드를 자주 겪는다고 했다.

패턴이 보인다. AI는 코드를 생성하는 시간은 줄였지만, 그 코드가 맞는지 검증하는 시간을 늘렸다. 앞에서 번 시간을 뒤에서 리뷰·디버깅으로 토해낸다.

예전에 Claude Code 글에서 나는 "AI 맡김 ≠ AI 방임", 그리고 "롤백 비용이 낮으면 맡기고, 높으면 확인" 이라고 썼다. Charlie를 운영할 때 매매 파라미터는 감으로 못 바꾸게 시뮬 게이트를 박았고, 실제로 변경 9건 중 7건이 백테스트에서 기각됐다. 이 데이터는 그 원칙을 산업 전체 규모의 숫자로 증명한다 — 모두가 지금 검증세(verification tax) 를 내고 있다.

생성은 공짜가 됐고, 신뢰는 여전히 비싸다. AI 시대의 진짜 병목은 만드는 게 아니라 믿는 것이다.

3. 심지어 벤치마크도 못 믿는다

여기부터가 데이터 하는 사람으로서 가장 불편한 대목이다. "그래도 모델 벤치마크 점수는 매년 오르잖아"라고 반박할 수 있다. 문제는 그 점수 자체를 믿기 어렵다는 것이다.

SWE-bench(실제 GitHub 이슈를 푸는 코딩 벤치마크)를 뜯어본 연구들이 이렇게 말한다.

LLM이 리포지토리 접근 없이 "이슈 설명만으로" 버그 파일 경로를 76% 맞힌다. 리포를 미리 안 봤다면 불가능한 정확도다. 벤치마크 밖 리포에선 이 값이 53%로 급락한다 — 암기의 냄새다.
오염되지 않은 데이터셋과 비교하면 SWE-bench-Verified 점수가 2~6배 부풀려져 있다.
신선한(비오염) 태스크로 다시 재면 점수가 반토막 난다. 한 모델은 39.7%에서 21.3%로 떨어졌다.

데이터 엔지니어라면 이 냄새를 안다. train/test 누수(leakage) 다. 테스트셋이 학습 데이터에 섞이면, 모델은 "일반화"가 아니라 "암기"를 하고, 리더보드는 실력이 아니라 오염을 보상한다.

오염된 벤치마크로 잰 진보는 진보가 아니라 암기다. 측정 도구가 고장 나면, 올라가는 숫자는 위안일 뿐이다.

4. 비용은 조용히 폭증한다

느껴지지 않는 축이 하나 더 있다. 에이전트가 똑똑해지는 방식(test-time compute, 더 많은 추론)은 공짜가 아니다.

에이전트 시스템은 CoT 대비 LLM 호출을 평균 9.2배 한다.
에이전트식 test-time scaling은 쿼리당 GPU 에너지를 62~136배 쓴다.
추론(reasoning) 모델은 평균 4.4배(극단적으론 46배) 더 많은 토큰을 뱉는다.

체감 생산성은 안 오르는데 청구서와 지연(latency)은 오른다. 이것도 "안 재면 안 보이는" 종류의 비용이다.

데이터 엔지니어의 시선

세 가지 위기 — 자기보고의 과대평가, 벤치마크 오염, 숨은 비용 — 는 사실 하나의 문제다. 우리는 AI가 얼마나 도움이 되는지를 신뢰성 있게 측정하지 못한다.

그리고 이건 정확히 데이터 엔지니어의 일이다.

격리: train과 test를 섞지 않는다(벤치마크 오염 = 이 원칙의 붕괴).
재현성: 같은 조건에서 같은 숫자가 나오는가.
관측 가능한 메트릭: 기분이 아니라 계측된 지표로 판단하는가.

자율주행에서 3D 데이터 표현을 고를 때도 결국 "무엇을 어떻게 잴 것인가"가 모든 걸 정했다. AI 생산성도 다르지 않다. AI가 "만들기"를 값싸게 만들수록, 값이 오르는 건 "제대로 재는 사람"이다. 코드를 짜는 능력은 흔해지고, 무엇이 좋아졌는지 증명하는 능력은 귀해진다.

마치며

다시 말하지만 이건 러다이트 선언이 아니다. 나부터 AI 없으면 안 된다. 요지는 하나다 — 체감 말고 측정을 믿어라.

롤백 비용이 낮은 곳(보일러플레이트·CRUD·리팩토링)엔 맡겨라.
검증 비용이 높은 곳(내가 그 정확성을 못 재는 곳)엔 맡기지 마라.
그리고 "빨라졌다"는 느낌이 들면, 그걸 잴 방법이 있는지부터 물어라.

METR 실험의 개발자들은 느려진 걸 겪고도 빨라졌다고 믿었다. 나도 그 사람이 될 수 있다. 유일한 방어는 감이 아니라 계측이다.

AI는 나를 빠르게 만들지 않았다. 다르게 만들었다 — 생성에서 검증으로. 그 이동을 측정하지 못하면, 우리는 그냥 기분 좋게 느려지는 중이다.

출처

이 글의 수치는 다음 1차 자료에서 가져왔다.

METR, 개발자 AI 생산성 RCT (2025) 및 Task-Completion Time Horizons
Stack Overflow Developer Survey 2025
Sonar, State of Code (개발자 설문, n=1,149)
SWE-bench 오염 분석 논문들 (arXiv, 2025–2026) · SWE-rebench
GitClear, AI Code Maintainability Gap · GitHub Octoverse 2025
에이전트 추론 비용 관련 arXiv 논문 (2025)

(수치의 상당수는 자기보고 설문이라 지각이 섞여 있고, 실측 RCT는 표본·선택편향 한계가 있다. 그 한계까지가 이 글의 논지다 — 우리는 아직 이걸 깨끗하게 측정하지 못한다.)

후기(2026-08-08). 남의 데이터로만 쓴 글이 찜찜해서 내 것도 재봤다. 세션 로그 33개와 커밋 115건을 직접 계측했는데 첫 결과 네 개가 전부 틀렸다 — 그래서 재봤다에 그 과정을 남겼다.