AI 코딩 에이전트(AI coding agent)를 도입한 소프트웨어 개발 기업에서 생성되는 코드량과 커밋 수는 크게 늘었지만, 실제 소프트웨어 산출량은 거의 변하지 않은 것으로 나타났다. 하버드 대학(Harvard University) 소속 연구진 피오나 첸(Fiona Chen)과 제임스 스트래턴(James Stratton)은 700개 이상의 소프트웨어 개발 기업에서 발생한 300만 건의 업무 이벤트 데이터를 2021년부터 2026년 3월까지 분석했다고 밝혔다.
코드 생성량은 늘었지만 해결 지표는 그대로
연구진의 분석에 따르면 AI 코딩 에이전트를 도입한 기업에서는 생성 코드량이 30% 증가했고, 커밋(commit) 수는 20%, 풀 요청(pull request)은 23% 늘어난 것으로 알려졌다. 하지만 지라(Jira) 등 업무 추적 도구에 기록된 이슈와 에픽의 해결률은 통계적으로 유의미한 변화를 보이지 않았다. 데이터는 엔지니어링 팀의 산출물을 측정하는 플랫폼인 젤리피시(Jellyfish)의 통합 데이터를 기반으로 수집됐다.
연구진은 깃허브(GitHub) 활동 기록을 분석해 각 기업이 AI 도구를 도입한 시점을 특정했다. 이 과정에서 코드 자동완성 중심으로 사람이 작성을 주도하는 AI 코딩 어시스턴트(AI coding assistant)와, 코드를 자동으로 작성하고 제출까지 수행하는 AI 코딩 에이전트를 구분해 각각의 도입 효과를 따로 측정했다.
코드 리뷰 단계가 새로운 병목으로 작용
산출량이 그대로인 이유로는 코드 리뷰 단계의 병목 현상이 지목됐다. 코드 리뷰란 작성된 코드를 다른 개발자가 검토해 오류나 품질 문제를 점검하는 절차를 말한다. AI 도입 이후 풀 요청에 대한 리뷰 필요성이 늘었고, 리뷰어의 댓글 수와 리뷰에 걸리는 시간도 함께 증가한 것으로 나타났다.
코딩 단계에서는 AI 도구 덕분에 작업 속도가 빨라졌지만, 늘어난 코드를 검증하는 리뷰 단계가 이를 상쇄하는 구조가 확인된 셈이다. 연구진은 다양한 조직과 시점에서 AI 도입 전후 주요 변수를 비교하는 이중차분법(difference of differences) 회귀분석을 적용해 이 같은 결과를 도출했다. 이중차분법은 정책이나 기술 도입 효과를 측정할 때 도입 집단과 비도입 집단의 변화 차이를 비교하는 통계 기법이다.
AI 도입 전후로 지라에 등록된 이슈의 규모나 복잡도 자체에는 별다른 변화가 없었던 것으로 나타났다. 이는 업무의 성격이 달라져서가 아니라 처리 방식의 병목이 산출량 정체의 원인이라는 점을 뒷받침한다. 연구진은 이번 분석에서 AI 코딩 도구 도입이 기업의 소프트웨어 산출량을 늘리거나 고용을 줄였다는 명백한 증거는 발견되지 않았다고 설명했다.
추가로 확인돼야 할 부분들
이번 연구는 2026년 3월까지 수집된 데이터를 기준으로 하고 있어, 이후 코드 리뷰 자동화나 AI 기반 품질 검증 도구가 확산될 경우 병목이 완화될 가능성은 별도로 검증돼야 한다. 연구진이 분석한 기업들의 구체적인 산업군이나 규모별 차이, AI 코딩 에이전트의 세부 종류에 따른 효과 차이는 공개된 내용만으로는 확인하기 어렵다.
AI 코딩 에이전트가 코드 작성 속도를 높이는 것은 분명하지만, 이번 분석 결과 코드 리뷰 단계가 전체 생산성을 좌우하는 변수로 떠올랐다. 연구진이 추가로 어떤 기업·시점 데이터를 보완할지, 리뷰 병목을 줄이기 위한 후속 연구가 나올지는 아직 공개되지 않았다.
참고 기사 Ars Technica · AI coding agents generate more code, but not more software