AI가 밤새 일하면 내 일은 줄어들까 — 클로드 듀엣과 METR 실험이 보여준 검증 비용

AI가 일을 끝낸 뒤에도 사람이 결과를 검증하는 데 드는 시간

2026년 10월 21일 앤트로픽은 클로드 듀엣(Claude Duet)의 리서치 프리뷰를 발표했다. 사용자가 자리를 비운 사이에도 일을 계속하고, 연결된 앱을 살펴보다가 처리할 일이 생기면 먼저 알려주는 AI 에이전트다. 앤트로픽은 메시지를 보내거나 결제·서명·삭제를 하기 전에는 사용자의 승인을 받도록 설계했다고 설명했다. 우선 미국의 Pro·Max 구독자를 대상으로 대기 신청을 받고 있다.¹

이런 제품이 나오면 이제 내 일도 좀 줄어들겠다는 기대를 하게 된다. 퇴근하기 전에 일을 맡겨 두고 다음 날 아침에 결과만 받아 보면 되니 말이다. 그런데 아침에 받은 결과를 처음부터 다시 확인하고 틀린 곳을 고쳐야 한다면, 밤새 일한 에이전트 덕분에 내가 시간을 아꼈다고 볼 수 있을까?

AI 에이전트 사업개발을 하면서 이 질문을 자주 하게 된다. AI가 일을 끝낸 뒤에도 사람이 그 결과를 믿고 쓰기 위해 검증하는 시간이 꽤 들어가기 때문이다. 이번 글에서는 보고서를 빨리 써 오는 신입 직원과 그 보고서를 검토하는 팀장에 빗대어 AI 생산성에 관한 연구들을 살펴보려 한다. 검토와 수정에 드는 비용이 기업의 이익과 물가, AI 투자금 회수에 어떤 영향을 주는지도 함께 생각해 보겠다.

1직원이 보고서를 빨리 제출한다고 해서 팀의 일이 줄어드는 것은 아니다

직원이 보고서를 제출해도 팀장이 검토하고 고치는 일은 남는다. 그래서 팀의 생산성을 따지려면 보고서를 고객에게 보낼 수 있을 때까지 걸린 시간 전체를 봐야 한다. 직원이 보고서를 10분 만에 써 왔더라도 팀장이 숫자와 출처를 확인하고 고치는 데 오래 걸린다면, 팀 전체로 보면 아낀 시간은 생각보다 적다.

예를 들어 팀장이 혼자 쓰고 검토하면 3시간이 걸리는 보고서가 있다고 하자. 신입 직원에게 일을 설명하는 데 20분, 직원이 보고서를 쓰는 데 10분, 팀장이 검토하고 고치는 데 30분이 걸렸다면 모두 1시간이다. 품질이 같다면 2시간을 아낀 것이다. 반대로 검토하고 고치는 데만 4시간이 걸렸다면 설명과 작성 시간까지 합쳐 4시간 30분이 든다. 혼자 할 때보다 오히려 시간을 더 쓴 셈이다. 직원과 팀장이 동시에 일한다면 일이 끝나기까지 걸린 시간과 두 사람이 실제로 일한 시간을 따로 측정해야 한다.

AI에게 일을 맡길 때도 마찬가지다. AI에게 할 일을 설명하는 시간과 결과를 검토하고 고치는 시간까지 더해야 일이 정말 줄었는지 알 수 있다. 여기에 AI 사용료와 시스템을 연동하는 비용이 들고, 나중에 오류가 발견되면 이를 수습하는 비용도 생긴다. 품질을 확인하기 전까지는 일이 빨리 끝났다고 해서 제대로 끝났다고 볼 수 없다.

2일이 빨라졌다고 느껴도 실제로 재 보면 더 오래 걸릴 수 있다

일에 익숙한 사람도 AI 덕분에 시간이 얼마나 줄었는지 제대로 가늠하지 못할 때가 있다. AI 평가기관 METR이 2025년 7월 공개한 실험에서 이런 일이 나타났다. 실험에는 숙련된 오픈소스 개발자 16명이 참여했다. 연구진은 개발자들이 평소 맡아 온 프로젝트에서 처리해야 할 작업 246건을 모은 뒤, 작업마다 AI를 쓸 수 있게 할지 말지를 무작위로 정했다. 당시 개발자들이 주로 쓴 도구는 Cursor와 Claude 3.5·3.7 Sonnet이었다.²

그 결과 AI를 쓸 수 있었던 작업은 끝내는 데 시간이 19% 더 걸렸다. 그런데 참가자들은 실험이 끝난 뒤에도 AI 덕분에 시간이 20%쯤 줄었다고 생각했다. 보고서로 치면 초안을 빨리 받아서 일이 편해졌다고 느꼈지만, 실제로는 전체 업무 시간이 늘어난 것이다. 19%는 프롬프트를 쓰고 AI의 답을 기다리고 결과를 검토해 고치는 시간까지 모두 포함해서 전체 작업 시간을 비교한 결과다.

METR이 2026년 2월 공개한 후속 자료에서는 반대로 작업 시간이 줄었다는 추정치가 나왔다. 첫 실험에 다시 참여한 개발자들을 보면 AI를 쓴 작업에서 시간이 약 18% 줄어든 것으로 추정됐다. 그러나 오차 범위(신뢰구간)는 38% 단축부터 9% 증가까지로 넓었다.³

연구진도 이 추정치를 그대로 믿기는 어렵다고 밝혔다. AI 없이는 일하기 싫다며 실험에서 빠진 개발자가 늘었고, AI 없이 하기 싫은 작업은 아예 실험 대상으로 내지 않는 경우도 적지 않았기 때문이다. 연구진은 이렇게 빠진 개발자와 작업까지 고려하면 효과가 더 클 수 있다고 봤다. 에이전트를 여러 개 동시에 돌리는 개발자는 작업마다 걸린 시간을 측정하기도 어려웠다.

3그럴듯해 보이는 보고서도 내용은 틀릴 수 있다

자동 검사를 통과한 결과물도 실무에 그대로 쓰지 못할 때가 많다. 보고서로 치면 표와 출처는 빠짐없이 갖췄는데 계산 기준이 틀렸거나 결론이 자료와 맞지 않는 경우다.

METR은 2026년 3월 공개한 연구 노트에서 오픈소스 프로젝트를 관리하는 개발자 4명에게 AI가 만든 코드 수정안 296건을 검토하게 했다. 사람이 작성해 이미 채택됐던 수정안도 재심사에서는 거절되는 경우가 있다는 점을 반영해 보정했는데도 자동 테스트를 통과한 AI 수정안의 약 절반은 그대로 받아들이기 어렵다는 결론이 나왔다. 프로젝트의 코드 작성 규칙을 어긴 경우도 있었고 원래 문제를 제대로 해결하지 못했거나 다른 기능을 망가뜨린 경우도 있었다. 테스트는 통과했지만 관리자들은 더 고쳐야 한다고 판단했다. 이 실험에서는 AI가 관리자의 의견을 듣고 다시 고칠 기회가 없었다.⁴

전문가가 AI와 함께 일한 실험에서도 비슷한 결과가 나왔다. BCG 컨설턴트 758명이 참여한 실험에서 GPT-4가 잘하는 종류의 과제를 맡은 사람들은 AI를 쓰자 평균 25.1% 더 빨리 일을 끝냈고 결과물의 품질도 좋아졌다. 반면 AI가 어려워하는 경영 판단 과제에서는 AI를 쓰지 않은 집단의 정답률이 84.5%였는데, AI를 쓴 두 집단은 60%와 70.6%에 그쳤다. AI를 쓴 두 집단을 합쳐 보면 정답률이 평균 19%포인트쯤 낮았다.⁵

그런데 정답 여부와 별개로 평가자들이 논리의 일관성과 설득력을 매긴 점수는 AI를 쓴 집단이 더 높았다. 틀린 답만 골라 비교해도 마찬가지였다. AI를 쓴 사람들은 틀린 답도 더 그럴듯하게 써냈다.

업무를 잘 아는 팀장도 이렇게 그럴듯하게 쓴 보고서에는 넘어갈 수 있다. 그래서 AI에게 맡길 일과 맡기지 않을 일을 가리고, 결과가 틀렸을 때 알아챌 수 있는 확인 방법도 미리 마련해 둬야 한다.

4직원이 끝내지 못한 일을 끝냈다고 보고하면 팀장은 확인할 기회를 놓친다

일을 제대로 했는지와 보고가 정확한지는 따로 확인해야 한다. 직원이 일을 다 끝내지 못했더라도 어디까지 했고 무엇이 남았는지 알려주면 팀장이 이어서 처리할 수 있다. 문제는 직원이 확인하지 않은 숫자를 확인했다고 보고할 때다. 그러면 팀장은 그 숫자를 다시 살펴보지 않고 넘어가게 된다.

오픈AI는 2026년 3월 사내에서 쓰는 코딩 에이전트를 어떻게 모니터링하는지 공개했다. 오픈AI에 따르면 에이전트가 자신이 쓴 도구나 실행 결과를 사실과 다르게 보고하거나 끝내지 않은 작업을 끝냈다고 말한 사례가 있었다. 추론 과정에서는 확신하지 못했으면서 최종 답변에서는 확실한 것처럼 말한 경우도 따로 분류했다.⁶

그래서 에이전트를 쓰는 사람은 “끝냈다”는 보고가 실제 결과와 맞는지부터 확인해야 한다. 보고서라면 원자료가 있어야 하고, 메일이라면 발송 기록이 있어야 한다. 프로그램을 고쳤다면 어떤 테스트를 돌렸고 무엇이 통과하거나 실패했는지 기록이 남아 있어야 한다.

승인 버튼을 누르는 것으로 결과 검증을 대신할 수는 없다. 팀장이 내용을 꼼꼼히 보지 않고 결재했다면 결재를 거쳤다고 해서 보고서 내용이 정확해지지는 않는다. 에이전트가 보여주는 설명을 읽고 실행을 허락하는 일과 그 설명이 실제 작업 기록과 맞는지 따져 보는 일은 별개다.

5AI의 결과를 검토하려면 사람의 실력도 계속 길러야 한다

결과물을 많이 만든다고 해서 그 일을 더 잘 알게 되지는 않는다. 남이 대신 써 준 보고서만 내는 직원은 제출 건수는 늘어도 숫자가 이상할 때 어디를 고쳐야 할지 모르기 쉽다.

앤트로픽이 2026년 1월 공개한 연구에서는 주니어 개발자가 대부분인 소프트웨어 엔지니어 52명이 처음 써 보는 Python 라이브러리로 과제를 풀었다. 과제를 마치자마자 본 이해도 시험에서 AI를 쓴 집단은 평균 50점, 직접 코딩한 집단은 67점을 받아 17점 차이가 났다. 오류를 찾아 원인을 설명하는 디버깅 문항에서 차이가 가장 컸다. AI를 쓴 집단이 과제를 평균 2분쯤 빨리 끝내긴 했지만 통계적으로 의미 있는 차이는 아니었다. 시험은 한 번만 봤기 때문에 장기적인 실력 변화는 이 연구로 알 수 없다.⁷

AI가 만든 결과를 검토하려면 검토하는 사람이 먼저 그 일을 잘 알아야 한다. 같은 연구에서도 AI가 짜 준 코드를 그대로 받아 쓰지 않고 설명을 물어보며 이해하려고 한 사람들은 성적이 비교적 좋았다.

반대로 AI가 초보자에게 큰 도움이 된 현장도 있다. 2025년 경제학 학술지에 실린 한 연구는 고객상담 직원 5,172명의 업무 데이터를 분석했다. AI 답변 지원 도구를 도입한 뒤 시간당 해결한 문의가 평균 15% 늘었고, 경력이 짧고 숙련도가 낮은 직원일수록 처리 속도와 응대 품질이 함께 좋아졌다. 이 현장에서는 직원이 AI가 제안한 답변을 고쳐 쓰거나 쓰지 않을 수 있었다.⁸

두 연구는 업무도 조건도 서로 다르다. 그래서 결과를 비교할 때는 사람의 숙련도와 함께 AI를 업무에 어떤 방식으로 도입했는지도 살펴봐야 한다.

6AI를 도입했다면 팀 전체가 실제로 덜 일했는지부터 재 봐야 한다

같은 품질을 내는 데 드는 시간과 비용이 줄고 오류가 났을 때의 위험도 감당할 만한 수준으로 관리할 수 있다면, AI를 도입할 이유는 충분하다. 사람도 실수를 하니 비교할 대상은 실수하지 않는 AI가 아니라 지금 팀이 일하는 방식이다.

팀장이 보고서를 혼자 쓸 때와 AI에게 맡길 때를 비교하려면 어디까지 해야 일이 끝난 것으로 볼지부터 정해야 한다. 제출만 하면 되는 초안인지, 외부 고객에게 보낼 최종본인지에 따라 기준이 달라진다. 그다음 지시하고 검토하고 고치는 데 쓴 시간과 사용료를 측정하고, 나중에 발견된 오류까지 포함해 일정 기간 비교해 본다. 이때 아래 네 가지를 함께 보면 좋겠다.

AI가 일하는 동안 사람은 다른 일을 할 수 있으므로 이 점도 계산에 넣어야 한다. AI를 기다린 시간을 모두 사람이 일한 시간으로 더하면 AI의 효과를 실제보다 작게 보게 된다. 반대로 아무도 결과를 들여다보지 않았다고 검토 비용을 0으로 잡으면 아직 찾지 못한 오류를 비용 절감으로 착각하게 된다.

7팀의 비용이 줄어도 물가와 주가는 따로 따져 봐야 한다

한 회사가 AI로 업무 비용을 줄인 뒤 물가가 안정되고 투자자가 돈을 벌기까지는 몇 단계를 더 거쳐야 한다. 보고서를 싸게 만드는 회사가 하나 생겼다고 해서 모든 회사의 비용이 함께 줄어들지는 않는다. 보고서 가격이 곧바로 내려가지도 않는다.

여러 산업에서 생산성이 높아져 비용이 덜 오르고, 기업들이 그만큼 가격을 내리거나 덜 올리면 물가 오름세가 누그러질 수 있다. 그런데 AI 사용이 늘어나면 이를 뒷받침할 데이터센터와 전력 설비 투자도 필요해진다. 이 과정에서 장비와 전력 수요가 늘고 건설 인력도 더 필요해진다. 경제 전체로 보면 물건과 서비스를 더 만들어 낼 능력(공급 능력)이 커지기도 전에 투자에 쓰는 돈과 그에 따른 수요가 먼저 늘어날 수 있다.

리사 쿡 연준 이사도 2026년 9월 28일 연설에서 이 시차를 짚었다. 쿡 이사는 AI 관련 투자 수요가 지금 물가를 끌어올리고 있다고 봤다. 생산성이 높아져 물가 오름세가 누그러지는 효과는 공급 능력이 수요보다 빨리 늘어날 때 나타나고, 그 크기는 AI가 얼마나 빨리 확산되는지와 기업들이 비용 절감분을 가격에 얼마나 반영하는지에 따라 달라진다고 설명했다. 또 이 효과는 앞으로 몇 년 동안 물가 상승률을 조금 낮추는 정도에 그치고, 올해 안에 커질 물가 압력을 상쇄할 만큼 빨리 나타나지는 않을 것으로 내다봤다.⁹

투자자가 수익을 내는 데에도 따로 조건이 붙는다. 고객사가 AI로 비용을 아껴도 AI 서비스 회사끼리 가격 경쟁을 벌이면 이 회사들이 남기는 이익은 적을 수 있다. 이익을 내더라도 주가가 이미 그보다 큰 성장을 기대하고 올라 있다면 투자자는 생각만큼 벌지 못한다. 그래서 기술이 쓸모 있는지, 그 기술로 회사가 돈을 버는지, 그 회사 주식을 얼마에 사는지를 하나씩 따져 봐야 한다.

8자주 묻는 질문

결론 — 직원이 낸 보고서보다 고객에게 보낸 보고서를 세어야 한다

보고서를 빨리 써 오는 직원이 들어오면 팀장은 자기 일이 줄어들 거라고 기대한다. 하지만 팀장의 일이 정말 줄었는지는 그 보고서를 검토하고 고쳐서 고객에게 보낼 때까지 걸린 시간을 측정해 봐야 알 수 있다.

앞선 「AI 데이터센터는 얼마를 벌어야 본전일까」에서는 AI 데이터센터에 들어간 투자금을 되찾으려면 얼마를 벌어야 하는지, 「AI 기업은 미래 매출이 현금이 될 때까지 빚을 감당할 수 있을까」에서는 그 돈이 들어오기 전까지 AI 기업들이 빚 부담을 감당할 수 있는지를 살펴봤다. 이번 글은 AI 서비스를 사서 쓰는 고객 쪽에서 출발했다. 검토와 수정에 드는 시간까지 포함해도 비용이 줄거나 결과가 더 좋아져야 고객이 AI 사용료를 계속 낼 이유가 생기기 때문이다.

나는 AI가 생산성을 높일 수 있다고 본다. 하지만 그 효과가 물가를 안정시킬 만큼 널리 퍼질지, AI 기업들이 지금의 투자 규모와 주가에 걸맞은 이익을 낼지는 따로 따져 봐야 할 문제다.

앞으로 지켜보려는 것은 세 가지다. 같은 품질을 내는 데 든 시간과 비용이 실제로 줄었는지, 그 효과가 시범 도입 단계를 지나서도 이어지는지, 고객이 아낀 비용이 AI 기업의 현금흐름과 소비자 가격에 어떻게 반영되는지다. AI가 일을 끝냈다는 소식을 들으면 그 결과를 받아 쓴 사람이 정말 시간을 아꼈는지, 같은 시간에 더 나은 결과를 얻었는지부터 물어볼 생각이다.

참고 자료

1. Anthropic, Claude Duet 소개 (2026.10.21) · Claude 고객지원, Get started with Claude Duet
2. METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (2025.07.10) — 무작위대조실험·사전공개 논문
3. METR, We are Changing our Developer Productivity Experiment Design (2026.02.24) — 후속 연구의 측정·표본 선택 문제
4. METR, Many SWE-bench-Passing PRs Would Not Be Merged into Main (2026.03.10) — 연구 노트
5. Dell’Acqua 외, Navigating the Jagged Technological Frontier, Organization Science (2026년 3·4월호; 최초 공개 2023년)
6. OpenAI, How we monitor internal coding agents for misalignment (2026.03.19) — 개발사 자체 관측
7. Shen·Tamkin, How AI Impacts Skill Formation (2026.01) — 기업 연구·사전공개 논문
8. Brynjolfsson·Li·Raymond, Generative AI at Work, Quarterly Journal of Economics (2025.02.04 온라인 게재)
9. Lisa D. Cook, An Update on AI and the Economy (2026.09.28) — 연준 이사 개인 견해

작성일: 2026.10.29  ·  Davar  ·  글로벌 시장 분석 & 투자 전략 🌍
※ 본 글은 2026년 10월 29일까지 공개된 자료를 바탕으로 AI 업무 생산성과 검증 비용을 살펴본 분석이며, 투자 권유가 아닙니다.