AI시대: 똑똑한 AI, 왜 안 쓸까 — AI 일하는 방식의 문제

얼마 전, 국내 대기업에서 AI Transformation을 진행중인 한 담당자로부터 흥미로운 고민을 들었습니다. 개발팀의 요청을 받아 고성능 AI Coding 도구 사용권을 계약하고 지급했는데, 정작 사용률이 늘지 않는다는 것입니다. 개발자들이 원해서 도입한 도구인데, 왜 쓰지 않는 걸까요.

MIT NANDA 이니셔티브가 발표한 보고서에 따르면, 기업들이 생성형 AI에 300~400억 달러를 투자했는데, 파일럿의 95%가 측정 가능한 수익 영향을 만들지 못했다는 내용입니다. 52개 조직 인터뷰, 153명 시니어 리더 설문, 300개 이상의 공개 사례 분석의 결과입니다. 여기서 주목할 지점은 실패 원인이 모델 품질이 아니라는 것입니다. 해당 보고서가 지목한 원인은 “학습 격차(learning gap)”, 즉 도구와 조직이 서로 적응하지 못한다는 뜻입니다. 한 제조업 COO의 말이 인상적입니다. “링크드인의 과장된 얘기와 달리, 우리 현장에서 본질적으로 바뀐 건 아무것도 없습니다.”

똑똑한 AI를 줬는데 왜 안 쓸까? 왜 효과가 안 날까? 문제는 AI가 아니라 일하는 방식의 구조입니다.

사실 이 질문은 제가 이전 글에서도 다뤘던 주제입니다.

최근 생성형 AI의 발전으로, 많은 기업과 조직에서 AI 도구를 도입하거나, AI Transformation(AX)을 추진하고 있습니다. AI를 도입할 때 기대하는 바는 비교적 명확합니다. 반복 작업은 AI가 처리하고, 사람은 더 창의적인 일에 집중하는 것. 결과적으로 업무 효율이 높아지는 것을 기대하죠. … 더 읽기

AI시대: 성공적인 AI Transformation을 위한 질문

이 그림을 보신 적 있으신가요. 요구사항 수집의 어려움을 묘사한 아주 유명한 그림이죠. 이 그림은 나무에 그네를 매다는 프로젝트를 표현하고 있습니다. 고객이 설명한 요건, 프로젝트 리더의 이해, 애널리스트의 디자인, 프로그래머의 코드가 전부 다릅니다. 실제 운용은 또 다르고, 청구 금액은 롤러코스터입니다. … 더 읽기

AI시대: 더 좋은 도구를 줬는데, 왜 결과는 그대로일까

얼마 전, 크래프톤이 주관한 AI R&D 해커톤이 열렸습니다. 전공이나 나이, 학력과 무관하게 개최된 개인전이었습니다. AI 사용이 허용된, 말 그대로 AI 실전 능력을 겨루는 대회였습니다. 그리고, 이 대회의 2등 수상자가 화제가 되었습니다. 마이스터고 기계과 졸업 후 반도체 회사 재직 중인 박찬준님 인데요. … 더 읽기

AI시대: AI-native 교육이란 무엇일까?

오늘은 일하는 방식과 관련하여 한 단계 더 들어가, 팀 단위에서 일감을 어떤 크기로 나누고, 어떤 주기로 협업할 것인가를 보려 합니다. 이 질문이 팀 단위 AI 도입의 실질적 성패를 가릅니다.

일하는 방식의 변화

장인의 시대(Age of the Craftsman)

산업화 이전, 일은 대개 한 사람이 처음부터 끝까지 책임지는 구조였습니다.
구두장이는 가죽을 고르는 것부터 마무리 바느질까지 혼자 했습니다. 목수는 설계도, 재료 선택, 조립, 마감을 한 사람이 맡았습니다.

여기서 핵심은, 컨텍스트 전체가 한 사람 안에 있다는 것입니다. 따라서, 질문할 대상도, 판단할 주체도, 결과에 책임질 주체도 모두 같은 사람이었습니다. 비효율은 있었지만, 구조는 단순했습니다.

산업화, 그리고 잘게 쪼개진 일감

산업혁명이 이 구조를 바꿨습니다.

테일러의 과학적 관리법은 일을 잘게 쪼개서, 각 단계를 최적화하는 방식이었습니다.

“모든 작업자의 일은 관리자에 의해 최소 하루 전에 완전히 계획되며, 각 작업자는 대부분의 경우 자신이 수행할 과업의 상세한 지침을 서면으로 받는다.”

— 프레드릭 테일러, 『과학적 관리법』 (1911)

포드의 컨베이어 벨트는 이를 극단까지 밀어붙였습니다. 한 사람은 한 동작만 합니다. 볼트 조이는 사람, 부품 끼우는 사람, 검수하는 사람이 따로입니다.

생산성은 폭발적으로 늘었습니다. 여기서 핵심은 컨텍스트가 한 단계 위로 올라갔다는 것입니다. 다시 말해, 전체 그림을 아는 건 관리자뿐이고, 현장 작업자는 자기 앞의 부품 한 조각만 봅니다.

이 구조가 지난 100년간의 일하는 방식의 원형입니다.

정보화 시대의 마이크로 매니지먼트

현재의 소프트웨어 개발도 비슷한 궤적을 밟았습니다.

팀은 더 작아졌고, 반복 주기(Iteration)는 더 짧아졌고, 일감은 더 잘게 쪼개졌습니다. PM(Project Manager)이 매일 티켓을 발행하고, DM(Daily Meeting)에서 진행상황을 체크하고, 우선순위를 조율합니다. 작업은 작고 명확하게, 주기는 빠르게. 이것이 지난 20년간의 소프트웨어 개발 방식의 표준이 되었습니다.

이 방식은 무척 효율적이었습니다. 일을 잘 나누고, 관리하고, 통합하는 PM은 아주 중요한 핵심 인력이 되었습니다.

문제는 이 구조에 AI를 얹을 때 발생합니다.

개발자는 이미 잘게 쪼개진, PM이 정의한 작은 티켓을 받습니다. AI에게 맡길 만한 문제 덩어리 자체가 없습니다. 티켓 하나는 AI가 개입하기엔 너무 좁습니다. AI를 제대로 쓰기도 전에 일이 끝나버립니다. 또, 전체 컨텍스트는 PM만이 알고 있기 때문에, 자발적으로 다른 일감을 진행할 수도 없습니다.

이미 잘 돌아가는 컨베이어 벨트에 휴머노이드 로봇이 들어가봐야 단순 반복 작업만 하게 되는 것과 같은 상황입니다.

다시, 큰 일감으로 돌아가야 한다

AI 활용과 관련된 연구 결과들을 보면, 한 방향을 가리키고 있습니다.

METR 연구는 숙련 개발자 16명을 대상으로 한 무작위 대조 실험에서, AI를 쓴 경우 오히려 19% 느려졌다는 결과를 내놓았습니다. 반면 MIT·마이크로소프트 등 기관이 참여한 공동 연구에서는 4,867명의 실무 개발자를 분석한 결과, 주니어와 신규 입사자는 큰 생산성 향상을 보였습니다. 핵심 차이는 컨텍스트의 양이었습니다. 맥락이 부족한 상태에서 스캐폴딩·보일러플레이트 생성에 AI를 쓴 경우는 확실한 이득이 있었고, 이미 깊은 맥락을 가진 시니어가 좁은 과업에 AI를 쓴 경우는 이득이 작거나 마이너스였습니다.

맥킨지는 한 발 더 나아갑니다. “에이전틱 AI 시대의 조직은, 기능별 사일로를 교차 기능 자율 팀으로 대체해야 한다” 며, 2~5명의 인간 팀이 50~100개의 전문 에이전트를 감독하는 구조를 전망합니다. 핵심은 작은 팀이 End-to-End 결과물을 책임지는 구조입니다.

즉, AI가 잘 쓰이려면 두 가지가 필요합니다.

① 사람이 충분히 큰 문제를 가지고 있을 것
② 문제에 대한 컨텍스트를 사람이 직접 쥐고 있을 것

장인의 시대와 비슷하지 않습니까?
한 사람이 전체 그림을 보고, 반복·조율·검증은 도구가 맡는 구조입니다. 다만 그 도구가 이제 AI입니다.

일하는 방식, 무엇이 바뀌어야 하나

구체적으로 정리하면 이렇습니다.

① 일감의 단위를 키운다
티켓 단위가 아니라, 기능 단위 또는 큰 요구사항 단위로 위임합니다. 구성원 한 명 한 명을 “실행자”가 아닌 하나의 미니 팀으로 보아야 하고, 기획, 구현, 검증, 배포까지 오너십을 갖습니다.

② 컨텍스트를 아래로 내린다
PM이 컨텍스트를 독점하지 않아야 합니다. 문제 정의, 고객 데이터, 비즈니스 목표를 구성원이 직접 다룰 수 있어야 합니다. 컨텍스트가 있어야 AI에게 제대로 된 프롬프트를 줄 수 있습니다.

③ 싱크업 주기를 늘린다
매일 매일 진행하는 싱크업 미팅은 일감이 잘게 쪼개져 있을 때의 해법이었습니다. 큰 단위 문제를 다루는 구조에서는 주 1~2회의 깊은 싱크업이 더 맞습니다. 매일 체크하면 AI에게 시킬 만한 일이 생기기 전에 일이 끝나버립니다.

④ 기술적 반복·검증은 에이전트에 맡긴다
코드 리뷰의 1차 점검, 테스트 작성, 리팩토링, 문서화, 의존성 관리 등 반복 작업은 에이전트가 담당합니다. 사람은 설계와 판단에 집중합니다.

⑤ 신뢰와 재량을 함께 준다
딜로이트의 연구 결과에 따르면, AI로 큰 성과를 본 팀은 신뢰도가 높은 팀이었습니다. 구체적으로 신뢰도 높은 팀의 83%가 AI 활용자였던 반면, 그렇지 않은 팀은 63%에 그쳤습니다. 잘게 쪼개서 감시하는 구조로는 AI 활용도 올라가지 않습니다.

맺음말

지난 100년간, 우리는 일을 잘게 쪼개는 데 최적화된 조직을 만들어 왔습니다. 해결해야 하는 문제가 더 커지고 복잡해질수록 더욱더 잘게 쪼개서 일하는 방식이 효율적이었습니다. 개개인의 능력이 병목이었기 때문이죠. 한 사람이 처리할 수 있는 단위로 일을 나눈 것입니다.

하지만 이제 AI 시대가 되었습니다.
AI Agent를 이용해 반복/조율/검증과 같은 업무들을 자동화할 수 있는 시대에, 이제 사람의 병목은 “얼마나 빨리 실행하느냐”가 아니라 “얼마나 큰 문제를 혼자 들 수 있느냐” 로 옮겨갑니다.

부서 간 사일로도, 팀 내부의 잘게 쪼갠 일감도, 결국 같은 뿌리입니다.
사람을 병목으로 전제한 구조, 그 전제가 바뀌면, 구조도 바뀌어야 합니다.

다시 장인의 시대입니다. 다만 그 장인의 손에는 이제 AI라는 강력한 도구가 있습니다.

똑똑한 AI를 줬는데 안 쓴다면, 문제는 AI가 아니라 일감의 크기일지 모릅니다.

ChulJoo Kim (김철주).

※ 참고문헌

Aditya Challapally 외, 「The GenAI Divide: State of AI in Business 2025」, MIT NANDA, 2025.
Joel Becker 외, 「Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity」, METR, 2025.
Kevin Zheyuan Cui 외, 「The Effects of Generative AI on High-Skilled Work: Evidence from Three Field Experiments with Software Developers」, Management Science, 2026.
Alexander Sukharevsky 외, 「The Agentic Organization: Contours of the Next Paradigm for the AI Era」, McKinsey & Company, 2025.
Christina Brodzik, Brad Kreit, Monika Mahto, 「Team Structure and AI Outcomes」, Deloitte Insights, 2026. l

AI시대: 똑똑한 AI, 왜 안 쓸까 — 일하는 방식의 문제

목 차