지난 1편에서 AI 시장의 거품 논란과 인프라 구축 트렌드를 살펴보았습니다. 그렇다면 구축된 인프라 위에서 조직은 실제로 어떻게 움직여야 할까요? MIT Sloan Management Review에서 제시하는 나머지 세 가지 트렌드는 ‘활용’과 ‘사람’에 초점을 맞추고 있습니다.
———————————————————————————————————————–
트렌드 3 : 생성형 AI는 개인차원에서 조직차원의 자원으로 자리매김할 것이다.
여러분은 기억할 것이다. 작년 초, 여러분이 열심히 그린 지브리풍의 그림들 때문에 샘 알트만이 “GPU가 녹아내린다”고 했던 트윗을. 2025년 대부분의 생성형 AI 활용은 ‘있으면 좋지만 없어도 그만’인 수준에 머물렀다. 저자들도 지적하듯이, 대부분의 기업들이 직원들에게 제공한 AI 도구들은 개인차원의 이메일, 문서 등의 사용에 사용되는 경우가 많았고 문제는 이런 활용이 가져오는 생산성 향상이 미미하고, 무엇보다 측정조차 어렵다는 점이다. 게다가 우리는 직원들이 절약한 시간을 어디에 쓰는지도 아무도 모른다!!
저자들은 2025년이 생성형 AI가 기대만큼 가치를 창출하지 못한다는 현실을 깨달은 해였다면, 2026년은 이 문제를 본격적으로 해결하는 해가 될 것이라 전망한다. 또한 기업은 생성형 AI를 전략적으로 사용해서 공급망 최적화, 연구개발 혁신, 영업 전략 수립 같은 핵심 업무에 활용하는 것이 훨씬 가치 있다고 말한다.
너무 당연한 이야기인데, 한국의 기업들이라면 어떻게 해 볼 수 있을까? 빠르고 기민한 우리의 기업 문화를 활용하여 작고 빠른 성공에서 시작하면 어떨까? 가장 고통스럽고 지루한데 꼭 해야하는 업무 하나를 선정하는 거다. (영업보고서 같은) 그리고, 그것을 측정가능한 성과로 (작성시간 50% 절감). 그다음, 거기서 사용되었던 프로세스와 프롬프트를 점차 다른 부서로 확산해서 전사적인 AI 전략으로 확대하는 정도는 해 봄직한 접근이다. 그리고 무엇보다, 이것이 되려면 조직의 임원들이 먼저 이 효과를 경험해야한다.
트렌드 4 : 에이전트 AI(Agentic AI): 여전히 거품은 있겠지만, 5년 내 실질적 가치를 증명할 것이다.
저자들은, 생성형 AI가 가트너 하이프 사이클의 ‘환멸의 골짜기(Trough of Disillusionment)’에 진입해 있는 것처럼, 2026년에는 에이전트 AI 또한 이 단계에 빠질 것으로 예상하고 있다.
그들이 지적하고 있는 에이전트 AI 의 가장 큰 문제는, 본격적으로 비즈니스 현장에 투입할 준비가 안되었다는 점이다. 앤스로픽(Anthropic)이나 카네기 멜론 대학 등 벤더와 학계의 다양한 실험 결과에 따르면, AI 에이전트는 큰 비용이 오가는 중요 프로세스에 믿고 맡기기에는 여전히 너무 많은 실수를 저지르는 것으로 나타났고, 여기에 더해 사이버 보안 문제(특히 프롬프트 인젝션)도 있으며, 인간의 가치나 목표와 어긋나게 행동하거나 심지어 사용자를 속이려는 경향까지 보인다고 말한다.
하지만, 그 문제는 어떤 방식으로든 해결될 것이다. 다만, 그 사용의 시기가 당장 올해는 아닐 수도 있겠다는 의미이고 기업들은 에이전트가 어떻게 업무 방식을 혁신할 수 있을지 고민을 시작할 시기라고 조언한다. 저자들은 생성형, 분석적, 결정론적(Deterministic) AI를 모두 아우르는 에이전트를 직접 개발하고 테스트할 수 있는 내부 역량을 길러야하고, 그래야하는 이유는 AI라는 공구함에 모든 도구들을 총동원해야하기 때문이라고 표현한다. 이것이 무슨 의미인가?
이것은 실제 비즈니스의 상황에서 고민을 해 볼 수 있다. 우리가 이리 경험을 했듯이 생성형 AI는 거짓말도 잘하고 계산도 잘 틀린다. 생성형 AI가 글을 잘 쓰는 직원이라면, 분석적 AI는 계산을 잘 하는 직원이고, 결정론적 AI는 규칙을 칼같이 잘 지키는 직원이다. 여러분이 은행의 대출 담당에이전트를 설계한다고 생각해보자. 생성형 AI 혼자 일을 하면 “고객님은 착해 보이니 10억 빌려드릴게요” 라는 헛소리를 할 수 있다. 그런데 각 AI 도구들이 같이 일을 하면, 다음과 같은 역할 분담이 가능해진다.
- 생성형 AI : 고객과 친절하게 대화하며 정보를 받고 (상담원 역할)
- 분석형 AI : 고객의 지난 10년치 카드 값을 분석해 신용 점수를 예측 (계산기 역할)
- 결정론적(Deterministic) AI: “연체 기록이 1회라도 있으면 무조건 대출 거절”이라는 회사 내규를 강제로 적용
트렌드 5 : 누가 AI를 맡을 것인가? 관리 주체를 둘러싼 논쟁은 계속될 것이다.
저자들은 이 트렌드를 소개하면서 “놀랍지 않게도(not surprisingly)” 점점 더 많은 기업이 최고 AI 책임자(CAO) 또는 그에 상응하는 직책을 신설하고 있다고 전하며, 문제는 이 직책이 누구에게 보고해야할지에 대한 합의가 거의 이루어져있지 않다는 것이다. 이러한 보고 체계(Reporting relationships)의 혼란이 AI(특히 생성형 AI)가 충분한 가치를 만들어내지 못하는 만연한 문제의 원인 중 하나라고 본다고 했다.
새로운 C-Suite의 등장은 그 시대의 비즈니스 키워드를 보여주는 상징이기도 하다. IT 가 중요해지던 1980년대 기존의 전산 실장이라 불리던 자리가 비즈니스 전략을 지원하게 되면서 CIO(Chief Information Officer)로 격상되었고, 1990년대에는 닷컴버블과 인터넷 혁명의 시대로 IT가 CIO의 영역을 넘어서 기업이 파는 제품과 서비스 그 자체가 되기 시작해서 기술 연구개발을 비즈니스화 하는 역할이 필요해지면서 CTO(Chief Technology Officer)가 등장했다. 그러다가 2000년대 초반, 우리나라는 2010년대부터 CDO(Chief Data Officer)라는 포지션이 등장을 했고 이는 2010년대 빅데이터 붐이 일면서 데이터가 자산이라는 인식이 퍼지자 그 수요가 급격히 늘어났기 때문이다. 지금 CAO(Chief AI Officer)가 생기는 이유는 AI가 데이터 팀의 업무 중 하나로 취급하기엔 너무 거대하고 전략적으로 중요해지고 있다고 기업들이 믿기 시작했기 때문으로 해석이 된다. 그런데 왜 이것이 문제라는 것인가? 문제는 AI가 독립적인 영역인가에 대한 의문 때문이다. CIO는, AI는 결국 IT 인프라 (GPU, 클라우드) 위에서 돌아가니 우리가 맡아야 한다고 생각하고, CDO는 AI는 데이터 없이는 껍데기인데, 나에게 리포트를 해야하지 않나? CTO는 AI가 우리 제품의 핵심 기술인데 기술 총괄이 이 조직을 맡아야지? 라고 생각하지 않을까. 글로벌하게는 CDO의 조직에서 이 역할의 사람들과 조직을 맡고있는 경우가 많긴 하다.
상사가 누구냐에 따라 AI 프로젝트의 최우선 목표가 달라질 것이기 때문에 조직에서 그 방향성이 제대로 제시되지 않으면 표류한다. CIO의 목표는 시스템의 안정성, CTO의 목표는 기술적 우수성, CDO의 목표는 데이터의 품질이 일반적인 KPI 일것이다. 기업에서 보고 체계가 중요한 이유는 리스크가 발생했을 때 누가 책임을 지는가로 연결되는 이야기이기 때문에 더욱 민감하다. 생성형 AI를 기반으로 하는 챗봇이 고객에게 욕설을 했다고 상상해보자. 이 경우 누가 책임을 질 것인가? 기술을 만든 CTO 팀인가, 데이터를 관리한 CDO 조직인가 운영을 맡고있는 CIO 조직인가?
우리가 앞의 트렌드에서 살펴보았듯이 AI를 통한 가치 실현에 진전이 있는 것은 맞지만, 이 기술에 대한 높은 기대치와 관련 벤더들의 높은 기업 가치를 정당화하기에는 아직 충분하지 않은 단계인것 같아 보인다. 여전히 많은 기업은 그 일을 할 사람이 정해지면 그 일이 될 것이라 믿지만, AI 분야는 그처럼 간단해 보이지는 않는다.
지금 우리에게 필요한 것은 완장을 누구에게 채워줄 것인가가 중요한 것 같지는 않다. AI 거품론이 고개를 드는 지금, 기업들이 집중해야 할 것은 ‘누구에게 보고할 것인가’같은 껍데기 싸움이 아니다. 오히려 누가 이 도구를 활용해 가장 먼저, 가장 확실하게 돈이 되는 성과를 만들어낼 것인가 하는 ‘본질’로 돌아가야 한다. 2026년, 승패는 화려한 조직도가 아니라 확실한 ‘성공 사례’ 한 건에서 갈릴 것이기 때문이다.