거품보다는 에이전트: 통합된 하네스(Harness)와 모델이 새로운 AI 해자가 되는 이유

LLM 거품론을 넘어 에이전트 시대의 실질적 가치로

2026년 3월, 엔비디아(Nvidia)의 GTC가 열리는 아침의 공기는 여느 때와 달랐습니다. 시장 일각에서는 AI에 대한 과도한 기대가 거품을 만들고 있다는 회의론이 고개를 들었지만, 저는 그 자리에서 전혀 다른 결론에 도달했습니다. 우리가 목격하고 있는 것은 거품의 붕괴가 아니라, 기술의 실질적인 구현 단계로 진입하는 거대한 전환점입니다.

역설적으로 우리가 거품 속에 있다는 주장은, 기술이 실질적인 가치를 창출하기 직전의 가장 격렬한 혼란기를 반영하는 증거이기도 합니다. 과거의 기술 혁신이 그러했듯, AI 역시 단순한 '신기함'을 넘어 '실행력'을 증명해야 하는 단계에 와 있습니다. 이제 논점은 모델이 얼마나 똑똑한가가 아니라, 그 모델이 어떻게 실제 업무를 완수하느냐로 옮겨가고 있습니다.

단순히 질문에 답하는 챗봇의 시대를 지나, 스스로 계획을 세우고 도구를 사용하여 과업을 완수하는 '에이전트'의 시대가 열리고 있습니다. 이 과정에서 모델의 성능만큼이나 중요한 요소로 떠오른 것이 바로 모델을 제어하는 소프트웨어 계층인 '하네스(Harness)'입니다. 이것이 바로 차세대 AI 경쟁의 핵심이자 새로운 해자가 될 것입니다.

LLM의 세 가지 변곡점: 대화에서 추론, 그리고 실행으로

ChatGPT와 초기 LLM의 한계

2022년 11월 출시된 ChatGPT는 LLM이 무엇을 할 수 있는지 전 세계에 각인시킨 기념비적인 사건이었습니다. 하지만 초기 버전의 LLM은 명확한 두 가지 결함을 안고 있었습니다. 첫째는 사실이 아닌 것을 사실처럼 말하는 빈번한 환각(Hallucination) 현상이었고, 둘째는 사용자가 모델을 어떻게 활용해야 할지 스스로 고민해야 한다는 높은 인지적 부담감이었습니다.

사용자는 모델의 한계를 이해해야 했고, 원하는 결과를 얻기 위해 정교한 프롬프트를 설계해야만 했습니다. 이는 AI가 보편적인 도구로 자리 잡는 데 있어 커다란 장벽으로 작용했습니다. 모델은 강력했지만, 인간이 모델의 수준에 맞춰 사용법을 익혀야 하는 구조적 한계가 존재했던 것입니다.

o1의 등장과 추론 능력의 도입

2024년 9월, OpenAI의 o1 모델 출시는 LLM의 진화 과정에서 중요한 변곡점을 형성했습니다. o1은 모델이 답변을 내놓기 전, 스스로 답변의 정확성을 평가하고 논리적 단계를 고려하는 '추론(Reasoning)' 기능을 도입했습니다. 이는 모델이 단순히 다음 단어를 예측하는 수준을 넘어, 사고의 과정을 거칠 수 있음을 보여준 사례입니다.

o1의 등장은 LLM을 훨씬 더 신뢰할 수 있는 존재로 만들었습니다. 모델이 스스로 자신의 논리를 검증하기 시작하면서, 사용자가 겪었던 환각 문제와 복잡한 프롬프트 설계의 부담이 상당 부분 완화되었습니다. 이는 AI가 단순한 대화 상대를 넘어, 복잡한 문제를 해결하는 지적 파트너로 진화하는 계기가 되었습니다.

Opus 4.5와 GPT-5.2-Codex가 가져온 실행의 혁명

2025년 11월 24일, Anthropic은 비교적 조용하게 Opus 4.5를 출시하며 시장의 판도를 흔들었습니다. 이어 12월경, Opus 4.5를 탑재한 Claude Code가 등장하며 이전에는 불가능했던 수준의 작업들을 수행하기 시작했습니다. OpenAI 역시 12월 18일에 GPT-5.2-Codex를 출시하며 이 흐름에 합류했습니다.

이 모델들은 단순히 말을 잘하는 것을 넘어, 수 시간이 걸릴 법한 복잡한 코딩 작업이나 워크플로우를 정확하게 수행해냈습니다. 모델의 지능이 높아진 것을 넘어, 실제 환경에서 '작업을 완수하는 능력'이 비약적으로 상승한 것입니다. 이는 AI가 '생각하는 존재'에서 '행동하는 존재'로 변모했음을 의미합니다.

‘하네스(Harness)’의 등장: 모델을 제어하는 소프트웨어의 힘

에이전트 워크로드(Agentic workloads)의 핵심은 모델 그 자체보다, 모델을 실제로 제어하고 환경과 연결하는 소프트웨어인 '하네스(Harness)'에 있습니다. Claude Code나 OpenAI의 Codex가 보여준 놀라운 성과는 모델의 지능 덕분이기도 하지만, 모델을 효율적으로 다루는 하네스의 설계 덕분이기도 합니다.

하네스는 사용자와 모델 사이에서 일종의 추상화 계층 역할을 수행합니다. 사용자가 에이전트에게 고수준의 지침(High-level instruction)을 내리면, 하네스는 이를 모델이 이해할 수 있는 세부 명령으로 분해합니다. 그 후 모델이 내린 결정을 검증하고, 필요한 경우 다른 결정론적 도구(Deterministic tools)를 사용하여 결과를 확정 짓습니다.

이러한 구조 덕분에 사용자는 모델의 내부 작동 방식이나 복잡한 API 호출 과정을 알 필요가 없습니다. 하네스가 모델을 직접 지시하고 관리함으로써, 사용자는 오직 '무엇을 할 것인가'에만 집중할 수 있게 됩니다. 즉, 하네스는 모델의 강력한 지능을 실제 가치로 전환하는 핵심 엔진입니다.

에이전시의 추상화가 가져올 노동 생산성의 패러다임 변화

지금까지 AI를 제대로 활용하기 위해서는 인간이 직접 '에이전시(Agency)', 즉 주도권을 쥐고 모델을 관리해야 했습니다. 하지만 하네스를 통한 에이전트의 부상은 이 주도권을 인간으로부터 분리(추상화)시킵니다. 이제 한 명의 인간은 직접 모델을 다루는 대신, 여러 명의 에이전트를 관리하는 '매니저'의 역할을 수행하게 됩니다.

이러한 변화는 AI 채택의 장벽을 획기적으로 낮춥니다. 과거에는 AI를 쓰기 위해 전문적인 프롬프트 엔지니어링 기술이 필요했다면, 이제는 자연스러운 지시만으로도 에이전트가 복잡한 업무를 처리할 수 있기 때문입니다. 이는 AI 수요가 폭발적으로 증가할 수 있는 토대를 마련합니다.

결국 에이전트의 부상은 단순히 컴퓨팅 자원의 증가를 의미하는 것이 아닙니다. 인간이 AI를 사용하는 방식이 '도구의 조작'에서 '조직의 관리'로 변화하고 있음을 의미하며, 이는 노동 생산성의 차원을 근본적으로 바꾸어 놓을 것입니다.

기업용 AI 시장이 폭발하는 경제적 이유와 Anthropic의 전략

우리가 흔히 접하는 개인용 생산성 애플리케이션들이 결국 기업용(Enterprise) 솔루션으로 전환되는 이유는 명확합니다. 생산성을 높이기 위해 기꺼이 막대한 비용을 지불할 의사가 있는 주체는 바로 기업이기 때문입니다. 기업은 노동 효율성을 높여 비용을 절감하고 이익을 극대화하려는 강력한 경제적 동기를 가지고 있습니다.

Anthropic은 바로 이 지점을 정확히 꿰뚫어 보았습니다. 그들은 거의 전적으로 기업 시장에 집중하며, AI가 단순히 일자리를 대체하는 위협적인 존재가 아니라, 기업 전체의 생산성을 정밀하게 높여주는 '디지털 노동력'이 될 것이라는 비전을 제시했습니다.

기업 경영진을 설레게 하는 것은 AI의 화려한 대화 능력이 아닙니다. 지시받은 일을 끝까지, 지치지 않고, 오류 없이 수행해내는 에이전트의 신뢰성입니다. 에이전트는 조직이라는 거대한 기계 안에서 관리하기 까다로운 인간 부품들을 대신하여, 정해진 목표를 향해 지속적으로 작동하는 강력한 가치 동인이 될 것입니다.

모델 범용화 시대의 새로운 해자: 통합된 가치 사슬

많은 이들이 모델의 성능이 상향 평준화되면서 모델 자체가 범용화(Commoditization)될 것이라고 경고합니다. 하지만 에이전트의 등장은 이러한 주장에 강력한 반론을 제기합니다. Opus 4.5 모델 자체의 성능도 훌륭하지만, 이를 진정으로 매력적으로 만든 것은 Claude Code라는 하네스를 통해 사용성을 극적으로 높였기 때문입니다.

진정한 차별화는 모델 단독의 성능이 아니라, '모델과 하네스 사이의 통합'에서 발생합니다. 모델의 지능이 아무리 높아도 이를 제어할 하네스가 부실하다면 실질적인 업무 수행이 불가능합니다. 반대로 하네스가 뛰어나다면, 다소 평범한 모델로도 강력한 에이전트 기능을 구현할 수 있습니다.

결국 이익은 모듈화된 부품(단순 모델 제공)에서 빠져나가, 통합된 가치 사슬(모델+하네스 통합 에이전트)로 흐르게 될 것입니다. Anthropic과 OpenAI가 작년 말 예상보다 더 큰 수익을 창출할 준비가 되어 있는 이유도 바로 이 통합된 가치 사슬을 선점했기 때문입니다.

Microsoft의 전략 변화가 시사하는 점

시장의 탄광 속 카나리아 역할을 하는 Microsoft의 움직임도 주목해야 합니다. Microsoft는 기업이 기꺼이 비용을 지불할 만한 매력적인 에이전트 제품을 만들기 위해서는, 기존의 '모델 불가지론(Model agnostic)' 목표를 일부 포기해야 한다는 점을 인정하고 있습니다.

특정 모델에 최적화된 하네스를 구축해야만 진정한 에이전트 경험을 제공할 수 있다는 이들의 판단은, 역설적으로 모델이 범용화되지 않을 가능성을 시사합니다. 에이전트에게는 모델 그 이상의, 즉 모델과 깊게 결합된 전용 소프트웨어 계층이 필수적이기 때문입니다.

한국의 AI 플레이어들이 구축해야 할 새로운 경쟁 우위

한국의 스타트업과 기업들에게 지금 필요한 것은 단순한 'LLM Wrapper' 서비스가 아닙니다. 모델의 API를 가져와 UI만 입힌 서비스는 모델이 범용화되는 순간 순식간에 가치를 잃게 됩니다. 이제는 모델을 어떻게 제어하고, 특정 워크플로우에 어떻게 통합할 것인가라는 '하네스'의 관점에서 접근해야 합니다.

도메인 특화 에이전트(Domain-specific Agent) 시장을 공략하십시오. 특정 산업군(금융, 법률, 제조 등)의 복잡한 업무 프로세스를 깊이 이해하고, 그 프로세스에 최적화된 하네스를 구축하는 기업만이 살아남을 수 있습니다. 모델은 도구일 뿐이며, 그 도구를 사용하여 실제 업무를 완수하는 '방법론'이 곧 여러분의 해자가 될 것입니다.

결론적으로, AI 경쟁의 승패는 '얼마나 똑똑한 모델을 쓰는가'가 아니라 '얼마나 완결성 있는 에이전트 경험을 제공하는가'에 달려 있습니다. 모델과 하네스의 통합을 통해 사용자로부터 에이전시를 추상화하고, 실질적인 생산성 혁신을 증명하는 기업이 다음 세대의 AI 패권을 거머쥘 것입니다.