100명의 기업 CIO가 2025년에 생성형 AI를 구축하고 구매하는 방식

실험을 넘어 정기 예산 항목으로: a16z가 분석한 2025년 AI 도입의 실체

생성형 AI(Generative AI)에 대한 기업들의 관심이 단순한 호기심을 넘어 실질적인 운영 체계로 편입되고 있습니다. 글로벌 벤처캐피털 Andreessen Horowitz(a16z)는 최근 15개 산업 분야의 구매자 인터뷰와 100명의 CIO(최고정보책임자)를 대상으로 진행한 설문조사를 통해, 기업용 AI 도입의 패러다임이 급격히 변화하고 있음을 확인했습니다.

과거의 AI 도입이 '이 기술이 무엇을 할 수 있는가?'를 확인하기 위한 PoC(개념 증명)나 단기적인 실험 단계에 머물렀다면, 2025년의 AI는 기업의 정기적인 예산 항목(Budget item)으로 자리 잡고 있습니다. 이는 AI가 더 이상 일시적인 유행이 아니라, 기업 운영을 위해 반드시 지출해야 하는 필수적인 인프라 및 소프트웨어 비용으로 인식되기 시작했음을 의미합니다.

이러한 변화는 기업들이 AI를 바라보는 관점이 '기술적 가능성'에서 '운영적 효율성'으로 이동했음을 시사합니다. 이제 CIO들은 단순히 최신 모델을 도입하는 것에 그치지 않고, 이를 어떻게 기존 비즈니스 프로세스에 통합하고 지속 가능한 비용 구조를 만들 것인지에 집중하고 있습니다.

특정 벤더에 대한 충성도보다 성능 중심: 멀티 모델 전략의 부상

작업 수준의 성능에 기반한 최적화

기업의 AI 구매 전략에서 가장 눈에 띄는 변화 중 하나는 특정 AI 모델 벤더에 대한 맹목적인 충성도가 사라지고 있다는 점입니다. 과거에는 특정 플랫폼의 생태계에 종속되는 경향이 있었으나, 이제 CIO들은 '작업 수준의 성능(Task-level performance)'을 기준으로 모델을 선택합니다.

예를 들어, 복잡한 논리적 추론이 필요한 작업에는 특정 모델을, 빠른 응답 속도와 저렴한 비용이 중요한 단순 반복 작업에는 다른 모델을 배치하는 식입니다. 이러한 멀티 모델(Multi-model) 전략은 기업이 특정 벤더의 가격 정책 변화나 서비스 중단 리스크로부터 자유로워질 수 있게 합니다.

유연한 인프라 구축을 위한 선택

이러한 전략적 움직임은 기업이 기술적 유연성을 확보하려는 의도를 담고 있습니다. 단일 모델에 의존할 경우 발생할 수 있는 기술적 종속성(Vendor Lock-in)을 방지하고, 각 작업의 특성에 가장 적합한 '최적의 도구'를 조합하여 전체적인 시스템 효율을 극대화하려는 것입니다.

결과적으로 기업용 AI 시장은 단일 거대 모델의 독주 체제에서, 다양한 특화 모델들이 상호 보완적으로 작동하는 생태계로 재편될 가능성이 높습니다.

'Build vs Buy'의 새로운 기준: 유지보수 부담과 기성 솔루션의 선호

기업들이 AI 기능을 내부적으로 직접 구축할 것인지(Build), 아니면 이미 완성된 제품을 구매할 것인지(Buy)에 대한 논의도 새로운 국면을 맞이했습니다. 초기에는 기업의 핵심 역량을 강화하기 위해 내부 구축을 선호하는 경향이 있었으나, 최근에는 실질적인 운영 비용 측면에서 판단이 달라지고 있습니다.

CIO들은 내부 구축 시 발생하는 유지보수의 부담을 매우 심각하게 고려하고 있습니다. AI 모델은 지속적으로 업데이트되며, 데이터 보안, 레이턴시(Latency) 관리, 모델 성능 저하(Drifting) 대응 등 운영 단계에서 발생하는 기술적 요구사항이 매우 방대하기 때문입니다.

만약 내부 구축을 통해 얻을 수 있는 전략적 이점이 모델을 유지하고 관리하는 데 드는 막대한 운영 비용보다 작다고 판단될 경우, 기업들은 주저 없이 기성(Off-the-shelf) AI 애플리케이션을 선택하고 있습니다. 즉, '직접 만드는 기술력'보다 '검증된 솔루션을 효율적으로 사용하는 능력'이 기업의 경쟁력이 되고 있습니다.

프롬프트에서 에이전트로: 높아지는 전환 비용과 운영적 깊이

에이전트 워크플로우(Agentic Workflows)로의 진화

AI 활용 방식이 단순한 '프롬프트 입력 및 결과 확인'에서 '에이전트 워크플로우'로 진화하고 있다는 점에 주목해야 합니다. 에이전트 워크플로우란 AI가 스스로 계획을 세우고, 도구를 사용하며, 복잡한 단계를 거쳐 목표를 달성하는 일련의 자동화된 프로세스를 의미합니다.

이 단계에 진입하면 AI는 단순한 채팅 도구가 아니라, 기업의 실제 업무 프로세스 깊숙이 통합된 운영 주체가 됩니다. 이는 기업이 AI를 활용하는 방식이 훨씬 더 정교하고 구조화되고 있음을 보여줍니다.

상승하는 전환 비용(Switching Costs)

에이전트 워크플로우가 고도화됨에 따라 모델을 교체할 때 발생하는 '전환 비용' 또한 급격히 상승하고 있습니다. 기업이 특정 모델을 기반으로 프롬프트 엔지니어링을 최적화하고, 보안 가드레일을 설정하며, 기존 워크플로우와 통합하는 데 막대한 시간과 자원을 투자하기 때문입니다.

한번 구축된 에이전트 시스템은 모델의 특성(Behavior)에 강하게 결합되어 있습니다. 따라서 모델 선택은 이제 단순한 실험적 시도가 아니라, 기업의 운영 구조를 결정짓는 매우 깊고 무거운 전략적 결정이 되었습니다.

엄격해진 조달 프로세스: 확장되는 예산과 강화된 검증

AI 관련 예산 규모는 여전히 빠르게 확장되고 있지만, 그 예산을 집행하는 조달 과정은 과거보다 훨씬 엄격해졌습니다. CIO들은 단순히 'AI 기능이 있다'는 이유만으로 솔루션을 채택하지 않습니다.

이제 구매 결정권자들은 보안 검토, 데이터 프라이버시 준수 여부, 기존 시스템과의 통합 용이성, 그리고 무엇보다 명확한 ROI(투자 대비 효율)를 요구합니다. 예산이 커진 만큼, 그 돈이 낭비되지 않도록 검증하는 프로세스 역시 고도화된 것입니다.

결국 기업용 AI 시장에서 살아남는 솔루션은 기술적 화려함보다는, 기업의 까다로운 조달 기준을 통과할 수 있는 신뢰성과 안정성을 갖춘 제품이 될 것입니다.

한국 B2B 및 에듀테크 빌더를 위한 제언: 모델이 아닌 '결과'를 설계하라

이러한 글로벌 트렌드는 한국의 B2B 소프트웨어 및 에듀테크 스타트업들에게 매우 중요한 시사점을 던져줍니다. 단순히 최신 LLM(거대언어모델)의 API를 연결하여 기능을 제공하는 '모델 래퍼(Model Wrapper)' 형태의 서비스로는 더 이상 시장에서 지속 가능성을 확보하기 어렵습니다.

성공적인 AI 제품을 만들기 위해서는 고객에게 '모델에 대한 접근성'을 파는 것이 아니라, 그 모델을 통해 얻을 수 있는 명확한 '결과(Outcomes)'를 팔아야 합니다. 고객이 겪고 있는 구체적인 문제를 해결하고, 그 과정에서 비용을 얼마나 절감하거나 생산성을 얼마나 높였는지 수치로 증명할 수 있어야 합니다.

지속 가능한 AI 제품의 모습은 이번 분기에 유행하는 모델을 기반으로 만든 가벼운 데모가 아닙니다. 명확한 ROI를 제시하고, 기업의 요구에 따른 호스팅 선택권을 제공하며, 기업의 엄격한 조달 프로세스에 즉시 대응할 수 있는 '신뢰할 수 있는 워크플로우 소프트웨어'가 되어야 합니다.