토큰 극대화가 차세대 컴퓨팅 거인을 만들 것이라 믿는 스타트업 [투자]

토큰을 향한 갈증: Parasail이 정의하는 차세대 AI 인프라의 핵심

“토큰을 주세요. 그냥 토큰을 주세요. 빠르고, 저렴하게, 지금 당장 원합니다.” 이 문장은 현재 생성형 AI 생태계의 가장 절실한 요구를 대변합니다. 생성형 AI 모델을 기반으로 혁신적인 소프트웨어를 구축하려는 개발자들에게 있어, 모델의 성능만큼이나 중요한 것은 바로 '추론(Inference)의 경제성'이기 때문입니다.

Parasail의 CEO 마이크 헨리(Mike Henry)는 매일같이 쏟아지는 이러한 주문을 받으며 새로운 비즈니스의 기회를 포착했습니다. Parasail은 AI 모델 추론을 실행하는 기업들에게 최적화된 클라우드 컴퓨팅 서비스를 제공하는 스타트업입니다. 헨리는 TechCrunch와의 인터뷰를 통해, 현재 자신의 플랫폼이 하루에 무려 5,000억 개의 토큰을 생성하고 있다고 밝혔습니다.

이러한 압도적인 수치는 단순한 운영 규모를 넘어, AI 산업의 중심축이 모델 학습(Training)에서 모델 활용(Inference)으로 급격히 이동하고 있음을 시사합니다. 업계에서는 이를 두고 '토큰맥싱(tokenmaxxing)'이라 부르며, 얼마나 효율적으로 대량의 토큰을 처리하느냐가 차세대 컴퓨팅 거인을 결정짓는 척도가 될 것이라고 전망하고 있습니다.

Groq의 유산을 이어받은 컴퓨팅 브로커리지 모델의 탄생

칩 설계 전문가에서 인프라 전략가로

마이크 헨리 CEO의 배경은 Parasail의 전략적 방향성을 이해하는 데 핵심적인 열쇠입니다. 그는 LLM(대규모 언어 모델) 특화 칩 제조사로 잘 알려진 Groq의 임원으로 재직하며, 회사의 클라우드 서비스를 직접 구축했던 경험이 있습니다. 그는 하드웨어의 성능이 소프트웨어의 요구사항을 어떻게 충족시켜야 하는지, 그리고 개발자들이 어떤 지점에서 병목 현상을 느끼는지 누구보다 잘 알고 있습니다.

그는 AI 모델 기반 소프트웨어를 만드는 개발자들이 범용 클라우드가 아닌, 자신들의 특정 워크로드에 최적화된 '맞춤형 클라우드 프로세싱'을 갈망할 것이라는 점을 일찍이 간파했습니다. 이러한 통찰력을 바탕으로 1년 전 스텔스 모드로 등장한 Parasail은 이제 본격적인 확장을 위해 3,200만 달러 규모의 시리즈 A 투자를 성공적으로 유치했습니다.

자산 경량화와 유동성 확보의 기술

Parasail의 비즈니스 모델은 독특합니다. 헨리는 물리적 칩 설계 분야의 깊은 전문성을 가지고 있지만, Parasail이 반드시 막대한 자본을 들여 자체 실리콘(칩)을 소유해야 한다고 주장하지는 않습니다. 일부 GPU를 직접 보유하고는 있으나, 회사의 핵심 전략은 '컴퓨팅 브로커리지(Compute Brokerage)'에 있습니다.

Parasail은 전 세계 15개국에 분포된 40개의 데이터 센터에서 발생하는 프로세싱 시간을 영리하게 임대합니다. 동시에 유동성 시장을 통해 추가적인 컴퓨팅 물량을 확보하고, 이 모든 과정을 배후에서 정교하게 조율합니다. 이를 통해 고객에게는 낮은 추론 비용을 제공하고, 인프라 공급자에게는 유휴 자원을 효율적으로 활용할 수 있는 환경을 제공합니다.

이러한 방식은 자체 실리콘을 보유하고 있거나, 특정 고객과의 장기 계약 및 고정된 워크로드에 묶여 있는 기존 클라우드 기업들과 차별화되는 지점입니다. Parasail은 워크로드를 지능적으로 할당하고 수요 피크 타임을 피함으로써, 자본 효율성을 극대화하며 시장을 공략하고 있습니다.

에이전트 경제의 도래와 하이브리드 아키텍처로의 전환

Parasail의 성장 잠재력은 프런티어 랩(OpenAI, Anthropic 등) 외부에서 벌어지고 있는 거대한 변화에 기반합니다. 최근 오픈 소스 모델의 성능이 급격히 향상되고, 스스로 판단하고 행동하는 'AI 에이전트'가 확산되면서 인프라에 대한 요구사항이 근본적으로 변하고 있기 때문입니다.

Parasail의 경영진과 투자자들은 현재 Anthropic이나 OpenAI와 같은 거대 기업의 API를 사용하는 데 드는 비용과 기술적 마찰이 임계점에 도달했다고 분석합니다. 에이전트 기반의 워크플로우는 단일 요청이 아니라, 수많은 연속적인 쿼리를 발생시키기 때문에 API 비용이 기하급수적으로 증가할 수밖에 없습니다.

이러한 흐름은 '하이브리드 아키텍처'라는 새로운 표준을 만들어내고 있습니다. 이는 모든 작업을 가장 비싼 모델에 맡기는 것이 아니라, 작업의 성격에 따라 모델을 계층화하여 사용하는 방식입니다. 예를 들어, 가벼운 초기 스크리닝이나 데이터 분류는 저렴한 오픈 소스 모델이 담당하고, 최종적인 고도의 추론이 필요한 단계에서만 유능한 프런티어 모델을 호출하는 구조입니다.

API 비용의 한계를 넘어서는 오픈 소스 모델의 부상

대형 고객사들이 오픈 모델로 이동하는 이유

과학 문헌용 연구 보조 도구를 개발하는 스타트업 Elicit의 사례는 이러한 변화를 극명하게 보여줍니다. 2,200만 달러의 시리즈 A를 유치한 Elicit의 CEO 안드레아스 스툴뮬러(Andreas Stuhlmüller)에 따르면, 최근 대형 제약 회사와 같은 엔터프라이즈 고객들의 움직임이 심상치 않습니다.

이들의 고객인 대형 제약 회사들은 LLM을 활용해 수만 편의 과학 논문을 검토하고 분석하는 작업을 수행합니다. 스툴뮬러는 TechCrunch와의 인터뷰에서 "API 엔드포인트로 수십만 건의 요청을 보내는 것은 운영 측면에서 매우 까다롭고 비용 부담이 크기 때문에, 고객들이 점점 더 오픈 모델 쪽으로 이동하고 있다"고 설명했습니다.

소프트웨어 구축 비용의 새로운 변수, 추론

특히 소프트웨어의 기능이 고도화될수록 '에이전트'의 역할이 커지는데, 이는 곧 모델 쿼리 수의 폭증을 의미합니다. 이번 라운드를 공동 주도한 Touring Capital의 파트너 사미르 쿠마르(Samir Kumar)는 향후 소프트웨어 구축 및 운영 비용 중 추론 비용이 최소 20%를 차지하게 될 것이라는 구체적인 전망을 내놓았습니다.

결국 AI 소프트웨어 기업의 수익성은 모델의 성능뿐만 아니라, 얼마나 저렴하고 안정적인 추론 인프라를 확보하느냐에 따라 결정될 것입니다. 이는 Parasail과 같이 저렴한 추론 인프라를 전문적으로 제공하는 기업들에게 거대한 시장이 열리고 있음을 의미합니다.

스타트업 타겟팅과 추론 전용 인프라의 전략적 차별화

클라우드 컴퓨팅 시장은 이미 포화 상태에 가깝지만, Parasail은 자신들만의 명확한 니치 마켓(Niche Market)을 공략하고 있습니다. 이들의 가장 큰 차별점은 '추론 전용(Inference-only)'이라는 집중력에 있습니다. 학습(Training)을 배제함으로써 인프라의 복잡도를 낮추고 추론 효율성을 극대화합니다.

또한, 대형 클라우드 기업들이 엔터프라이즈 고객을 위해 장기 계약과 복잡한 약정을 요구하는 것과 달리, Parasail은 스타트업 고객들이 필요할 때 즉시 사용할 수 있는 유연성을 제공합니다. 이는 자금력이 풍부한 Fireworks AI나 Baseten 같은 경쟁사들과 비교했을 때도, 초기 단계 스타트업들에게 매우 매력적인 선택지로 작용합니다.

물론 리스크도 존재합니다. Parasail의 주요 고객층이 변동성이 큰 시드 및 시리즈 B 단계의 스타트업들이라는 점은 매출의 안정성 측면에서 도전 과제가 될 수 있습니다. 하지만 Kindred Ventures의 파트너 스티브 장(Steve Jang)은 "모두가 AI 버블을 걱정하지만, 실제로는 버블이 없다. 오히려 추론 수요가 공급을 훨씬 앞지르고 있다"며 시장의 강력한 펀더멘털을 강조했습니다.

한국 AI 스타트업이 주목해야 할 추론 경제의 시사점

Parasail의 사례는 한국의 AI 생태계에도 중요한 시사점을 던집니다. 현재 한국은 하이퍼클로바X와 같은 거대 모델 개발뿐만 아니라, 이를 활용한 다양한 버티컬 AI 서비스와 에이전트 스타트업들이 급증하는 단계에 있습니다. 이들 기업이 직면할 가장 큰 숙제는 결국 '모델 활용의 경제성'이 될 것입니다.

국내 스타트업들은 단순히 모델의 성능에만 매몰될 것이 아니라, Parasail이 보여준 것처럼 하이브리드 아키텍처를 어떻게 설계할 것인지, 그리고 추론 비용을 어떻게 최적화할 것인지에 대한 전략적 고민이 필요합니다. 오픈 소스 모델을 적재적소에 배치하여 비용을 절감하고, 고부가가치 작업에만 고비용 모델을 사용하는 운영의 묘가 생존의 핵심이 될 것입니다.

결론적으로, AI 산업의 다음 단계는 '누가 더 똑똑한 모델을 만드느냐'를 넘어 '누가 더 효율적으로 모델을 실행하느냐'의 싸움이 될 것입니다. 컴퓨팅 브로커리지와 같은 새로운 인프라 모델의 등장은 한국의 AI 서비스 기업들에게도 인프라 선택의 폭을 넓혀주는 동시에, 비용 구조 혁신이라는 새로운 과제를 던져주고 있습니다.