챗GPT·클로드·믿음을 한 창구에서 골라 쓴다? KT ‘토큰팩토리’로 본 AI 자동 배차·질문 압축으로 토큰 최대 25% 절감의 원리와 내 질문이 처리되는 곳, 도입 전 5가지 체크를 초보도 쉽게

회사에서 AI를 써 보려는 분들이 제일 먼저 부딪히는 고민이 있어요. “챗GPT가 좋다는데 클로드도 좋다고 하고, 국산 모델도 있다던데… 대체 어떤 걸 골라야 하지? 그리고 돈은 얼마나 나오지?” 모델마다 가입하고, 결제하고, 사용량을 따로 챙기다 보면 금방 머리가 아파지죠.

KT가 10월 27일 서울 광화문 사옥에서 바로 이 고민을 겨냥한 AI 플랫폼 ‘토큰팩토리(Token Factory)’를 공개했어요. 여러 회사의 AI 모델을 한 창구에 모아 두고, 질문마다 알맞은 모델을 자동으로 골라 주며, 질문 문장을 짧게 줄여 비용을 아낀다는 서비스예요. 30일 기업 고객용으로 정식 출시되고, 개인·개발자용은 내년 3월에 나올 예정이에요.

오늘은 이 소식을 계기로 ‘토큰’이 뭔지, AI를 자동으로 골라 준다는 게 어떤 원리인지, 25% 절감이라는 숫자를 어떻게 읽어야 하는지, 그리고 내 질문이 어디서 처리되는지까지 처음 듣는 분도 이해할 수 있게 하나씩 풀어 볼게요.

한눈에 보는 요약

먼저, ‘토큰’이 뭐예요?

AI 회사들은 요금을 ‘질문 1건당 얼마’가 아니라 토큰(token) 몇 개당 얼마로 매겨요. 토큰은 AI가 글을 읽고 쓸 때 쓰는 글자 조각 단위예요. 영어는 대략 단어 하나가 토큰 1~2개쯤, 한국어는 같은 뜻이라도 토큰이 더 많이 나오는 편이에요(모델마다 자르는 방식이 달라 정확한 개수는 달라요).

중요한 건 내가 보낸 질문(입력)과 AI가 쓴 답(출력)이 모두 토큰으로 계산된다는 점이에요. 그래서 질문이 길수록, 답이 길수록, 그리고 비싼 모델을 쓸수록 요금이 올라가요. 통신사로 치면 ‘데이터 몇 GB 썼느냐’로 요금을 매기는 것과 비슷해요. KT가 “통신 요금처럼 토큰 사용량을 정확히 재서 청구할 수 있다”고 강조하는 이유가 여기 있어요.

토큰팩토리, 정확히 뭘 하는 서비스예요?

한 문장으로 말하면 ‘AI 모델 백화점 + 자동 배차 + 통합 청구서’예요. 기업이 모델마다 따로 계정을 만들고 계약할 필요 없이, 토큰팩토리 하나에 연결하면 여러 회사 모델을 골라 쓰고, 사용량과 비용을 실시간으로 보고, 원화로 한 번에 정산할 수 있어요. 원하면 기업 통신 요금과 함께 청구받을 수도 있어요.

출시 때 들어오는 모델로는 KT의 믿음 K3.0, 업스테이지 솔라 프로4, 모티프 모티프3 같은 국산 모델과 구글 젬마4, 지푸AI GLM-5.3-플래시 같은 오픈웨이트(설계도가 공개된) 모델, 그리고 오픈AI GPT-6 아스트라, 앤트로픽 클로드 페이블5, xAI 그록4.7 같은 해외 대표 모델이 보도됐어요.

원리 ①: ‘오토 모델 라우터’는 AI 배차 담당

택시 앱을 떠올려 보세요. 가까운 동네 가는 손님에게 굳이 대형 리무진을 보내지 않죠. 오토 모델 라우터도 비슷해요. 들어온 질문의 업무 유형·난이도·요구 품질·비용을 따져 보고, 간단한 번역·요약·정보 확인은 가볍고 싼 모델에, 전문적인 분석·복잡한 추론은 고성능 모델에 보내요.

KT가 강조하는 포인트는 “무조건 제일 싼 모델”도, “무조건 제일 좋은 모델”도 아니라는 점이에요. 회사가 정한 목표 품질은 넘기면서 그 안에서 비용이 덜 드는 모델을 먼저 쓰는 방식이에요. 성능 근거로는 미국 라이스대 연구진이 만든 라우터 평가 벤치마크 ‘라우터아레나(RouterArena)’를 들었어요. KT는 9월 말 정확도와 비용을 함께 보는 부문에서 2위에 올랐다고 발표했고, 이번 간담회에서는 종합 1위를 기록했다고 설명했어요.

원리 ②: 질문을 짧게 줄이는 ‘프롬프트 압축’

두 번째 기술은 질문 문장 다이어트예요. 한국경제가 소개한 예시가 이해하기 쉬워요. “다음 주 출장인데 월요일 오전에 서울에서 부산으로 가는 KTX 열차를 찾아줘”라는 문장을 “다음 주 월요일 오전 서울 부산 KTX”처럼 뜻은 남기고 군더더기만 빼서 AI에 보내는 거예요. KT는 한국어 특성(조사·어미·반복 표현 등)을 고려해 만들었다고 설명했어요.

원리 ③: 내 질문은 어디서 처리될까?

기업이 AI를 쓸 때 가장 걱정하는 건 “우리 회사 자료가 해외 서버로 나가도 괜찮나?”예요. KT는 초기 73종 가운데 7종을 국내 데이터센터의 GPU로 직접 돌리는 ‘소버린 AI’ 모델로 제공해요. 이 경우 질문과 답이 국내에서 처리돼요. 내년에는 이런 국내 운영 모델을 10여 종까지 늘릴 계획이라고 했어요.

반대로 오픈라우터를 통해 연결되는 글로벌 모델은 그 모델을 운영하는 회사의 서버(해외 포함)에서 처리돼요. 그래서 KT는 고객이 국내 운영 모델만 쓰도록 제한할 수 있게 했다고 설명했어요. 금융권에는 국내 7종을 중심으로, 공공 분야에는 보안 규제에 맞춘 별도 클라우드 환경으로 공급한다는 계획이에요.

여기에 가드레일이 한 겹 더 붙어요. 사용자가 입력한 질문에서 개인정보·민감정보·유해 표현을 점검하고, AI가 만든 답도 안전한지 걸러 내는 장치예요. KT는 모델별 품질·안전성 평가 결과를 라우팅 기준에도 반영한다고 밝혔어요.

요금은 어떻게 내요?

모델별 구체적인 단가는 이번 발표에서 자세히 공개되지 않았어요. KT는 중개 수수료보다는 자체 데이터센터 GPU로 직접 ‘토큰을 생산’해 남기는 마진과 통신·클라우드 결합 사업을 주 수익원으로 본다고 설명했어요. 이름이 ‘토큰 공장’인 이유도 여기에 있어요.

이게 왜 중요할까? 달라지는 점과 아직 모르는 점

회사에서 이런 플랫폼을 쓰기 전, 5가지 체크

토큰팩토리든 다른 ‘AI 모아 쓰기’ 서비스든, 도입 전에 아래 다섯 가지만 확인해도 시행착오를 많이 줄일 수 있어요.

자주 묻는 질문

마무리: ‘어떤 AI를 쓸까’에서 ‘어떻게 골라 쓸까’로

지금까지 AI 이야기는 주로 “어느 모델이 제일 똑똑한가”였어요. KT 토큰팩토리는 질문을 조금 바꿔요. “일마다 알맞은 모델을, 알맞은 값에, 안전한 곳에서” 쓰는 방법이 경쟁력이 된다는 거죠. 기억할 건 세 가지예요. 토큰은 AI의 요금 단위이고, 라우터는 질문을 알맞은 모델로 배차하며, 압축은 질문의 군더더기를 빼서 비용을 줄인다는 것.

30일 정식 출시 뒤 실제 기업들이 어느 정도 절감 효과를 봤는지, 그리고 내년 3월 개인용 서비스가 어떤 모습으로 나오는지 나오는 대로 쉽게 정리해 드릴게요. 🤖