리벨리온 NPU·자체 LLM·운영 플랫폼 한 서버에 통합
금융·공공·국방 등 폐쇄망 시장 겨냥…데이터 외부 반출 없이 AI 활용
RAG 넘어 업무 에이전트·엣지DC 확대…소버린 AI ‘상용화 경쟁’ 본격화

KT가 국산 인공지능(AI) 반도체와 자체 대규모언어모델(LLM), 운영 플랫폼을 하나의 서버에 묶은 기업용 AI 제품을 내놓으며 소버린 AI의 산업 현장 확산에 나섰다. <출처=KT>

KT가 국산 인공지능(AI) 반도체와 자체 대규모언어모델(LLM), 운영 플랫폼을 하나의 서버에 묶은 기업용 AI 제품을 내놓으며 소버린 AI의 산업 현장 확산에 나섰다. 그동안 국내 소버린 AI 경쟁이 국산 LLM 성능과 AI 반도체 개발 역량을 끌어올리는 데 집중됐다면, 앞으로는 이를 기업이 얼마나 쉽게 도입하고 활용할 수 있느냐를 둘러싼 ‘상용화 경쟁’이 본격화할 전망이다.

KT는 19일 기업용 소버린 AI 어플라이언스 ‘KT NPU LLM 스테이션’을 출시했다고 밝혔다. 어플라이언스는 하드웨어와 소프트웨어를 결합해 별도 구축 작업을 최소화한 완제품형 장비다.

KT NPU LLM 스테이션에는 국내 AI 반도체 기업 리벨리온의 추론용 신경망처리장치(NPU) ‘ATOM-MAX’와 KT가 자체 개발한 LLM ‘믿음 K 2.5 Pro’, AI 서비스를 운영하기 위한 응용프로그램인터페이스(API) 플랫폼이 함께 탑재됐다. AI 연산을 담당하는 반도체부터 모델, 운영 소프트웨어까지 핵심 구성을 국산 기술로 채운 셈이다.

KT가 우선 겨냥하는 시장은 보안과 데이터 반출 규제가 강한 산업이다. 생성형 AI 도입 수요가 빠르게 커지고 있지만 금융과 공공, 국방, 제약, 제조 등에서는 민감한 내부 데이터를 해외 사업자의 클라우드로 전송해야 하는 문제 때문에 생성형 AI를 적극적으로 사용하기 어려웠다.

KT NPU LLM 스테이션은 고객사 내부에 직접 설치하는 온프레미스 방식으로 운영된다. 

기업의 문서와 이용자 입력 데이터, AI 연산 결과 등이 외부 클라우드로 빠져나가지 않고 사내에서 처리된다. 망분리 환경에서도 기업 내부 데이터를 활용한 AI 구축이 가능하도록 해 데이터 주권과 보안 문제를 동시에 해결하겠다는 전략이다.

기업의 초기 도입 부담을 낮춘 점도 특징이다. 기존에는 자체 생성형 AI를 구축하려면 서버를 확보한 뒤 AI 모델과 추론 소프트웨어, 서비스 플랫폼 등을 각각 구성해야 했다. KT는 이를 하나의 장비로 통합해 설치 이후 곧바로 사내 문서를 검색해 답변하는 검색증강생성(RAG) 등의 기능을 활용할 수 있도록 했다.

기존 AI 서비스와의 호환성도 높였다. 업계에서 널리 사용하는 표준 API를 지원하기 때문에 기업이 기존에 이용하던 AI 서비스의 접속 정보를 변경하는 방식으로 KT의 시스템을 활용할 수 있다. 별도의 대규모 코드 수정 없이 기업 내부 AI 환경을 전환할 수 있다는 설명이다.

KT 광화문빌딩 웨스트 사옥. <출처=KT>

특히 이번 제품은 국산 AI 반도체가 실제 기업 시장에서 범용 그래픽처리장치(GPU)의 추론 수요를 얼마나 가져올 수 있을지를 가늠하는 시험대가 될 전망이다. 생성형 AI 학습에는 막대한 연산 성능을 가진 GPU가 주로 활용되지만 기업 현장에서 발생하는 문서 질의응답이나 고객상담, 업무 자동화 등은 이미 학습된 모델을 실행하는 ‘추론’ 작업이 대부분을 차지한다.

KT가 채택한 ATOM-MAX 역시 이 같은 AI 추론에 특화된 NPU다. KT는 공인 시험을 통해 동급 GPU 대비 처리 성능과 전력 효율을 검증했다고 설명했다. AI 인프라 운영 비용에서 전력과 서버 도입 비용이 차지하는 비중이 커지는 만큼 국산 NPU가 성능 뿐만 아니라 총소유비용(TCO) 측면에서도 경쟁력을 입증할 경우 기업용 AI 인프라 시장에서 새로운 선택지가 될 수 있다.

KT는 향후 NPU LLM 스테이션을 단순한 AI 서버에서 기업 업무 전반을 처리하는 AI 플랫폼으로 확대한다. 

회의록 작성과 코딩 지원을 비롯해 업무 자동화 에이전트 ‘K-Claw(가칭)’ 등 자체 개발 AI 에이전트를 순차적으로 탑재하고, 외부 에이전트 전문 개발사와 협력해 고객사별 업무 환경에 맞춘 구축 사업도 추진할 계획이다.

장기적으로는 활용 범위를 피지컬 AI를 위한 엣지 데이터센터(Edge DC)까지 넓힌다. 공장이나 물류센터 등 실제 산업 현장과 가까운 곳에서 AI 연산을 처리해 데이터 전송 지연을 낮추고, NPU의 전력 효율을 활용해 저전력·저지연 AI 인프라를 구현한다는 구상이다.

이진형 KT AX사업본부장 상무는 “KT NPU LLM 스테이션은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 실제 산업 현장에서 즉시 사용할 수 있도록 만든 것”이라며 “데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 현실적인 선택지가 될 것”이라고 말했다.

[CEO스코어데일리 / 김동일 기자 / same91@ceoscore.co.kr]