숨쉬는 Data 살아있는 Fact

‘텔코 LLM’, 6월 개발 완료 후 연내 상용화 계획
에이닷엑스·GPT·클로드 등 ‘멀티 LLM’ 활용…비용↓·성능↑
고객센터·네트워크 인프라 운용 등에 유용
통신 특화 생성 AI 앱 개발 패키지 ‘인텔리전스 플랫폼’도 공개

에릭 데이비스 SKT AI 테크 컬래버레이션 담당이 기자설명회에서 텔코 LLM 관련 발표를 하고 있다. <출처=SKT> 

SK텔레콤이 5G 요금제, 공시지원금 등 국내 통신 용어와 통신사 내부 지침 등을 학습한 ‘텔코 LLM(거대언어모델)’을 오는 6월 개발 완료한다. 국내 통신환경에 특화한 LLM 모델은 내부 평가와 테스트를 거쳐 연내 고객센터 등 일선 현장에 적용할 방침이다.

글로벌향 텔코 LLM은 한국어 텔코 LLM 상용화 후 그간 축적된 데이터를 활용해 개발할 계획이다. 현재 글로벌 통신사들과 글로벌향 텔코LLM 개발을 위한 세부사항을 합의하고 있다.

SKT는 30일 서울 중구 SKT타워에서 ‘텔코 LLM 기술설명회’를 열고 이같이 밝혔다. ‘텔코LLM’은 오픈AI의 GPT, 앤트로픽의 클로드 같은 범용 LLM이 아니라 통신업에 특화된 LLM이다.

텔코LLM은 SKT의 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 튜닝했다. 이들 모델에 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형 데이터를 선별해 학습시켰다. 

통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있게 하는 ‘멀티 LLM’ 전략이다.

에릭 데이비스 SKT AI 테크 컬래버레이션 담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코 LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티 LLM 전략”이라고 말했다.

SKT 텔코 LLM 개념도. <출처=SKT>

SKT는 멀티 LLM 전략을 통해 비용은 절감하면서도 성능은 높였다. 통신 영역 안에서도 세부 업무에 따라 요약, 추론, 이해, 감정분석 등 필요한 수행 능력이 다른데, 업무에 적합한 수행능력을 가진 LLM을 매칭해 파인튜닝을 함으로써 학습·추론 비용은 줄이고 속도와 정확도는 높였다는 것이다. 예를 들어, 감정분석 능력이 뛰어난 클로드 기반 텔코LLM의 경우, 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있다. 성능은 자체 테스트 결과, 텔코 LLM이 통신 영역의 업무를 수행할 때 기존 범용 LLM 대비 35% 향상된 것으로 나타났다.

SKT는 고객센터에 텔코LLM 도입 시 상담 시간과 사후 업무 시간을 크게 단축시켜줄 것으로 기대하고 있다. 현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다.

통신사의 네트워크 인프라 운용에도 텔코LLM이 유용하다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다. SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

정민영 SKT AI플랫폼 담당은 “고객센터, 인프라 뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획”이라고 설명했다.

정민영 SKT AI플랫폼 담당이 기자설명회에서 인텔리전스 플랫폼에 대해 발표하고 있다. <출처=SKT>

SKT는 또한 통신사들이 생성형 AI 앱을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등을 아우르는 일종의 ‘기업용 AI 개발·운용 패키지’다. 현재 에이닷(A.) 등 일부 서비스에 인텔리전스 플랫폼을 적용 중이며, 적용 사례를 지속 확대할 예정이다. 추후 ‘글로벌 텔코 AI 얼라이언스(GTAA)’ 회원 통신사들에 대한 적용 여부도 논의할 계획이다.

SKT는 글로벌향 텔코LLM 개발도 준비중이다. 에릭 담당은 “글로벌 텔코 LLM은 아직 데이터 사용 여부, 비용 부담 등 세부사항을 논의 중”이라며 “통신업은 국제적으로 용어·업무환경 등이 표준화 돼있기 때문에, 국내 데이터를 기반으로 글로벌에 적용해도 크게 무리는 없을 것”이라고 설명했다.

[CEO스코어데일리 / 김동일 기자 / same91@ceoscore.co.kr]