94 읽음
일레븐랩스, 한국어 지원 통합 음성 AI 모델 출시
위키트리
0
ElevenLabs가 11월 3일(현지시각) 음성 대화형 에이전트 모델 ‘Eleven Realtime’을 공개했다. 음성 인식, 대화 흐름 제어, 음성 합성을 따로 조합해야 했던 과정을 모델 하나를 고르는 일로 줄인 음성 대 음성(STS·speech-to-speech) 모델이다.
빠르고 자연스러운 대화에 맞춘 ‘Eleven Realtime v1 Mini’와 복잡한 작업 처리에 특화된 ‘Eleven Realtime v1 Max’ 두 가지로 나왔다. 두 모델 모두 한국어와 일본어를 포함해 90개 이상 언어를 지원한다.
ElevenLabs — Introducing Eleven Realtime: a simpler way to build natural
지금까지 자연스러운 음성 에이전트를 만들려면 개발자가 여러 기술을 하나씩 골라 이어 붙여야 했다. 음성 인식, 음성 활동 감지(사람이 말하는 구간을 가려내는 기술), 대화 순서 주고받기(턴테이킹), 대형언어모델(LLM), 음성 합성이 모두 별개 구성 요소였다. Eleven Realtime은 이 기능을 하나의 시스템으로 통합했다. 모델만 선택하면 에이전트를 만들 수 있다는 것이 핵심이다.
두 모델은 공통 기능도 갖췄다. 사용자가 말을 끊고 들어오는 상황에 반응하고 외부 도구를 호출할 수 있으며 대화 순서를 자연스럽게 주고받는다. 목소리는 ElevenLabs가 보유한 1만 7,000개 이상의 음성 라이브러리에서 고를 수 있다.
BigGo 파이낸스는 여러 구성 요소를 조합하는 과정에서 생기는 지연 시간과 개발 비용이 음성 에이전트 상용화의 걸림돌로 꼽혀 왔다고 짚었다. 통합 모델은 이 두 부담을 겨냥한 제품이라는 설명이다.
두 버전의 용도는 뚜렷하게 나뉜다. Mini는 빠른 응답이 중요한 AI 비서, 교육용 튜터, 게임·엔터테인먼트 캐릭터 같은 서비스에 맞는다. Max는 정해진 절차에 따라 정보를 찾아 안내하는 고객 지원, 잠재 고객 선별(리드 퀄리피케이션), 여러 도구를 호출하는 다단계 작업에 초점을 뒀다. 서비스 목적에 따라 모델 선택만 바꾸면 둘 사이를 오갈 수 있다.
성능 수치는 제3의 평가기관 Artificial Analysis가 10월 기준으로 측정한 결과다. Max는 음성 기반 추론 능력을 재는 ‘Big Bench Audio’에서 정확도 98.8%를 기록했다. 질문이 끝난 뒤 답변을 시작하기까지는 0.57초가 걸렸다.
대화 중 침묵, 말 차례 전환, 끼어들기, 맞장구에 대한 반응을 재는 ‘Full Duplex Bench’ 점수는 Mini가 95.8%, Max가 94.1%였다. 이 항목에서는 Mini가 Max보다 1.7%p 높다. 다만 Big Bench Audio 정확도와 응답 시작 시간은 Max 수치만 공개됐고 Mini 수치는 나오지 않았다.
Eleven Realtime은 음성 대화 에이전트 플랫폼 ‘Eleven Agents’와 실시간 API(애플리케이션 프로그래밍 인터페이스)로 제공된다. Eleven Agents 이용자는 새 에이전트를 만들거나 기존 에이전트의 모델 선택 메뉴에서 Eleven Realtime을 고를 수 있다. 전화, 웹사이트, 컨택센터 채널에 배포할 수 있고 기존 플랫폼의 워크플로, 지식 베이스, 안전장치, 테스트, 모니터링 기능도 그대로 쓴다.
개발자 쪽 문턱도 낮췄다. 실시간 API는 오픈AI의 Realtime API와 호환되며 웹소켓(WebSocket)으로 연결한다. 이미 오픈AI Realtime API를 쓰는 개발자는 코드에서 연결 대상과 모델명만 바꾸면 바로 전환할 수 있다. 다만 출시 시점에는 WebRTC를 지원하지 않는다.
BigGo 파이낸스는 통합 모델과 오픈AI 호환 API를 동시에 내놓은 것이 기존 음성 에이전트 개발 수요를 흡수하고 자체 모델 전환을 고민하는 개발자도 끌어들이려는 전략이라고 짚었다. 0.57초라는 응답 시간과 끼어들기 대응 점수는 실시간 상담과 안내가 중요한 컨택센터 자동화 수요를 직접 겨냥한 지표라는 설명도 덧붙였다.
ElevenLabs는 한국 시장 공략 의지도 밝혔다. 회사 관계자는 “한국어를 포함해 90개 이상 언어를 지원하는 Eleven Realtime으로 국내 기업과 개발자가 고객과 자연스럽게 대화하는 음성 에이전트를 만들 수 있도록 돕겠다”고 말했다. 파이낸셜뉴스는 초고령사회로 넘어가면서 고객 응대 같은 음성 업무를 효율화할 필요가 커지고 있고, 회사가 다국어 지원과 간편한 모델 개발을 앞세워 기업용 음성 에이전트 시장을 노릴 것으로 내다봤다.
음성 AI 시장에서는 가격 경쟁도 이어지고 있다. 앞서 AssemblyAI가 첫 음성 합성 모델을 내놓고 입력 글자 100만 자당 15달러를 내걸어 ElevenLabs의 Eleven v4(같은 단위 80달러)와 비교됐다. Eleven Realtime은 합성 한 단계가 아니라 인식과 대화 흐름 제어까지 묶은 모델이다. 요금 체계는 보도에 담기지 않았다.
공개된 성능 수치도 Artificial Analysis의 10월 평가에 한정된다. 실제 콜센터나 서비스 현장에서 한국어 대화가 어떤 품질을 낼지는 별도로 확인해야 한다.