Fish Audio 드라마 3, 일레븐 v4 제친 발음 견고성 93.2%…무료로 풀렸다

음성 합성(TTS) 스타트업 Fish Audio가 새 텍스트 음성 변환 모델 ‘드라마 3(Drama 3)’를 내놨다. 유나이트AI에 따르면 발표일은 10월 13일(현지시각)이다. 스타트업포춘(Startup Fortune)은 이 모델의 가중치(weights·학습된 모델 값)가 허깅페이스에 공개됐고 일정 매출 미만 기업은 무료로 쓸 수 있다고 전했다.

독립 벤치마크 기관 아티피셜 애널리시스(Artificial Analysis)의 평가도 눈에 띈다. 스타트업포춘 보도에 따르면 드라마 3 프리뷰는 이 기관의 텍스트 음성 변환 리더보드에서 오픈 가중치 모델 1위에 올랐다. 발음 견고성 평가에서는 공개·비공개를 통틀어 모든 모델 가운데 가장 높았다.

일레븐랩스 최신 모델보다 높은 발음 견고성 93.2%

스타트업포춘은 아티피셜 애널리시스가 운영하는 ‘발음 견고성(Pronunciation Robustness)’ 벤치마크에서 드라마 3가 일레븐랩스(ElevenLabs)의 일레븐 v4와 일레븐 v4 터보를 모두 앞섰다고 전했다. 점수는 93.2%다. 이 평가는 모델이 어려운 단어와 숫자, 코드를 소리 내어 제대로 읽는지를 본다.

매체는 이 지표가 상업적으로 중요하다고 짚었다. 음성 에이전트가 계좌번호나 약 이름 앞에서 막히면 곧바로 어색하게 들리기 때문이다. 누구나 무료로 내려받을 수 있는 모델이 일레븐랩스의 최신 모델보다 이 항목에서 앞섰다는 해석이다.

다만 일레븐랩스는 이 결과에 공개적으로 대응하지 않았다고 스타트업포춘은 적었다. 일레븐 v4와 v4 터보는 여전히 일레븐랩스의 최신 모델이다. 매체는 스튜디오 도구와 기업용 지원 계약 면에서는 일레븐랩스가 여전히 우위에 있다고도 평가했다.

앞서 Fish Audio는 3월에 ‘피시 스피치 S2’를 내놨다. 회사는 이 모델이 일레븐 v3를 581건의 쌍대 비교에서 60대 40으로 이겼다고 밝혔다. 이는 실제 서비스 트래픽 기반 5,098건 비교 테스트의 일부다.

350억 파라미터 중 30억만 쓰는 구조

스타트업포춘에 따르면 드라마 3는 350억 개 파라미터(매개변수)의 전문가 혼합 모델이다. 토큰 하나를 처리할 때는 이 가운데 30억 개만 활성화한다. 전체 규모에 비해 빠르게 돌아가 실시간 용도에도 쓸 수 있는 이유다. 지원 언어는 83개이고 여러 인물이 나오는 장면과 긴 오디오에 맞춰 설계됐다.

Fish Audio의 발표문은 사용법을 ‘연출’에 초점을 맞춰 설명한다. 공동창업자 겸 최고경영자 리사 카오는 “음성 AI는 말을 생성하는 데는 매우 능숙해졌다. 다음 단계는 연기를 연출하는 것”이라고 밝혔다. 사용자가 원하는 어조와 속도, 캐릭터를 일상 언어로 설명하면 된다. 한 문장 안에서 차분하게 시작해 당황한 어조로 바꾸는 식의 지시도 새로 생성하지 않고 가능하다는 게 회사 설명이다.

유나이트AI가 확인한 공개 프리뷰 페이지에는 구체적인 조작법이 나온다. 연기 지시와 효과음, 쉼을 대괄호 안에 넣을 수 있다. 특정 단어에는 짝을 이루는 태그를 붙여 속삭임이나 강조, 느린 전달 같은 효과를 그 구간에만 적용할 수 있다. ‘자동 태그’ 기능은 대본에 맞는 초기 지시를 제안하고 창작자가 이를 고친다.

다중 화자 기능은 한 번의 생성으로 장면 전체를 만든다. Fish Audio는 각 캐릭터가 고유한 목소리를 유지하면서 앞선 대사에 반응한다고 설명했다. 여러 요청을 이어 붙이는 방식과 달리 긴 대본 전체에서 하나의 연기를 유지한다는 점도 내세웠다. 영어와 중국어, 일본어, 한국어 등에서는 음소 단위 발음 제어도 가능하다고 회사는 밝혔다.

단어 하나만 고치는 오디오 인페인팅의 현재 상태

가장 주목받는 기능은 오디오 인페인팅이다. 기존 연기에서 일부 구간만 골라 지시를 수정하고 그 부분만 다시 생성하며 주변 오디오는 그대로 둔다. 공동창업자 겸 최고과학책임자 시지아 랴오는 단어 하나를 바꿀 때 “드라마 3는 그 양옆의 오디오를 듣고 새 단어를 맞춘다”고 설명했다. 같은 목소리, 같은 분위기, 같은 리듬이라는 것이다. 그는 작아 보이지만 모델에서 가장 어려운 부분 중 하나였다고 덧붙였다.

카오 CEO는 오디오북과 다국어 더빙처럼 긴 작업에서 이 기능이 중요하다고 말했다. “단어 하나가 틀렸다고 한 챕터를 통째로 다시 생성해서는 안 된다”는 취지다. 회사가 제시한 활용처는 오디오 드라마와 인터랙티브 콘텐츠, 오디오북, 게임과 애니메이션, AI 컴패니언 서비스 등이다.

현재 상태에는 주의할 점이 있다. 스타트업포춘은 단어 단위 오디오 인페인팅이 아직 초대 전용 테스트 단계이고 공개 편집 API는 계획 중이라고 전했다. 유나이트AI도 이번 발표가 목소리·억양·전환 구간별로 단어 수정이 주변 오디오를 얼마나 안정적으로 보존하는지에 대한 독립 평가를 제시하지 않았다고 지적했다. 업무 효율 개선 효과도 측정된 수치가 아니라 잠재적 이점이라는 설명이다.

유나이트AI에 따르면 개발자용 API 문서에는 모델 식별자가 ‘drama-3-preview’로 올라 있다. 다중 화자 요청은 음성 식별자 목록과 텍스트 안의 화자 표시로 구성한다. 속도와 음량, 샘플링 제어를 지원하고 출력 형식은 WAV, PCM, MP3, 오푸스다. 제품 페이지와 문서는 아직 프리뷰라고 설명하며 Fish Audio는 결과가 생성마다 다를 수 있고 모델이 계속 바뀐다고 안내한다.

연매출 50만 달러 미만이면 상업 이용도 무료

스타트업포춘은 라이선스 조건을 이번 공개의 핵심으로 꼽았다. ‘Fish Audio 커뮤니티 라이선스 v1.0’은 연구와 비상업 용도를 무료로 허용한다. 상업 이용도 회사와 계열사의 연간 매출이 50만 달러 미만이면 무료다. 이를 넘기거나 드라마 3를 호스팅 TTS·음성 복제 API로 다른 사람에게 재판매하려면 Fish Audio와 유료 라이선스를 맺어야 한다. 동의 없이 실존 인물의 목소리를 복제하는 행위는 라이선스에서 명시적으로 금지된다.

스타트업포춘은 이 문턱이 글자 수 단위로 요금을 내는 개발자를 겨냥한 것으로 풀이했다. 매출이 50만 달러에 못 미치는 두 명짜리 스타트업이 보이스오버 도구나 더빙 파이프라인, 에이전트 음성 인터페이스를 만든다면 계속 무료로 쓸 수 있다. 매체는 일레븐랩스에는 이 수준의 모델 품질에서 이에 상응하는 무료 구간이 없다고 지적했다.

회사 규모에 대한 수치는 보도마다 다르다. 스타트업포춘은 Fish Audio의 연간 반복 매출이 2,100만 달러이고 이용자가 800만 명 넘는다고 전했다. 유나이트AI와 에이아이소리티는 같은 ARR에 이용자 수를 1,500만 명 이상으로 적었다. 모두 회사가 밝힌 수치여서 집계 시점이나 기준이 다를 가능성이 있다.

투자 정보는 스타트업포춘에 나온다. Fish Audio는 7월 시드 라운드에서 5,200만 달러(약 694억 원, 1달러 1,334원 기준)를 조달했다. 코어라인 벤처스와 캐피털 투데이가 주도했다. 회사는 인기 오픈소스 음성 프로젝트였던 피시 스피치에서 약 1년 전 성장했다.

에이아이소리티가 전한 회사 발표문에는 최근 행보도 담겼다. 화자 분리 기능을 내장한 음성 인식 모델과 전문 창작자용 작업 공간 ‘피시 크리에이티브’, iOS·안드로이드 앱을 잇달아 내놨다. 드라마 3의 전작인 S2.1 프로는 출시 3주 만에 오픈라우터에서 가장 많이 요청된 음성 모델이 됐다고 한다. 회사는 에이레프스가 꼽은 빠르게 성장하는 AI 기업 50곳 중 1위이며 브랜드 검색량이 전년 대비 740% 늘었다고도 밝혔다.

스타트업포춘은 가중치가 허깅페이스에 올라와 있지만 이를 바탕으로 개발자들이 무엇을 만들지는 사전에 측정할 수 없다고 전했다. 프리뷰 단계라는 점과 인페인팅이 제한적 테스트라는 점을 고려하면 실제 제작 환경에서의 평가는 이제부터 시작이다.