텐센트 훈위안 및 협력사들이 MMAE 벤치마크를 출시하며, AI 음성 편집 기술의 정확도가 5% 미만임을 공개했습니다.

인공지능은 음성 생성 분야에서 큰 진전을 이루었지만, 기존 음성 파일의 편집은 여전히 심각한 과제로 남아 있습니다. 최근 텐센트 하이는 상하이교통대학교(SJTU), 난양공과대학교(NTU), 천진대학교(TJU), 베이징대학교(PKU), 푸단대학교(FDU)를 포함한 주요 연구기관들과 협력하여 MMAE(Massive Multitask Audio Editing Benchmark)를 선보였습니다. 이는 일반적인 지시 기반 음성 편집을 위해 설계된 최초의 대규모 다중 작업 벤치마크입니다. 이번 출시를 통해 AI 음성 편집 분야에 체계적인 평가 기준이 마련되었으며, 현재 기술이 정밀한 수정 작업을 수행하는 데 있어서의 명확한 한계들이 드러났습니다.
“생성”에서 “편집”으로: AI 음성 기술의 진정한 과제
기존의 음성 관련 AI는 텍스트나 프롬프트를 바탕으로 새로운 콘텐츠를 생성하는 데 중점을 두었습니다. 반면 MMAE 벤치마크의 핵심은 모델들이 기존 음성 클립을 이해하고 자연어 지시에 따라 정밀한 조정을 수행하도록 하는 데 있습니다. 즉, 변경이 필요한 부분만 수정하고 나머지는 그대로 유지해야 합니다. 이러한 “재구성이 아닌 편집” 방식은 더 높은 음성 충실도, 보다 우수한 지시 수행 능력, 그리고 심층적인 맥락 이해를 요구하므로 팟캐스트 후반 작업, 음악 믹싱, 음성 개인화와 같은 실제 활용 분야와 훨씬 더 잘 부합합니다.
테스트 결과 현재 주류 모델들의 전반적인 정확 일치율(EMR)은 5% 미만으로 나타나, 신뢰할 수 있는 음성 편집 기술에 있어서 상당한 격차가 존재함을 보여줍니다. 이는 AI가 실제 편집 작업을 수행할 때 과도하게 수정하거나 지시를 놓치거나 원본 음성의 품질을 저하시키는 경향이 있음을 의미합니다.
MMAE 벤치마크의 주요 특징: 실제 환경에 맞는 다차원적 평가
MMAE 벤치마크는 철저한 설계와 엄격한 기준을 바탕으로 구성되어 있으며, 다음과 같은 주요 요소들을 포함하고 있습니다.
2,000개의 고충실도 샘플: 모두 실제 환경에서 수집된 것으로, 실용적이고 다양한 평가가 가능합니다.17,741개의 세분화된 평가 지표: 객관적인 정량화를 위한 상세한 점수 체계를 제공합니다.7가지 모달 설정: 음성, 음악, 말소리 및 그 조합을 포함하여 복잡한 음성 환경에서의 테스트를 지원합니다.6단계의 작업 난이도: 기본적인 수정부터 다단계 추론 및 여러 차례에 걸친 편집까지 다양하게 구성되어 모델의 능력을 종합적으로 평가할 수 있습니다.8가지 유형의 작업: 로컬 및 글로벌 단위에서 서로 다른 세분화 수준의 편집 작업을 지원하며, 모델의 미세한 제어 능력을 시험합니다.
AIbase 코멘트: MMAE는 단순한 기술 평가 도구에 그치지 않고, 음성 AI를 “생성형”에서 “편집 가능형”으로 발전시키는 중요한 이정표입니다. 이는 연구자들과 개발자들을 위한 통일된 기준을 제공하며, 차세대 음성 편집 모델의 개발을 가속화할 것으로 기대됩니다.
향후 전망: 음성 편집, AI 멀티모달 시스템의 핵심 역량이 될 수 있을까
멀티모달 대형 모델들이 빠르게 발전함에 따라 정밀한 음성 편집은 콘텐츠 제작, 영화 후반 작업, 접근성 도구 등에서 매우 중요한 역할을 하게 될 것입니다. 최근 텐센트 하이와 여러 기관들 간의 협력은 중국이 음성 AI 연구 분야에서 선도적인 위치를 차지하고 있음을 보여줍니다. 업계는 이러한 기술적 격차를 메우기 위해 더 많은 오픈소스 자원과 후속 모델들이 등장할 것으로 기대하고 있습니다.
관련 기사
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib
구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트
비즈니스 인사이더에 따르면, 구글은 제미나이를 위한 새로운 AI 개인 에이전트인 레미를 테스트하고 있습니다. 이 도구는 사용자를 대신하여 작업을 실행하여 전문적인 워크플로우와 일상적인 루틴을 모두 간소화하는 것을 목표로 합니다.현재 레미는 제미나이 애플리케이션의 내부 직원 전용 버전에서 테스트 중입니다. 이 보고서는 내부 문서와 프로젝트에 정통한 두 명의 인물과의 인터뷰를 인용합니다. 내부 자료는 레미를 “24/7 개인 에이전트”로 묘사하며,
관련 특별 주제 추천
의견 (0)
0/500

인공지능은 음성 생성 분야에서 큰 진전을 이루었지만, 기존 음성 파일의 편집은 여전히 심각한 과제로 남아 있습니다. 최근 텐센트 하이는 상하이교통대학교(SJTU), 난양공과대학교(NTU), 천진대학교(TJU), 베이징대학교(PKU), 푸단대학교(FDU)를 포함한 주요 연구기관들과 협력하여 MMAE(Massive Multitask Audio Editing Benchmark)를 선보였습니다. 이는 일반적인 지시 기반 음성 편집을 위해 설계된 최초의 대규모 다중 작업 벤치마크입니다. 이번 출시를 통해 AI 음성 편집 분야에 체계적인 평가 기준이 마련되었으며, 현재 기술이 정밀한 수정 작업을 수행하는 데 있어서의 명확한 한계들이 드러났습니다.
“생성”에서 “편집”으로: AI 음성 기술의 진정한 과제
기존의 음성 관련 AI는 텍스트나 프롬프트를 바탕으로 새로운 콘텐츠를 생성하는 데 중점을 두었습니다. 반면 MMAE 벤치마크의 핵심은 모델들이 기존 음성 클립을 이해하고 자연어 지시에 따라 정밀한 조정을 수행하도록 하는 데 있습니다. 즉, 변경이 필요한 부분만 수정하고 나머지는 그대로 유지해야 합니다. 이러한 “재구성이 아닌 편집” 방식은 더 높은 음성 충실도, 보다 우수한 지시 수행 능력, 그리고 심층적인 맥락 이해를 요구하므로 팟캐스트 후반 작업, 음악 믹싱, 음성 개인화와 같은 실제 활용 분야와 훨씬 더 잘 부합합니다.
테스트 결과 현재 주류 모델들의 전반적인 정확 일치율(EMR)은 5% 미만으로 나타나, 신뢰할 수 있는 음성 편집 기술에 있어서 상당한 격차가 존재함을 보여줍니다. 이는 AI가 실제 편집 작업을 수행할 때 과도하게 수정하거나 지시를 놓치거나 원본 음성의 품질을 저하시키는 경향이 있음을 의미합니다.
MMAE 벤치마크의 주요 특징: 실제 환경에 맞는 다차원적 평가
MMAE 벤치마크는 철저한 설계와 엄격한 기준을 바탕으로 구성되어 있으며, 다음과 같은 주요 요소들을 포함하고 있습니다.
2,000개의 고충실도 샘플: 모두 실제 환경에서 수집된 것으로, 실용적이고 다양한 평가가 가능합니다.17,741개의 세분화된 평가 지표: 객관적인 정량화를 위한 상세한 점수 체계를 제공합니다.7가지 모달 설정: 음성, 음악, 말소리 및 그 조합을 포함하여 복잡한 음성 환경에서의 테스트를 지원합니다.6단계의 작업 난이도: 기본적인 수정부터 다단계 추론 및 여러 차례에 걸친 편집까지 다양하게 구성되어 모델의 능력을 종합적으로 평가할 수 있습니다.8가지 유형의 작업: 로컬 및 글로벌 단위에서 서로 다른 세분화 수준의 편집 작업을 지원하며, 모델의 미세한 제어 능력을 시험합니다.
AIbase 코멘트: MMAE는 단순한 기술 평가 도구에 그치지 않고, 음성 AI를 “생성형”에서 “편집 가능형”으로 발전시키는 중요한 이정표입니다. 이는 연구자들과 개발자들을 위한 통일된 기준을 제공하며, 차세대 음성 편집 모델의 개발을 가속화할 것으로 기대됩니다.
향후 전망: 음성 편집, AI 멀티모달 시스템의 핵심 역량이 될 수 있을까
멀티모달 대형 모델들이 빠르게 발전함에 따라 정밀한 음성 편집은 콘텐츠 제작, 영화 후반 작업, 접근성 도구 등에서 매우 중요한 역할을 하게 될 것입니다. 최근 텐센트 하이와 여러 기관들 간의 협력은 중국이 음성 AI 연구 분야에서 선도적인 위치를 차지하고 있음을 보여줍니다. 업계는 이러한 기술적 격차를 메우기 위해 더 많은 오픈소스 자원과 후속 모델들이 등장할 것으로 기대하고 있습니다.
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib





집






