1. 首頁 > 生活百科 > >

阿里推出Marco-Voice：AI語音兼具模仿與情感

人工智能ai阿里巴巴

阿里推出Marco-Voice：AI語音兼具模仿與情感
【阿里推出Marco-Voice：AI語音兼具模仿與情感】
這項由阿里巴巴國際數字商務團隊的田鳳平、呂晨陽等研究人員完成的突破性研究 ， 發表于2025年8月的arXiv預印本平臺 。 研究團隊開發出了名為Marco-Voice的多功能語音合成系統 ， 同時還構建了包含10小時中文情感語音數據的CSEMOTIONS數據集 。 感興趣的讀者可以通過https://github.com/AIDC-AI/Marco-Voice獲取代碼 ， 通過https://huggingface.co/datasets/AIDC-AI/CSEMOTIONS訪問數據集 。

當我們聽到某個熟悉的聲音時 ， 大腦會瞬間識別出這是誰在說話 ， 同時還能感受到說話者的情緒狀態——是開心、憤怒還是悲傷 。 這種看似簡單的能力 ， 對計算機來說卻是一個巨大的挑戰 。 阿里巴巴的研究團隊正是要讓機器掌握這種既能模仿不同人聲音特色 ， 又能準確表達各種情感的能力 。

傳統的語音合成技術就像一個只會背書的學生 ， 雖然能說出清晰的話語 ， 但聲音聽起來機械呆板 ， 更別說表達豐富的情感了 。 更糟糕的是 ， 當這些系統試圖模仿某個特定人的聲音時 ， 往往會把那個人的說話風格和情感表達方式混在一起 ， 無法單獨控制 。 這就好比一個演員只能完全模仿某個角色的一切 ， 卻無法在保持角色聲音特色的同時表演不同的情緒 。

Marco-Voice的革命性突破在于 ， 它能夠像一個真正優秀的配音演員一樣 ， 既能完美模仿任何人的聲音特色 ， 又能根據需要表達各種不同的情感 。 研究團隊通過巧妙的技術設計 ， 讓系統學會了將\"聲音身份\"和\"情感表達\"分開處理 ， 就像把一個人的外貌特征和性格特點分別記錄一樣 。

一、機器學習人類聲音的藝術：Marco-Voice的核心創新

Marco-Voice的工作原理可以比作一個精通多種技能的聲音魔法師 。 當我們要讓它合成語音時 ， 整個過程分為幾個精密配合的步驟 。

首先 ， 系統需要理解輸入的文字內容 ， 這就像讀劇本的過程 。 文本編碼器會仔細分析每個詞語、句子的含義和語法結構 ， 為后續的語音生成提供基礎信息 。 同時 ， 語音標記器會將參考音頻轉換成機器能夠理解的\"聲音密碼\" ， 這些密碼包含了音頻的各種特征信息 。

接下來是Marco-Voice最精彩的部分——情感和聲音特征的分離處理 。 研究團隊設計了一套\"旋轉情感嵌入整合方法\" ， 聽起來很復雜 ， 其實原理相當巧妙 。 他們發現 ， 如果有同一個人說話時的兩段錄音——一段是中性平靜的 ， 另一段是帶有某種情感的 ， 那么這兩段錄音在機器的\"理解空間\"中的差異 ， 就代表了純粹的情感信息 ， 而剔除了個人聲音特色的干擾 。

這種方法就像從兩張照片中提取表情變化一樣 。 假設你有一張某人面無表情的照片和一張他微笑的照片 ， 通過比較這兩張照片的差異 ， 你就能提取出\"微笑\"這個純粹的表情信息 ， 而不會受到這個人具體長相特征的影響 。 Marco-Voice正是用這種方式學會了從語音中提取純粹的情感信息 。

為了確保聲音身份和情感表達真正做到相互獨立 ， 研究團隊還引入了\"交叉正交約束\"機制 。 這個機制的作用就像一個嚴格的教練 ， 不斷監督系統確保聲音特征和情感特征在學習過程中保持相互垂直的關系 ， 就像數學中的坐標軸一樣 ， 互不干擾 。

二、讓機器學會情感表達的秘密武器

Marco-Voice在處理情感方面的突破 ， 離不開一個叫做\"批次內對比學習\"的技術 。 這個技術的工作原理很像教小孩子區分不同顏色的過程 。

當我們教孩子認識紅色時 ， 不僅會指著紅色的東西說\"這是紅色\" ， 還會同時指著藍色、綠色的東西說\"這些不是紅色\" 。 批次內對比學習就是這樣工作的：當系統學習某種情感表達時 ， 它不僅要學會準確識別這種情感 ， 還要學會將其與其他情感區分開來 。

在每次訓練過程中 ， 系統會同時處理多個不同情感的語音樣本 。 對于其中的每一個樣本 ， 系統都會努力讓它與表達相同情感的樣本更相似 ， 同時與表達不同情感的樣本更不相似 。 這種學習方式大大提高了系統對各種情感的識別和表達能力 。

Marco-Voice還使用了一種叫做\"條件流匹配\"的生成技術 。 這項技術的工作過程就像一個經驗豐富的調音師 ， 能夠根據給定的條件（文本內容、聲音特征、情感要求）精確地調整每一個聲音參數 ， 最終生成自然流暢的語音 。

整個生成過程中最關鍵的創新是引入了交叉注意力機制 。 這個機制讓情感信息能夠深度參與到語音生成的每個環節中 ， 確保最終合成的語音不僅在技術上準確 ， 在情感表達上也自然貼切 。 可以把這個過程想象成一個指揮家同時協調樂隊的不同聲部 ， 確保每個樂器既保持自己的特色 ， 又完美融入整體的情感氛圍中 。

三、CSEMOTIONS：為中文情感語音合成量身打造的數據寶庫

要訓練出優秀的情感語音合成系統 ， 高質量的訓練數據是必不可少的 。 然而 ， 研究團隊發現現有的情感語音數據集存在諸多不足：要么是說話人數量有限 ， 要么是錄音質量參差不齊 ， 要么是情感類別覆蓋不全 。 針對中文語音合成的需求 ， 這個問題更加突出 。

為了解決這個問題 ， 研究團隊構建了CSEMOTIONS數據集 。 這個數據集包含了約10小時的高質量中文情感語音 ， 由6位專業配音演員錄制 ， 其中男女各占一半 。 這些配音演員都具有豐富的聲音表演經驗 ， 能夠準確地表達各種細膩的情感狀態 。

CSEMOTIONS涵蓋了七種不同的情感類別：中性、快樂、憤怒、悲傷、驚訝、恐懼和厭惡 。 每位配音演員都錄制了涵蓋所有情感類別的語音樣本 ， 確保了數據集在說話人和情感覆蓋度方面的平衡性 。

更重要的是 ， 所有錄音都在專業錄音棚中完成 ， 使用了高端的錄音設備 ， 確保了音頻質量的一致性和專業性 。 錄音環境的控制消除了背景噪音和混響的干擾 ， 讓系統能夠專注于學習純粹的語音特征和情感表達 。

除了訓練數據 ， 研究團隊還為每種情感類別精心設計了100個評估句子 ， 這些句子既包含中文也包含英文內容 。 這樣的設計使得系統的性能評估更加全面和客觀 ， 也為跨語言的情感語音合成研究提供了寶貴的基準測試資源 。

四、實驗驗證：Marco-Voice的表現到底如何

為了全面評估Marco-Voice的性能 ， 研究團隊設計了一系列詳細的實驗 。 這些實驗就像給一個新生的配音演員安排試鏡一樣 ， 從多個角度檢驗系統的能力 。

在聲音克隆能力的測試中 ， Marco-Voice的表現令人印象深刻 。 研究團隊邀請了母語使用者對合成語音進行評價 ， 評價維度包括語音清晰度、節奏和語速、自然度、整體滿意度以及說話人相似度 。 結果顯示 ， Marco-Voice在所有維度上都超越了現有的主流系統 。

特別值得注意的是說話人相似度這一指標 ， Marco-Voice獲得了0.8275的高分 ， 明顯超過了對比系統的0.605-0.700分 。 這意味著聽眾很容易就能識別出合成語音確實來自目標說話人 ， 聲音克隆的效果非常逼真 。

在情感表達能力的測試中 ， Marco-Voice同樣展現出了顯著優勢 。 系統在情感表達的準確性和自然度方面都獲得了最高評分 ， 達到了4.225分（滿分5分） 。 這個分數表明 ， 合成的情感語音不僅能準確傳達指定的情感 ， 而且聽起來非常自然 ， 不會讓人感覺機械或夸張 。

研究團隊還進行了直接對比測試 ， 讓聽眾在不知道哪個是Marco-Voice合成的情況下 ， 從成對的語音樣本中選擇更好的那一個 。 結果顯示 ， Marco-Voice在60%-65%的對比中勝出 ， 這在語音合成領域是一個相當不錯的成績 。

更詳細的客觀指標分析顯示 ， Marco-Voice在保持較低詞錯率的同時 ， 在說話人相似度和感知質量方面都表現出色 。 研究團隊測試了系統的多個版本 ， 發現隨著技術改進的逐步加入 ， 系統性能呈現出穩步提升的趨勢 ， 最終的v4版本在大多數指標上都達到了最優水平 。

五、跨語言表現：Marco-Voice的語言適應能力

Marco-Voice的另一個引人注目的特點是其出色的跨語言適應能力 。 研究團隊在英文和中文數據集上都進行了詳細測試 ， 結果顯示系統在兩種語言上都能保持穩定的高質量輸出 。

在情感識別準確率方面 ， Marco-Voice的最新版本在中文數據上達到了0.78的準確率 ， 在英文數據上達到了0.77的準確率 。 這種跨語言的一致性表明 ， 系統學到的不僅僅是特定語言的聲學特征 ， 而是更深層次的情感表達規律 。

有趣的是 ， 研究團隊發現不同情感在兩種語言中的表現模式存在一些差異 。 中性和憤怒情感在兩種語言中都能達到85%以上的識別準確率 ， 表現最為穩定 。 而驚訝和悲傷情感的識別相對困難一些 ， 但Marco-Voice的高級版本仍然能夠在這些具有挑戰性的情感類別上達到73%以上的準確率 。

語言特定的表現模式也很有啟發性 。 在中文數據上 ， 快樂和憤怒情感的識別效果更好 ， 而在英文數據上 ， 中性和悲傷情感的表現更出色 。 這種差異可能反映了不同文化背景下情感表達方式的微妙區別 ， Marco-Voice能夠捕捉并適應這些差異 ， 展現了其跨文化的適應能力 。

六、技術細節探秘：Marco-Voice是如何訓練出來的

Marco-Voice的訓練過程就像培養一個全能的語言表演藝術家 ， 需要在多個方面同時提升能力 。 整個訓練過程基于CosyVoice框架進行改進 ， 使用了8塊NVIDIA A100 GPU ， 訓練時間約為數小時 。

訓練的核心挑戰在于如何平衡多個學習目標 。 系統不僅要學會準確的語音合成 ， 還要掌握聲音克隆和情感表達兩項專門技能 。 研究團隊設計的綜合損失函數就像一個經驗豐富的老師 ， 同時關注學生在多個科目上的表現 。

主要的文本到語音合成損失確保系統能夠生成清晰、自然的語音 。 正交性損失則專門負責維持聲音特征和情感特征之間的獨立性 ， 防止兩者相互干擾 。 對比學習損失幫助系統更好地區分不同的情感表達 。 這三個損失函數的權重經過精心調整 ， 分別設置為主損失的0.1倍和0.5倍 。

訓練使用了Adam優化器 ， 對語言模型部分使用了1×10^-5的學習率 ， 對流匹配部分使用了1×10^-4的學習率 ， 并采用余弦衰減調度策略 。 批量大小設置為每個GPU處理32個樣本 ， 確保了訓練的穩定性和效率 。

研究團隊還發現 ， 僅使用10個樣本進行單次情感嵌入計算就足以產生高質量的情感控制效果 。 這個發現對于實際應用非常重要 ， 意味著用戶不需要提供大量的情感語音樣本就能獲得滿意的合成效果 。

七、深入分析：影響Marco-Voice表現的關鍵因素

研究團隊對影響Marco-Voice性能的各種因素進行了深入分析 ， 這些發現為未來的改進提供了重要指導 。

音頻長度對情感識別效果的影響呈現出明顯的規律 。 短于1秒的語音片段識別準確率普遍較低 ， 通常不到60% 。 這很容易理解 ， 因為太短的語音片段包含的情感信息有限 。 1到3秒的語音片段表現最為理想 ， 準確率通常在60%-80%之間 ， 這個長度既包含了足夠的情感信息 ， 又不會引入過多的干擾因素 。 超過3秒的長語音片段雖然準確率最高 ， 但提升幅度有限 ， 這表明1-3秒是實際應用中的最佳選擇 。

性別差異的分析揭示了一個令人關注的現象：系統在女性說話人上的表現明顯優于男性說話人 。 女性說話人的大多數情感類別都能達到40%以上的準確率 ， 而男性說話人往往低于20% ， 特別是在驚訝和悲傷情感上表現更差 。 這種性別偏差可能源于訓練數據的不平衡或者男女情感表達方式的差異 ， 提醒研究者在未來工作中需要更加注重性別平衡的數據收集和模型優化 。

跨語言性能對比顯示 ， 雖然Marco-Voice在中英文兩種語言上都表現良好 ， 但仍存在一些語言特定的模式 。 這種差異不僅體現在整體準確率上 ， 也體現在特定情感類別的表現差異上 。 這些發現為開發更加通用的多語言情感語音合成系統提供了寶貴的經驗 。

八、Marco-Voice的實際應用前景

Marco-Voice的技術突破為語音合成領域開辟了廣闊的應用前景 。 在虛擬助手領域 ， 這項技術能夠讓AI助手不僅擁有個性化的聲音 ， 還能根據對話內容和用戶情緒調整自己的情感表達 ， 提供更加自然和人性化的交互體驗 。

在內容創作方面 ， Marco-Voice為有聲讀物、播客制作和視頻配音提供了革命性的工具 。 創作者可以使用特定聲優的聲音特色 ， 同時根據內容需要調整情感表達 ， 大大降低了專業配音的成本和制作周期 。 這對于獨立創作者和小型制作團隊來說特別有價值 。

教育技術也是Marco-Voice的重要應用領域 。 個性化的語音教學系統可以使用學生熟悉的聲音進行教學 ， 同時根據教學內容調整語調和情感 ， 讓學習過程更加生動有趣 。 特別是在語言學習中 ， 學生可以聽到標準發音的同時 ， 感受到豐富的情感表達 ， 提高學習效果 。

對于有語言障礙或失去聲音能力的人群 ， Marco-Voice技術可能提供個性化的語音重建服務 。 通過分析用戶的歷史錄音或家人的聲音特征 ， 系統可以幫助他們重新獲得個性化的語音表達能力 。

九、當前限制與未來改進方向

盡管Marco-Voice展現出了令人印象深刻的性能 ， 但研究團隊也坦率地指出了系統目前存在的一些限制 。

首先是對配對情感語音數據的依賴 。 系統需要同一說話人的中性語音和情感語音樣本才能有效工作 ， 這在實際應用中可能限制了系統的使用范圍 。 許多潛在用戶可能無法提供完整的配對數據 ， 特別是對于歷史錄音或已故說話人的聲音重建需求 。

計算效率是另一個需要關注的問題 。 雖然系統在質量上表現出色 ， 但在實時應用場景中 ， 特別是在資源受限的設備上 ， 當前的計算需求可能還是過高 。 這限制了技術在移動設備和邊緣計算場景中的部署 。

研究團隊已經為未來的改進工作制定了明確的方向 。 他們正在探索半監督和自監督學習方法 ， 以減少對配對數據的依賴 。 通過這些方法 ， 系統有望僅使用少量標注數據甚至無標注數據就能實現高質量的聲音克隆和情感合成 。

在效率優化方面 ， 研究團隊計劃采用模型壓縮技術和優化的推理策略 ， 使系統能夠在保持質量的同時顯著降低計算需求 。 這將為Marco-Voice在更廣泛場景中的實際部署鋪平道路 。

擴大語言支持范圍也是重要的發展方向 。 研究團隊希望將Marco-Voice的能力擴展到更多語言 ， 特別是資源較少的語言 ， 為全球用戶提供更加包容的語音合成服務 。

Marco-Voice代表了語音合成技術向更加自然、可控和個性化方向發展的重要里程碑 。 通過巧妙地解決聲音身份和情感表達的分離問題 ， 這項技術不僅在技術上實現了突破 ， 也為人機交互開啟了更加豐富和自然的可能性 。 隨著技術的不斷完善和優化 ， 我們有理由期待Marco-Voice在未來能夠為更多用戶帶來更加出色的語音體驗 ， 讓機器的聲音變得更加人性化和富有表現力 。

Q&A

Q1：Marco-Voice與傳統語音合成技術相比有什么突破性改進？

A：Marco-Voice的核心突破在于能夠獨立控制聲音身份和情感表達 。 傳統語音合成系統往往將說話人的聲音特色和情感表達混在一起 ， 無法單獨調節 。 Marco-Voice通過創新的\"旋轉情感嵌入整合方法\"和\"交叉正交約束\"機制 ， 實現了聲音克隆和情感控制的完全分離 ， 讓系統能夠像優秀配音演員一樣 ， 既保持特定人物的聲音特色 ， 又能根據需要表達不同情感 。

Q2：CSEMOTIONS數據集有什么特殊價值？

A：CSEMOTIONS是專門為中文情感語音合成構建的高質量數據集 ， 包含10小時專業配音員錄制的七種情感類別語音 。 它解決了現有中文情感語音數據稀缺、質量參差不齊的問題 。 數據集采用專業錄音棚錄制 ， 確保音質一致性 ， 并且男女配音員數量平衡 ， 為中文語音合成研究提供了寶貴的標準化訓練和評估資源 。

Q3：Marco-Voice在實際應用中有什么限制？

A：目前Marco-Voice主要有兩個限制：一是需要同一說話人的中性和情感語音配對數據才能有效工作 ， 這在實際應用中可能難以獲?。 歡羌撲闋試蔥棖蠼細?， 在移動設備等資源受限環境中的實時應用還面臨挑戰 。 不過研究團隊正在開發半監督學習方法和模型壓縮技術來解決這些問題 。

    推薦閱讀