Fish AudioがS2を発表:オープンソースモデルにより単語単位の感情制御を実現

Fish Audioは、オープンソースのTTS技術において表現力と制御性の面で大きな飛躍を遂げた、新しいテキスト読み上げモデル「S2」を正式にリリースしました。
「Fish Audio S2」と名付けられたこのモデルは、強力な感情制御を最優先しています。ユーザーは自然言語による指示を用いて、プロソディ(抑揚)や感情をきめ細かく調整できます。[laugh]、[whisper]、[super happy] といったタグを挿入したり、[professional broadcast tone] や [pitch up] といった自由形式の記述を使用したりすることで、単語単位での精密な制御が可能となり、表現力豊かで自然な生き生きとした音声を生成できます。
主な機能は以下の通りです:
完全なオープンソース:モデルの重み、微調整コード、およびSGLangに基づくストリーミング推論エンジンはすべて、GitHubとHugging Faceで公開されています。 S2-Proは、約44億のパラメータを持つフラッグシップバージョンです。超低遅延:推論遅延は150ミリ秒未満であり、チャットボットやバーチャルストリーマーなどのリアルタイムアプリケーションに最適です。ネイティブのマルチスピーカー対応:単一の推論で複数の話者を処理でき、会話のターンや割り込み、自然な感情表現を処理しながら、追加処理なしで一貫した音声品質を維持します。Fish Audioによると、S2は約50言語に及ぶ約1,000万時間の音声データを用いて学習されました。強化学習によるアライメントとデュアル自己回帰アーキテクチャを活用し、複数のベンチマークにおいて業界トップクラスの自然さと表現力を発揮しています。オープンソース・プロプライエタリを問わず、現在利用可能なTTSシステムの中で最も感情表現に優れたシステムの一つとされています。「真の言語的自由が今、始まる」とFish Audioは発表し、本物の感情と個性を備えたAI音声の到来を告げました。
GitHub:https://github.com/fishaudio/fish-speech/
HuggingFace:https://huggingface.co/fishaudio/s2-pro/
関連記事
「TechCrunch Disrupt 2026」のブレイクアウト・セッションのプログラムが発表された
「TechCrunch Disrupt 2026」が10月13日から15日まで、サンフランシスコのモスコーン・ウェストで開催されます。1万人以上の創業者、投資家、経営者、テクノロジー業界のリーダーが一堂に会し、3日間にわたり、洞察、ネットワーキング、そして未来を見据えた対話が繰り広げられます。今すぐ登録すると、パスを最大100ドル割引で購入でき、さらに2枚目のチケットを50%オフで確保できます。最
ダークウェブにおけるAI計算資源の争奪戦:主要アカウントが30%割引、盗まれたモデルが攻撃に利用される
AIモデルおよび計算リソースの不正取得が、地下市場の「最も欲しいもの」リストのトップへと急成長している。サイバー犯罪者は、これらの高価な大規模言語モデル(LLM)をランサムウェアキャンペーン、サイバー戦争、およびスパイ活動にますます活用している。Googleの脅威インテリジェンスグループのチーフアナリストであるJohn Hultquist氏は、今年「LLMハイジャック」事件が急増したと指摘した。攻撃者は、公共AIプラットフォームの盗まれた認証情報を販売するか、あるいは計算リソースを直接盗み、無
Nvidia、来年の売上高の25%を資金提供を受けた研究所から得る見込み
Nvidiaは、同社のチップを購入するAI研究所に500億米ドル近くを投入し、総額5,000億米ドルを超える契約を確保した。8月26日、CFOのコレット・クレス氏はアナリストに対し、Nvidiaの財務基盤に支えられたこれらの研究所が、来年の同社事業の約4分の1を占める見込みであると伝えた。この仕組みは、しばしば「循環型資金調達」と呼ばれるが、アナリストがこの用語を考案する以前からNvidiaはこれ
関連特集おすすめ
コメント (0)
0/500

Fish Audioは、オープンソースのTTS技術において表現力と制御性の面で大きな飛躍を遂げた、新しいテキスト読み上げモデル「S2」を正式にリリースしました。
「Fish Audio S2」と名付けられたこのモデルは、強力な感情制御を最優先しています。ユーザーは自然言語による指示を用いて、プロソディ(抑揚)や感情をきめ細かく調整できます。[laugh]、[whisper]、[super happy] といったタグを挿入したり、[professional broadcast tone] や [pitch up] といった自由形式の記述を使用したりすることで、単語単位での精密な制御が可能となり、表現力豊かで自然な生き生きとした音声を生成できます。
主な機能は以下の通りです:
完全なオープンソース:モデルの重み、微調整コード、およびSGLangに基づくストリーミング推論エンジンはすべて、GitHubとHugging Faceで公開されています。 S2-Proは、約44億のパラメータを持つフラッグシップバージョンです。超低遅延:推論遅延は150ミリ秒未満であり、チャットボットやバーチャルストリーマーなどのリアルタイムアプリケーションに最適です。ネイティブのマルチスピーカー対応:単一の推論で複数の話者を処理でき、会話のターンや割り込み、自然な感情表現を処理しながら、追加処理なしで一貫した音声品質を維持します。Fish Audioによると、S2は約50言語に及ぶ約1,000万時間の音声データを用いて学習されました。強化学習によるアライメントとデュアル自己回帰アーキテクチャを活用し、複数のベンチマークにおいて業界トップクラスの自然さと表現力を発揮しています。オープンソース・プロプライエタリを問わず、現在利用可能なTTSシステムの中で最も感情表現に優れたシステムの一つとされています。「真の言語的自由が今、始まる」とFish Audioは発表し、本物の感情と個性を備えたAI音声の到来を告げました。
GitHub:https://github.com/fishaudio/fish-speech/
HuggingFace:https://huggingface.co/fishaudio/s2-pro/
「TechCrunch Disrupt 2026」のブレイクアウト・セッションのプログラムが発表された
「TechCrunch Disrupt 2026」が10月13日から15日まで、サンフランシスコのモスコーン・ウェストで開催されます。1万人以上の創業者、投資家、経営者、テクノロジー業界のリーダーが一堂に会し、3日間にわたり、洞察、ネットワーキング、そして未来を見据えた対話が繰り広げられます。今すぐ登録すると、パスを最大100ドル割引で購入でき、さらに2枚目のチケットを50%オフで確保できます。最
ダークウェブにおけるAI計算資源の争奪戦:主要アカウントが30%割引、盗まれたモデルが攻撃に利用される
AIモデルおよび計算リソースの不正取得が、地下市場の「最も欲しいもの」リストのトップへと急成長している。サイバー犯罪者は、これらの高価な大規模言語モデル(LLM)をランサムウェアキャンペーン、サイバー戦争、およびスパイ活動にますます活用している。Googleの脅威インテリジェンスグループのチーフアナリストであるJohn Hultquist氏は、今年「LLMハイジャック」事件が急増したと指摘した。攻撃者は、公共AIプラットフォームの盗まれた認証情報を販売するか、あるいは計算リソースを直接盗み、無
Nvidia、来年の売上高の25%を資金提供を受けた研究所から得る見込み
Nvidiaは、同社のチップを購入するAI研究所に500億米ドル近くを投入し、総額5,000億米ドルを超える契約を確保した。8月26日、CFOのコレット・クレス氏はアナリストに対し、Nvidiaの財務基盤に支えられたこれらの研究所が、来年の同社事業の約4分の1を占める見込みであると伝えた。この仕組みは、しばしば「循環型資金調達」と呼ばれるが、アナリストがこの用語を考案する以前からNvidiaはこれ





家






