Sakana AIのAIプラグインが、大規模モデル向けの文書処理を簡素化
「メモリ不安」とも呼ばれる、大規模言語モデルが長文の処理に苦戦する問題は、まもなく過去のものとなるかもしれない。 最近、東京を拠点とするAIスタートアップのSakana AIは、Text-to-LoRA(T2L) とDoc-to-LoRA(D2L)という2つの画期的な技術を発表した。革新的な「スーパーネットワーク」アーキテクチャを活用することで、これらの技術は、大規模モデルが再学習を行うことなく、1秒未満で膨大な文書を「吸収」したり、新しいタスクを学習したりすることを可能にする。

AI開発者は長らく、長い文書をチャットウィンドウに詰め込む(これにより応答が遅くなり、メモリを大量に消費する)か、モデルの微調整に多額のコストを支払うかという難しいトレードオフに直面してきた。Sakana AIは、その第三の選択肢を提示する。事前学習への1回限りの支払いを経て、ごくわずかな重みを持つプラグイン(LoRA)を生成し、低コストかつ効率的なモデルの適応を実現する。
Doc-to-LoRA:メモリ要件が12GBからわずか50MBに削減
これは最新リリースにおける最も印象的な技術です。従来の方法では、128,000トークン(約10万語)の文書を処理するために、情報を保存するVRAMとして12GB以上が必要でした。D2Lを使用すれば、モデルはこの情報を直接「消化」し、50MB未満のプラグインに変換できます。
驚異的な速度:従来の技術では文書の処理に40~100秒を要しますが、D2Lなら1秒未満で完了します。
限界の突破:モデルは元のコンテキストウィンドウの最大4倍の長さのテキストを処理可能となり、「干し草の山から針を探す」ような検索テストにおいて、ほぼ完璧な精度を達成します。
Text-to-LoRA:日常言語でAIをカスタマイズ
Text-to-LoRAはモデルの応答性を向上させます。ユーザーは「複雑な数学コンテストの問題を解くのを手伝って」といったように、自然言語でタスクを説明するだけで、システムが自動的に専用のプラグインを生成し、パフォーマンスを向上させます。実験によると、この方法で作成されたアダプターは、数学や論理的推論のタスクにおいて、ゼロから学習させた専用モデルを上回る性能を発揮することが明らかになっています。
強力なクロスモーダル技術:テキストモデルに画像を「見せる」
研究者たちは予期せぬ副次的な成果を発見しました。D2Lは強力なクロスモーダル能力を発揮するのです。視覚情報を純粋なテキストモデルのパラメータにマッピングすることで、これまで画像を処理したことがないモデルでも、**75.03%**の精度で画像を分類できるようになります。
Sakana AIの成果は、個人や企業が独自のAIモデルをカスタマイズするための障壁を大幅に低減します。また、より軽量で知的な汎用人工知能(AGI)の開発に向けた新たな道筋を切り開くものです。
論文:https://arxiv.org/pdf/2602.15902
関連記事
ByteDance、コアAIインセンティブを強化、Doubaoが14.6%急伸
ByteDanceは最近、DouBaoの株式に関する説明会を開催し、DouBao部門に関わる従業員向けの新たなインセンティブ政策を発表した。DouBao株式の行使価格は2026年6月の14.85ドルから17.02ドルに引き上げられ、約14.6%の増加となった。この改定により、DouBao株式の評価額が上昇するだけでなく、その配布範囲も大幅に拡大した。個人の役割に応じて、一部の従業員は総報酬の約5%に相当するDouBao株式を受け取ることができる。新しい交換メカニズムの下、ByteDanceは従
MiniMax、グローバルのAI専門家に対するインセンティブを提供する「10xチームプログラム」を発表
MiniMax(稀宇科技)の汎用人工知能ラボは、グローバルな人材連携イニシアチブ「10xチーム」を正式に開始しました。このプログラムは、大規模モデルの専門分野における深い応用を探求するために、各業界のトップエキスパートを募集することを目的としています。深い業界知識と最先端のAIを統合することで、MiniMaxは汎用から専門的なシナリオへと大規模モデルの生産性を拡大し、最終的に業界の効率に「10倍の増加」をもたらすことを目指しています。業界の認知価値を検証し、マルチモーダルの中核リソースを開放す
韓国、国家AI計算センターの起工式を実施、2.5兆ウォンを投資し2028年の完成を目指す
韓国のアウトレッツ、EtNewsの報道によると、全羅南道順天のソラーシティデータセンターパークで、8月3日に韓国AI計算センター(KOACC)の起工式が行われた。総投資額2.5兆ウォン(約118億3800万元)を背景に、この施設は2028年の運用開始を目指しており、これまでに韓国がAIインフラに対して行った国家投資の中で最も大規模なものの一つとなっている。プロジェクトの株式配分は、政府と企業の深い連携を推進する戦略的な取り組みを示している。サムスンSDSが30%の株式を持つ最大株主として主導し
関連特集おすすめ
コメント (0)
0/500
「メモリ不安」とも呼ばれる、大規模言語モデルが長文の処理に苦戦する問題は、まもなく過去のものとなるかもしれない。 最近、東京を拠点とするAIスタートアップのSakana AIは、Text-to-LoRA(T2L) とDoc-to-LoRA(D2L)という2つの画期的な技術を発表した。革新的な「スーパーネットワーク」アーキテクチャを活用することで、これらの技術は、大規模モデルが再学習を行うことなく、1秒未満で膨大な文書を「吸収」したり、新しいタスクを学習したりすることを可能にする。

AI開発者は長らく、長い文書をチャットウィンドウに詰め込む(これにより応答が遅くなり、メモリを大量に消費する)か、モデルの微調整に多額のコストを支払うかという難しいトレードオフに直面してきた。Sakana AIは、その第三の選択肢を提示する。事前学習への1回限りの支払いを経て、ごくわずかな重みを持つプラグイン(LoRA)を生成し、低コストかつ効率的なモデルの適応を実現する。
Doc-to-LoRA:メモリ要件が12GBからわずか50MBに削減
これは最新リリースにおける最も印象的な技術です。従来の方法では、128,000トークン(約10万語)の文書を処理するために、情報を保存するVRAMとして12GB以上が必要でした。D2Lを使用すれば、モデルはこの情報を直接「消化」し、50MB未満のプラグインに変換できます。
驚異的な速度:従来の技術では文書の処理に40~100秒を要しますが、D2Lなら1秒未満で完了します。
限界の突破:モデルは元のコンテキストウィンドウの最大4倍の長さのテキストを処理可能となり、「干し草の山から針を探す」ような検索テストにおいて、ほぼ完璧な精度を達成します。
Text-to-LoRA:日常言語でAIをカスタマイズ
Text-to-LoRAはモデルの応答性を向上させます。ユーザーは「複雑な数学コンテストの問題を解くのを手伝って」といったように、自然言語でタスクを説明するだけで、システムが自動的に専用のプラグインを生成し、パフォーマンスを向上させます。実験によると、この方法で作成されたアダプターは、数学や論理的推論のタスクにおいて、ゼロから学習させた専用モデルを上回る性能を発揮することが明らかになっています。
強力なクロスモーダル技術:テキストモデルに画像を「見せる」
研究者たちは予期せぬ副次的な成果を発見しました。D2Lは強力なクロスモーダル能力を発揮するのです。視覚情報を純粋なテキストモデルのパラメータにマッピングすることで、これまで画像を処理したことがないモデルでも、**75.03%**の精度で画像を分類できるようになります。
Sakana AIの成果は、個人や企業が独自のAIモデルをカスタマイズするための障壁を大幅に低減します。また、より軽量で知的な汎用人工知能(AGI)の開発に向けた新たな道筋を切り開くものです。
論文:https://arxiv.org/pdf/2602.15902
ByteDance、コアAIインセンティブを強化、Doubaoが14.6%急伸
ByteDanceは最近、DouBaoの株式に関する説明会を開催し、DouBao部門に関わる従業員向けの新たなインセンティブ政策を発表した。DouBao株式の行使価格は2026年6月の14.85ドルから17.02ドルに引き上げられ、約14.6%の増加となった。この改定により、DouBao株式の評価額が上昇するだけでなく、その配布範囲も大幅に拡大した。個人の役割に応じて、一部の従業員は総報酬の約5%に相当するDouBao株式を受け取ることができる。新しい交換メカニズムの下、ByteDanceは従
MiniMax、グローバルのAI専門家に対するインセンティブを提供する「10xチームプログラム」を発表
MiniMax(稀宇科技)の汎用人工知能ラボは、グローバルな人材連携イニシアチブ「10xチーム」を正式に開始しました。このプログラムは、大規模モデルの専門分野における深い応用を探求するために、各業界のトップエキスパートを募集することを目的としています。深い業界知識と最先端のAIを統合することで、MiniMaxは汎用から専門的なシナリオへと大規模モデルの生産性を拡大し、最終的に業界の効率に「10倍の増加」をもたらすことを目指しています。業界の認知価値を検証し、マルチモーダルの中核リソースを開放す
韓国、国家AI計算センターの起工式を実施、2.5兆ウォンを投資し2028年の完成を目指す
韓国のアウトレッツ、EtNewsの報道によると、全羅南道順天のソラーシティデータセンターパークで、8月3日に韓国AI計算センター(KOACC)の起工式が行われた。総投資額2.5兆ウォン(約118億3800万元)を背景に、この施設は2028年の運用開始を目指しており、これまでに韓国がAIインフラに対して行った国家投資の中で最も大規模なものの一つとなっている。プロジェクトの株式配分は、政府と企業の深い連携を推進する戦略的な取り組みを示している。サムスンSDSが30%の株式を持つ最大株主として主導し





家






