Das KI-Plugin von Sakana AI vereinfacht die Dokumentenverarbeitung für große Modelle
Die Schwierigkeiten großer Sprachmodelle bei der Verarbeitung langer Texte, oft als „Speicherangst“ bezeichnet, könnten bald der Vergangenheit angehören. Kürzlich stellte das in Tokio ansässige KI-Startup Sakana AI zwei bahnbrechende Technologien vor: Text-to-LoRA (T2L) und Doc-to-LoRA (D2L). Mithilfe einer innovativen „Super-Netzwerk“-Architektur ermöglichen diese Technologien großen Modellen, umfangreiche Dokumente in weniger als einer Sekunde zu „absorbieren“ oder neue Aufgaben zu erlernen – und das ganz ohne erneutes Training.

KI-Entwickler standen lange Zeit vor einem schwierigen Kompromiss: entweder lange Dokumente in ein Chat-Fenster zu stopfen – was die Antworten verlangsamt und viel Speicherplatz beansprucht – oder die hohen Kosten für die Feinabstimmung eines Modells zu tragen. Sakana AI bietet nun eine dritte Option. Durch eine einmalige Zahlung für das Vortraining generiert es winzige Gewichts-Plugins (LoRA), um eine kostengünstige und effiziente Modellanpassung zu erreichen.
Doc-to-LoRA: Speicherbedarf sinkt von 12 GB auf nur 50 MB
Dies ist die beeindruckendste Technologie in der neuesten Version. Die Verarbeitung eines Dokuments mit 128.000 Token (etwa 100.000 Wörter) erfordert mit herkömmlichen Methoden über 12 GB VRAM zur Speicherung der Informationen. Mit D2L kann das Modell diese Informationen direkt in ein Plugin von weniger als 50 MB „verdauen“.
Bemerkenswerte Geschwindigkeit: Herkömmliche Technologien benötigen 40 bis 100 Sekunden, um ein Dokument zu verarbeiten, während D2L dies in weniger als 1 Sekunde schafft.
Grenzen verschieben: Es ermöglicht Modellen, Texte zu verarbeiten, die bis zu viermal länger sind als ihr ursprüngliches Kontextfenster, und erzielt dabei nahezu perfekte Genauigkeit in „Nadel-im-Heuhaufen“-Such-Tests.
Text-to-LoRA: KI mit Alltagssprache anpassen
Text-to-LoRA macht Modelle reaktionsschneller. Nutzer beschreiben eine Aufgabe einfach in natürlicher Sprache – zum Beispiel „Hilf mir, eine komplexe Aufgabe aus einem Mathematikwettbewerb zu lösen“ – und das System generiert automatisch ein spezielles Plugin, um die Leistung zu verbessern. Experimente zeigen, dass auf diese Weise erstellte Adapter dedizierte Modelle übertreffen können, die von Grund auf für mathematische und logische Aufgaben trainiert wurden.
Leistungsstarke crossmodale Technologie: Textmodelle in die Lage versetzen, Bilder zu „sehen“
Die Forscher entdeckten einen unerwarteten Bonus: D2L weist starke crossmodale Fähigkeiten auf. Durch die Abbildung visueller Informationen in die Parameter eines reinen Textmodells kann ein Modell, das zuvor noch nie Bilder verarbeitet hat, diese mit einer Genauigkeit von **75,03 %** klassifizieren.
Die Errungenschaften von Sakana AI senken die Hürden für Einzelpersonen und Unternehmen bei der Anpassung privater KI-Modelle erheblich. Sie ebnen zudem einen neuen Weg zur Entwicklung einer leichteren und intelligenteren allgemeinen künstlichen Intelligenz (AGI).
Artikel: https://arxiv.org/pdf/2602.15902
Verwandter Artikel
Sechs Tech-Giganten unterstützen die Linux Foundation mit 12,5 Millionen US-Dollar, um das Rauschen bei KI-Schwachstellen zu bekämpfen
Um der Flut von Sicherheitsberichten niedriger Qualität, die durch KI-Automatisierungstools erzeugt werden, zu begegnen, haben sechs große Technologieunternehmen – Anthropic, Amazon (AWS), GitHub, Google, Microsoft und OpenAI – gemeinsam 12,5 Million
Musk erwog, OpenAI an seine Kinder zu übergeben, während Altman aussagte
Diesen Morgen trat OpenAI-CEO Sam Altman vor Gericht, um sich zur Klage von Ex-Mitbegründer Elon Musk zu äußern, die die Unternehmensstruktur der Firma anfechtet.Auf die Frage nach Musks Behauptung, andere Mitbegründer hätten „eine Wohltätigkeitsorg
Sam Altman löst eine Debatte über die Verlangsamung der KI-Entwicklung aus
Bei Apple Podcasts anhörenBei Spotify anhörenDer CEO von OpenAI, Sam Altman, hat kürzlich vorgeschlagen, es könnte an der Zeit sein, „das Tempo der KI-Entwicklung zu drosseln“, um der Gesellschaft Zeit zu geben, „sich um einige dieser neuen Fähigkei
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Die Schwierigkeiten großer Sprachmodelle bei der Verarbeitung langer Texte, oft als „Speicherangst“ bezeichnet, könnten bald der Vergangenheit angehören. Kürzlich stellte das in Tokio ansässige KI-Startup Sakana AI zwei bahnbrechende Technologien vor: Text-to-LoRA (T2L) und Doc-to-LoRA (D2L). Mithilfe einer innovativen „Super-Netzwerk“-Architektur ermöglichen diese Technologien großen Modellen, umfangreiche Dokumente in weniger als einer Sekunde zu „absorbieren“ oder neue Aufgaben zu erlernen – und das ganz ohne erneutes Training.

KI-Entwickler standen lange Zeit vor einem schwierigen Kompromiss: entweder lange Dokumente in ein Chat-Fenster zu stopfen – was die Antworten verlangsamt und viel Speicherplatz beansprucht – oder die hohen Kosten für die Feinabstimmung eines Modells zu tragen. Sakana AI bietet nun eine dritte Option. Durch eine einmalige Zahlung für das Vortraining generiert es winzige Gewichts-Plugins (LoRA), um eine kostengünstige und effiziente Modellanpassung zu erreichen.
Doc-to-LoRA: Speicherbedarf sinkt von 12 GB auf nur 50 MB
Dies ist die beeindruckendste Technologie in der neuesten Version. Die Verarbeitung eines Dokuments mit 128.000 Token (etwa 100.000 Wörter) erfordert mit herkömmlichen Methoden über 12 GB VRAM zur Speicherung der Informationen. Mit D2L kann das Modell diese Informationen direkt in ein Plugin von weniger als 50 MB „verdauen“.
Bemerkenswerte Geschwindigkeit: Herkömmliche Technologien benötigen 40 bis 100 Sekunden, um ein Dokument zu verarbeiten, während D2L dies in weniger als 1 Sekunde schafft.
Grenzen verschieben: Es ermöglicht Modellen, Texte zu verarbeiten, die bis zu viermal länger sind als ihr ursprüngliches Kontextfenster, und erzielt dabei nahezu perfekte Genauigkeit in „Nadel-im-Heuhaufen“-Such-Tests.
Text-to-LoRA: KI mit Alltagssprache anpassen
Text-to-LoRA macht Modelle reaktionsschneller. Nutzer beschreiben eine Aufgabe einfach in natürlicher Sprache – zum Beispiel „Hilf mir, eine komplexe Aufgabe aus einem Mathematikwettbewerb zu lösen“ – und das System generiert automatisch ein spezielles Plugin, um die Leistung zu verbessern. Experimente zeigen, dass auf diese Weise erstellte Adapter dedizierte Modelle übertreffen können, die von Grund auf für mathematische und logische Aufgaben trainiert wurden.
Leistungsstarke crossmodale Technologie: Textmodelle in die Lage versetzen, Bilder zu „sehen“
Die Forscher entdeckten einen unerwarteten Bonus: D2L weist starke crossmodale Fähigkeiten auf. Durch die Abbildung visueller Informationen in die Parameter eines reinen Textmodells kann ein Modell, das zuvor noch nie Bilder verarbeitet hat, diese mit einer Genauigkeit von **75,03 %** klassifizieren.
Die Errungenschaften von Sakana AI senken die Hürden für Einzelpersonen und Unternehmen bei der Anpassung privater KI-Modelle erheblich. Sie ebnen zudem einen neuen Weg zur Entwicklung einer leichteren und intelligenteren allgemeinen künstlichen Intelligenz (AGI).
Artikel: https://arxiv.org/pdf/2602.15902
Sechs Tech-Giganten unterstützen die Linux Foundation mit 12,5 Millionen US-Dollar, um das Rauschen bei KI-Schwachstellen zu bekämpfen
Um der Flut von Sicherheitsberichten niedriger Qualität, die durch KI-Automatisierungstools erzeugt werden, zu begegnen, haben sechs große Technologieunternehmen – Anthropic, Amazon (AWS), GitHub, Google, Microsoft und OpenAI – gemeinsam 12,5 Million
Musk erwog, OpenAI an seine Kinder zu übergeben, während Altman aussagte
Diesen Morgen trat OpenAI-CEO Sam Altman vor Gericht, um sich zur Klage von Ex-Mitbegründer Elon Musk zu äußern, die die Unternehmensstruktur der Firma anfechtet.Auf die Frage nach Musks Behauptung, andere Mitbegründer hätten „eine Wohltätigkeitsorg
Sam Altman löst eine Debatte über die Verlangsamung der KI-Entwicklung aus
Bei Apple Podcasts anhörenBei Spotify anhörenDer CEO von OpenAI, Sam Altman, hat kürzlich vorgeschlagen, es könnte an der Zeit sein, „das Tempo der KI-Entwicklung zu drosseln“, um der Gesellschaft Zeit zu geben, „sich um einige dieser neuen Fähigkei





Heim






