Heim
Google stellt die „Gemma 4 E2B“-Architektur vor – ein Durchbruch im Bereich der gerätebasierten KI

Das Open-Source-Ökosystem für große Modelle hat einen bedeutenden Durchbruch bei seiner zugrunde liegenden Architektur erzielt. Google DeepMind hat kürzlich sein bislang leistungsstärkstes offenes Modell vorgestellt: Gemma4. Während die Anzahl der Parameter des Modells mit rund 30 Milliarden ähnlich hoch ist wie bei seinem Vorgänger, hat seine „Intelligenz pro Parameter“ einen deutlichen Sprung nach vorne gemacht. Seine Leistung bei mehreren Kernaufgaben kann nun mit der der besten Closed-Source-Großmodelle von vor anderthalb Jahren mithalten.
Die bemerkenswerteste technologische Innovation von Gemma4 ist die Einführung der neuen „E2B“-Architektur (Parameter-Offloading). In herkömmlichen Transformer-Designs beansprucht die große Einbettungsschicht in der Regel erheblichen GPU-Speicher. Die neue Architektur fügt auf intelligente Weise in jeder Schicht eine Einbettungstabelle hinzu und ersetzt so die rechenintensive vollständige Matrixmultiplikation durch einen Lookup-Tabellen-Mechanismus. Beispielsweise müssen bei einem Modell mit 50 Milliarden Parametern unter der E2B-Architektur nur 20 Milliarden Parameter in den GPU-Speicher geladen werden, während die verbleibenden 30 Milliarden sicher auf die CPU oder sogar auf die Festplatte ausgelagert werden können. Dadurch kann das Modell schnelle Inferenz mit nur 2 GB GPU-Speicher durchführen und so Einsatzengpässe auf Edge-Geräten wie Mobiltelefonen und dem Raspberry Pi überwinden.
Als äußerst ambitionierte und komplexe Veröffentlichung arbeitete das Google DeepMind-Team mit fast 50 externen Partnern zusammen, darunter Hugging Face, llama.cpp, Ollama, NVIDIA und AMD. Derzeit ist Gemma4 tief in Android Studio integriert. Entwickler können KI sicher aufrufen, um Android-Code lokal in Offline-Umgebungen zu schreiben, ohne im Agent-Modus Code an eine Cloud-API hochladen zu müssen. Dies trägt in hohem Maße der starken Nachfrage nach Datenschutz und Offline-Arbeit am Arbeitsplatz Rechnung.
Was multimodale Fähigkeiten und Kernkompetenzen angeht, baut Gemma4 auf den Forschungsergebnissen von Gemini3 auf. Selbst kleine Edge-Modelle mit 2B oder 4B Parametern bieten hervorragende mehrsprachige Unterstützung (140 Sprachen) und multimodales Verständnis und bewältigen mühelos Spracherkennung, Sprachabfragen sowie die Videoanalyse von 30 bis 60 Sekunden. Obwohl das Modell hinsichtlich der absoluten Wissenskapazität noch hinter größeren Modellen zurückbleibt und in hochmodernen experimentellen Bereichen wie Textdiffusion (Diffusion Transformer) und dem Fine-Tuning mittels „Mixture of Experts“ (MoE) mit branchenweit anerkannten Herausforderungen konfrontiert ist, ist seine hochdichte Intelligenz nicht mehr zu vernachlässigen.
Da sich die sofort einsatzbereiten Fähigkeiten großer Modelle kontinuierlich verbessern, durchläuft das Entwicklungsökosystem in vertikalen Fachbereichen eine tiefgreifende Umstrukturierung, und die Beliebtheit des rein traditionellen Fine-Tunings lässt allmählich nach. Mit Blick auf die Zukunft hat Google DeepMind eine wegweisende Prognose abgegeben: Innerhalb der nächsten ein bis zwei Jahre werden die Smartphones der Nutzer in der Lage sein, leistungsstarke Modelle, die der Leistung von Gemini3Pro entsprechen, direkt auf dem Gerät auszuführen. Zu diesem Zeitpunkt werden die meisten komplexen Aufgaben intelligenter Agenten lokal ausgeführt werden, ohne auf Cloud-Rechenleistung angewiesen zu sein, was zweifellos disruptive Veränderungen für die Integration von Verbraucheranwendungen der nächsten Generation und das Nutzererlebnis mit sich bringen wird.
Verwandter Artikel
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Das Open-Source-Ökosystem für große Modelle hat einen bedeutenden Durchbruch bei seiner zugrunde liegenden Architektur erzielt. Google DeepMind hat kürzlich sein bislang leistungsstärkstes offenes Modell vorgestellt: Gemma4. Während die Anzahl der Parameter des Modells mit rund 30 Milliarden ähnlich hoch ist wie bei seinem Vorgänger, hat seine „Intelligenz pro Parameter“ einen deutlichen Sprung nach vorne gemacht. Seine Leistung bei mehreren Kernaufgaben kann nun mit der der besten Closed-Source-Großmodelle von vor anderthalb Jahren mithalten.
Die bemerkenswerteste technologische Innovation von Gemma4 ist die Einführung der neuen „E2B“-Architektur (Parameter-Offloading). In herkömmlichen Transformer-Designs beansprucht die große Einbettungsschicht in der Regel erheblichen GPU-Speicher. Die neue Architektur fügt auf intelligente Weise in jeder Schicht eine Einbettungstabelle hinzu und ersetzt so die rechenintensive vollständige Matrixmultiplikation durch einen Lookup-Tabellen-Mechanismus. Beispielsweise müssen bei einem Modell mit 50 Milliarden Parametern unter der E2B-Architektur nur 20 Milliarden Parameter in den GPU-Speicher geladen werden, während die verbleibenden 30 Milliarden sicher auf die CPU oder sogar auf die Festplatte ausgelagert werden können. Dadurch kann das Modell schnelle Inferenz mit nur 2 GB GPU-Speicher durchführen und so Einsatzengpässe auf Edge-Geräten wie Mobiltelefonen und dem Raspberry Pi überwinden.
Als äußerst ambitionierte und komplexe Veröffentlichung arbeitete das Google DeepMind-Team mit fast 50 externen Partnern zusammen, darunter Hugging Face, llama.cpp, Ollama, NVIDIA und AMD. Derzeit ist Gemma4 tief in Android Studio integriert. Entwickler können KI sicher aufrufen, um Android-Code lokal in Offline-Umgebungen zu schreiben, ohne im Agent-Modus Code an eine Cloud-API hochladen zu müssen. Dies trägt in hohem Maße der starken Nachfrage nach Datenschutz und Offline-Arbeit am Arbeitsplatz Rechnung.
Was multimodale Fähigkeiten und Kernkompetenzen angeht, baut Gemma4 auf den Forschungsergebnissen von Gemini3 auf. Selbst kleine Edge-Modelle mit 2B oder 4B Parametern bieten hervorragende mehrsprachige Unterstützung (140 Sprachen) und multimodales Verständnis und bewältigen mühelos Spracherkennung, Sprachabfragen sowie die Videoanalyse von 30 bis 60 Sekunden. Obwohl das Modell hinsichtlich der absoluten Wissenskapazität noch hinter größeren Modellen zurückbleibt und in hochmodernen experimentellen Bereichen wie Textdiffusion (Diffusion Transformer) und dem Fine-Tuning mittels „Mixture of Experts“ (MoE) mit branchenweit anerkannten Herausforderungen konfrontiert ist, ist seine hochdichte Intelligenz nicht mehr zu vernachlässigen.
Da sich die sofort einsatzbereiten Fähigkeiten großer Modelle kontinuierlich verbessern, durchläuft das Entwicklungsökosystem in vertikalen Fachbereichen eine tiefgreifende Umstrukturierung, und die Beliebtheit des rein traditionellen Fine-Tunings lässt allmählich nach. Mit Blick auf die Zukunft hat Google DeepMind eine wegweisende Prognose abgegeben: Innerhalb der nächsten ein bis zwei Jahre werden die Smartphones der Nutzer in der Lage sein, leistungsstarke Modelle, die der Leistung von Gemini3Pro entsprechen, direkt auf dem Gerät auszuführen. Zu diesem Zeitpunkt werden die meisten komplexen Aufgaben intelligenter Agenten lokal ausgeführt werden, ohne auf Cloud-Rechenleistung angewiesen zu sein, was zweifellos disruptive Veränderungen für die Integration von Verbraucheranwendungen der nächsten Generation und das Nutzererlebnis mit sich bringen wird.
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek











