Heim
Die PHOTON-Architektur von Fujitsu steigert die KI-Leistung um das 475-Fache und beseitigt Rechenengpässe
Da sich große Modelle weiterhin rasant weiterentwickeln, bleiben Rechenkosten und Verarbeitungseffizienz zentrale Anliegen der Branche. Fujitsu hat kürzlich eine neuartige Architektur namens PHOTON (Top-down Network Parallel Hierarchical Computing) vorgestellt, die darauf ausgelegt ist, die Leistungsgrenzen herkömmlicher Transformer-Modelle in komplexen Szenarien zu überwinden.
Die Transformer-Architektur, die mittlerweile im Bereich der KI dominiert, bewältigt lange Texte oder Aufgaben mit vielen gleichzeitigen Abfragen gut, wird jedoch häufig durch häufige Speicherzugriffe zum Abrufen historischer Informationen verlangsamt, was die Auslastung der GPU erhöht. Das Forschungsteam von Fujitsu hat diesen Schwachpunkt durch eine Neugestaltung der PHOTON-Architektur behoben.

Die Kernstärke von PHOTON liegt in seinem hierarchischen Verarbeitungsansatz. Anstelle der bei herkömmlichen Transformer-Modellen verwendeten Segmentierung auf Token-Ebene führt PHOTON eine semantische Schichtung ein, die die Rechenkomplexität reduziert und gleichzeitig das parallele Rechnen fördert. Zudem optimiert die Architektur bei Aufgaben mit mehreren Abfragen die Entscheidungsfindung: Sie benötigt nur eine einzige Inferenz, um zu einer Schlussfolgerung zu gelangen, wobei Strategien wie „Mehrheitsentscheidung“ oder „beste Wahl“ zum Einsatz kommen.
Testergebnisse zeigen, dass PHOTON bei kleineren Modellen mit 600 Millionen, 900 Millionen und 1,2 Milliarden Parametern einen sehr hohen Durchsatz und einen extrem geringen Speicherbedarf bietet. Im Modell mit 1,2 Milliarden Parametern erreicht die Multi-Query-Leistung das 475-Fache der Leistung gängiger Transformer-Architekturen, was die Effizienz der Ressourcenplanung deutlich verbessert.
Da diese Architektur pro Iteration weniger KV-Cache benötigt, kann das System mehr Iterationen verarbeiten. Dies stellt eine erhebliche Leistungssteigerung für intelligente Agentensysteme dar, die zahlreiche E/A-Prozesse verwalten. Zwar sind bei einigen Qualitätsmetriken leichte Einbußen zu verzeichnen, doch macht der Sprung in der Recheneffizienz von PHOTON es zu einer vielversprechenden technischen Lösung zur Senkung der Betriebskosten im KI-Bereich.
Fujitsu treibt nun aktiv die Anwendung dieser Architektur voran und strebt an, durch Innovationen bei den Kernalgorithmen eine schlankere und effizientere Grundlage für zukünftige intelligente Szenarien zu schaffen.
Verwandter Artikel
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Da sich große Modelle weiterhin rasant weiterentwickeln, bleiben Rechenkosten und Verarbeitungseffizienz zentrale Anliegen der Branche. Fujitsu hat kürzlich eine neuartige Architektur namens PHOTON (Top-down Network Parallel Hierarchical Computing) vorgestellt, die darauf ausgelegt ist, die Leistungsgrenzen herkömmlicher Transformer-Modelle in komplexen Szenarien zu überwinden.
Die Transformer-Architektur, die mittlerweile im Bereich der KI dominiert, bewältigt lange Texte oder Aufgaben mit vielen gleichzeitigen Abfragen gut, wird jedoch häufig durch häufige Speicherzugriffe zum Abrufen historischer Informationen verlangsamt, was die Auslastung der GPU erhöht. Das Forschungsteam von Fujitsu hat diesen Schwachpunkt durch eine Neugestaltung der PHOTON-Architektur behoben.

Die Kernstärke von PHOTON liegt in seinem hierarchischen Verarbeitungsansatz. Anstelle der bei herkömmlichen Transformer-Modellen verwendeten Segmentierung auf Token-Ebene führt PHOTON eine semantische Schichtung ein, die die Rechenkomplexität reduziert und gleichzeitig das parallele Rechnen fördert. Zudem optimiert die Architektur bei Aufgaben mit mehreren Abfragen die Entscheidungsfindung: Sie benötigt nur eine einzige Inferenz, um zu einer Schlussfolgerung zu gelangen, wobei Strategien wie „Mehrheitsentscheidung“ oder „beste Wahl“ zum Einsatz kommen.
Testergebnisse zeigen, dass PHOTON bei kleineren Modellen mit 600 Millionen, 900 Millionen und 1,2 Milliarden Parametern einen sehr hohen Durchsatz und einen extrem geringen Speicherbedarf bietet. Im Modell mit 1,2 Milliarden Parametern erreicht die Multi-Query-Leistung das 475-Fache der Leistung gängiger Transformer-Architekturen, was die Effizienz der Ressourcenplanung deutlich verbessert.
Da diese Architektur pro Iteration weniger KV-Cache benötigt, kann das System mehr Iterationen verarbeiten. Dies stellt eine erhebliche Leistungssteigerung für intelligente Agentensysteme dar, die zahlreiche E/A-Prozesse verwalten. Zwar sind bei einigen Qualitätsmetriken leichte Einbußen zu verzeichnen, doch macht der Sprung in der Recheneffizienz von PHOTON es zu einer vielversprechenden technischen Lösung zur Senkung der Betriebskosten im KI-Bereich.
Fujitsu treibt nun aktiv die Anwendung dieser Architektur voran und strebt an, durch Innovationen bei den Kernalgorithmen eine schlankere und effizientere Grundlage für zukünftige intelligente Szenarien zu schaffen.
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
U.S.-Aktien erreichen historischen Meilenstein, während KI- und Luft- und Raumfahrtriesen auf ihr Debüt als Billionen-Dollar-Unternehmen vorbereiten
Elon Musk, Sam Altman und Dario Amodei, drei Giganten des Technologiesektors, schreiten den Börsengängen ihrer jeweiligen Unternehmen voran. Mit SpaceX, OpenAI und Anthropic – drei Branchenriesen, die einer Bewertung von einer Billion US-Dollar nahek











