Heim
Apple und LM Studio geben bahnbrechende Partnerschaft bekannt – vier Mac-basierte Studios setzen große Modelle mit Billionen Parametern ein

Bahnbrechende Demonstration auf der WWDC: Ausführung eines KI-Modells mit einer Billion Parametern auf Apple-Hardware
Auf der jüngsten WWDC präsentierte die KI-Softwareplattform LM Studio in Zusammenarbeit mit Apple eine bahnbrechende Errungenschaft im Bereich der künstlichen Intelligenz. Dem Team gelang es, das Flaggschiff-Modell von Moonshot AI, Kimi K2.6, auf einem Cluster aus vier Mac Studios auszuführen. Diese Demonstration verdeutlichte eindrucksvoll die beachtlichen Fähigkeiten der Apple-Silicon-Architektur bei der Verarbeitung extrem großer KI-Modelle.
Das Modell „Kimi K2.6“ basiert auf einer fortschrittlichen MoE-Architektur und verfügt über insgesamt bis zu eine Billion Parameter. Zwar reduziert das dynamische Expert-Scheduling-System des Modells die Rechenlast während der Inferenz, indem es jeweils nur etwa 32 Milliarden Parameter aktiviert, doch stellt das Laden des gesamten Modells nach wie vor eine erhebliche Herausforderung für den Arbeitsspeicher dar. Bei der Verarbeitung in FP16-Genauigkeit werden etwa 2 TB Speicher benötigt. In herkömmlichen Rechenzentrumsumgebungen erfordert die Erfüllung dieser Anforderung in der Regel den Einsatz von Serverclustern mit 8 bis 16 High-End-GPUs, was Kosten in Millionenhöhe verursachen kann.
Die Demonstration überwand diese Einschränkung jedoch durch eine innovative technische Lösung. Die vier mit M3-Ultra-Chips ausgestatteten Mac Studios wurden über Thunderbolt-5-Schnittstellen miteinander verbunden und nutzten dabei die in den neuesten macOS-Versionen verfügbare RDMA-over-Thunderbolt-Technologie. Dieser Ansatz ermöglichte eine direkte Speicherfreigabe zwischen den Geräten, wodurch deren insgesamt 2 TB einheitlicher Speicher effektiv zu einem einzigen logischen Speicherpool zusammengefasst wurden. Dadurch konnte das Modell mit einer Billion Parametern problemlos geladen werden. Während der Live-Demo lieferte der Cluster eine starke Leistung und erzeugte etwa 28 Token pro Sekunde, wobei er deutlich weniger Strom verbrauchte als herkömmliche GPU-basierte Rechenzentren.
Neben dieser Demonstration stellte LM Studio im Rahmen der Zusammenarbeit auch LM Link vor. Dieses auf der Tailscale-Mesh-VPN-Architektur basierende Tool ermöglicht es Nutzern, von überall aus über durchgehend verschlüsselte Verbindungen sicher auf den lokalen Mac Studio-Cluster zuzugreifen. Nutzer können die Rechenleistung des Clusters für Inferenzzwecke entweder über ein MacBook oder ein iPhone nutzen, ohne physisch am Host-Gerät anwesend sein zu müssen. Alle sensiblen Daten werden lokal innerhalb einer sicheren Schleife verarbeitet, wodurch jegliche Übertragung über Cloud-Server von Drittanbietern vermieden wird.
Diese Demonstration diente nicht nur als technisches Vorzeigeprojekt, sondern sendete auch eine klare Botschaft an die Branche. Apple Silicon entwickelt sich mit seinem einheitlichen Speicherdesign und seinen effizienten Funktionen zur Konnektivität mehrerer Geräte zu einer praktikablen Option für den Einsatz großer KI-Modelle. Für Unternehmen, die häufig und langfristig Inferenzaufgaben mit großen Modellen ausführen müssen, eliminiert diese Lösung die hohen Kosten, die mit Cloud-Diensten verbunden sind, indem sie diese durch Hardware-Investitionen ersetzt, was im Laufe der Zeit zu erheblichen Kosteneinsparungen führt.
Da sich die Leistung von Hardware-Clustern für Endverbraucher kontinuierlich verbessert, sinken die Hürden für den Einsatz von KI-Technologien weiter. Diese Errungenschaft deutet darauf hin, dass die Quelle bahnbrechender KI-Innovationen nicht länger auf eine Handvoll Technologiegiganten mit großen Supercomputer-Einrichtungen beschränkt sein wird. In einer dezentralisierten Rechenlandschaft dürften sich in naher Zukunft neue Entwicklungsmöglichkeiten eröffnen.
Verwandter Artikel
Schwedisches KI-Startup Lovable Eyes: Bewertung von 13,2 Milliarden US-Dollar nach großer Finanzierungsrunde
Während KI-gestützte Coding-Tools an Popularität gewinnen, hat das schwedische Startup Lovable eine bedeutende Finanzierungsrunde abgeschlossen. Das Unternehmen strebt danach, 3 Milliarden US-Dollar einzusammeln, was seine Bewertung potenziell auf 13
Google testet den Remy AI Agent für Gemini, da der Fokus auf die Benutzerkontrolle verlagert wird
Laut Business Insider testet Google Remy, einen neuen KI-Personalagenten für Gemini. Dieses Tool soll Aufgaben im Auftrag von Nutzern ausführen und sowohl professionelle Arbeitsabläufe als auch tägliche Routinen optimieren.Derzeit wird Remy in einer
So beheben Sie Core Web Vitals für bessere SEO-Rankings
Berichtskartenkommentare mit KI-Tools optimierenEinführungKI-Tools zur Generierung von BerichtskartenkommentarenMagic SchoolAlmanac AIChat GPTNutzung von Magic School zur Generierung von BerichtskartenkommentarenAnmeldung bei Magic SchoolAuswahl des
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Bahnbrechende Demonstration auf der WWDC: Ausführung eines KI-Modells mit einer Billion Parametern auf Apple-Hardware
Auf der jüngsten WWDC präsentierte die KI-Softwareplattform LM Studio in Zusammenarbeit mit Apple eine bahnbrechende Errungenschaft im Bereich der künstlichen Intelligenz. Dem Team gelang es, das Flaggschiff-Modell von Moonshot AI, Kimi K2.6, auf einem Cluster aus vier Mac Studios auszuführen. Diese Demonstration verdeutlichte eindrucksvoll die beachtlichen Fähigkeiten der Apple-Silicon-Architektur bei der Verarbeitung extrem großer KI-Modelle.
Das Modell „Kimi K2.6“ basiert auf einer fortschrittlichen MoE-Architektur und verfügt über insgesamt bis zu eine Billion Parameter. Zwar reduziert das dynamische Expert-Scheduling-System des Modells die Rechenlast während der Inferenz, indem es jeweils nur etwa 32 Milliarden Parameter aktiviert, doch stellt das Laden des gesamten Modells nach wie vor eine erhebliche Herausforderung für den Arbeitsspeicher dar. Bei der Verarbeitung in FP16-Genauigkeit werden etwa 2 TB Speicher benötigt. In herkömmlichen Rechenzentrumsumgebungen erfordert die Erfüllung dieser Anforderung in der Regel den Einsatz von Serverclustern mit 8 bis 16 High-End-GPUs, was Kosten in Millionenhöhe verursachen kann.
Die Demonstration überwand diese Einschränkung jedoch durch eine innovative technische Lösung. Die vier mit M3-Ultra-Chips ausgestatteten Mac Studios wurden über Thunderbolt-5-Schnittstellen miteinander verbunden und nutzten dabei die in den neuesten macOS-Versionen verfügbare RDMA-over-Thunderbolt-Technologie. Dieser Ansatz ermöglichte eine direkte Speicherfreigabe zwischen den Geräten, wodurch deren insgesamt 2 TB einheitlicher Speicher effektiv zu einem einzigen logischen Speicherpool zusammengefasst wurden. Dadurch konnte das Modell mit einer Billion Parametern problemlos geladen werden. Während der Live-Demo lieferte der Cluster eine starke Leistung und erzeugte etwa 28 Token pro Sekunde, wobei er deutlich weniger Strom verbrauchte als herkömmliche GPU-basierte Rechenzentren.
Neben dieser Demonstration stellte LM Studio im Rahmen der Zusammenarbeit auch LM Link vor. Dieses auf der Tailscale-Mesh-VPN-Architektur basierende Tool ermöglicht es Nutzern, von überall aus über durchgehend verschlüsselte Verbindungen sicher auf den lokalen Mac Studio-Cluster zuzugreifen. Nutzer können die Rechenleistung des Clusters für Inferenzzwecke entweder über ein MacBook oder ein iPhone nutzen, ohne physisch am Host-Gerät anwesend sein zu müssen. Alle sensiblen Daten werden lokal innerhalb einer sicheren Schleife verarbeitet, wodurch jegliche Übertragung über Cloud-Server von Drittanbietern vermieden wird.
Diese Demonstration diente nicht nur als technisches Vorzeigeprojekt, sondern sendete auch eine klare Botschaft an die Branche. Apple Silicon entwickelt sich mit seinem einheitlichen Speicherdesign und seinen effizienten Funktionen zur Konnektivität mehrerer Geräte zu einer praktikablen Option für den Einsatz großer KI-Modelle. Für Unternehmen, die häufig und langfristig Inferenzaufgaben mit großen Modellen ausführen müssen, eliminiert diese Lösung die hohen Kosten, die mit Cloud-Diensten verbunden sind, indem sie diese durch Hardware-Investitionen ersetzt, was im Laufe der Zeit zu erheblichen Kosteneinsparungen führt.
Da sich die Leistung von Hardware-Clustern für Endverbraucher kontinuierlich verbessert, sinken die Hürden für den Einsatz von KI-Technologien weiter. Diese Errungenschaft deutet darauf hin, dass die Quelle bahnbrechender KI-Innovationen nicht länger auf eine Handvoll Technologiegiganten mit großen Supercomputer-Einrichtungen beschränkt sein wird. In einer dezentralisierten Rechenlandschaft dürften sich in naher Zukunft neue Entwicklungsmöglichkeiten eröffnen.
Schwedisches KI-Startup Lovable Eyes: Bewertung von 13,2 Milliarden US-Dollar nach großer Finanzierungsrunde
Während KI-gestützte Coding-Tools an Popularität gewinnen, hat das schwedische Startup Lovable eine bedeutende Finanzierungsrunde abgeschlossen. Das Unternehmen strebt danach, 3 Milliarden US-Dollar einzusammeln, was seine Bewertung potenziell auf 13
So beheben Sie Core Web Vitals für bessere SEO-Rankings
Berichtskartenkommentare mit KI-Tools optimierenEinführungKI-Tools zur Generierung von BerichtskartenkommentarenMagic SchoolAlmanac AIChat GPTNutzung von Magic School zur Generierung von BerichtskartenkommentarenAnmeldung bei Magic SchoolAuswahl des











