Microsoft-Chef kritisiert KI-Labore wegen „Distillation“

Satya Nadella, CEO von Microsoft, wirft KI-Labors Heuchelei hinsichtlich der Kritik an der Modelldestillation vor – eine Äußerung, die weithin als gegen Anthropic gerichtet interpretiert wird. Bildnachweis: Getty Images

Microsoft-CEO Satya Nadella kritisiert KI-Entwickler dafür, dass sie die Modelldestillation einschränken, während sie gleichzeitig öffentliche Daten und Kundendaten nutzen, um ihre eigenen Systeme zu trainieren.

Satya Nadella von Microsoft hat ungenannte KI-Labore in der gesamten Tech-Branche öffentlich für ihre widersprüchliche Haltung zur KI-Destillation kritisiert – einer Technik, bei der ein kleineres Modell anhand der Ergebnisse eines größeren, leistungsstärkeren Systems trainiert wird.

In einem Beitrag auf X argumentiert Nadella, dass Modellentwickler, die sich über die Modelldestillation beschweren, in Bezug auf den allgemeinen KI-Trainingsprozess heuchlerisch seien.

Er räumt ein, dass „die großartige Innovation, die dadurch entsteht, dass Modellanbieter faire Nutzungsrechte für das Training mit öffentlichen Daten haben, notwendig ist“, findet es jedoch „ironisch“, dass der Branchenkonsens der Modelldestillation „restriktive Bedingungen“ auferlegt.

Dies geschieht, obwohl sich diese Unternehmen das Recht vorbehalten, selbst aus den Nutzungs- und Interaktionsdaten ihrer Kunden zu lernen.

„Wenn der Lernprozess nur in eine Richtung verläuft, konzentriert sich der wirtschaftliche Wert auf die Eigentümer der Lerninfrastruktur und nicht auf die Schöpfer des Wissens selbst“, bemerkt Nadella.

Angriffe auf Anthropic verdeutlichen den eskalierenden Streit um die Datenbeschaffung

Anthropic, OpenAI und Google DeepMind stützen sich beim Training ihrer KI-Modelle auf Inhalte von Drittanbietern. ChatGPT, Claude und Gemini beziehen Informationen aus öffentlich zugänglichen Texten, Bildern und Daten.

Viele haben ethische und urheberrechtliche Bedenken hinsichtlich dieser Trainingsmethode geäußert, was zu rechtlichen Schritten seitens großer Inhaltsersteller geführt hat.

So berichtete beispielsweise BBC News, dass die BBC Anthropic wegen nicht einvernehmlicher Datenbeschaffung verklagt.

Obwohl Nadella Anthropic nicht direkt nannte, deuten die Umstände darauf hin, dass sich der Beitrag stark gegen das KI-Unternehmen richtete. Seine Kritik folgt auf einen früheren Beitrag von Anthropic zum Thema „Erkennung und Verhinderung von Destillationsangriffen“.

In einem Brief vom Juni an den Senator von South Carolina, Tim Scott, und die Senatorin von Massachusetts, Elizabeth Warren, behauptete Anthropic, Alibaba habe kürzlich den „größten bekannten Destillationsangriff“ auf seine Daten durchgeführt.

In der Erklärung wurde argumentiert, dass Wettbewerber die „Destillation“ nutzen könnten, um „leistungsstarke Fähigkeiten anderer Labore in einem Bruchteil der Zeit und zu einem Bruchteil der Kosten zu erwerben, die für eine eigenständige Entwicklung erforderlich wären“. Alibaba hat auf diese Vorwürfe bislang noch nicht reagiert.

Unternehmen wie die BBC und Reddit haben Anthropic verklagt und werfen dem Unternehmen vor, ihre Daten ohne Zustimmung zum Trainieren seines Claude-Modells verwendet zu haben (Quelle: Anthropic)

Das Outsourcing von Modellen birgt erhebliche geschäftliche Risiken

Im selben X-Beitrag warnt Nadella davor, dass Unternehmen, die sich auf große KI-Modelle verlassen, KI-Firmen Zugriff auf ihre firmeneigenen Daten gewähren.

Er betont, dass Unternehmen ihre KI-Infrastruktur und ihr Branchenwissen selbst besitzen müssen, anstatt sich auf einen einzigen Modellanbieter zu verlassen.

Nadella rät Unternehmen, eigene Bewertungen und „Lernschleifen“ durchzuführen, um sicherzustellen, dass sich ihre KI-Technologie im Laufe der Zeit weiterentwickelt und verbessert.

Unternehmen benötigen strenge Sicherheitsparameter, um firmeneigene Entwicklungen zu schützen. Nadella erklärt, dass Unternehmen eine echte Vertrauensgrenze benötigen, damit sich ihr menschliches und ihr Token-Kapital vermehren können.

Er fügt hinzu, dass diese Grenze von niemandem und nichts überschritten werden darf, „nicht einmal von den KI-Ausgabedaten, ohne Zustimmung“.

In ähnlicher Weise hat Elon Musk die Praktiken von Anthropic bei der Beschaffung von Daten zum Trainieren seiner KI-Modelle öffentlich kritisiert.

In einem Beitrag auf X vom Februar warf Musk Anthropic vor, „Trainingsdaten in großem Umfang zu stehlen“, und prognostizierte, dass dem Unternehmen wegen Diebstahls „Vergleichszahlungen in Höhe von mehreren Milliarden Dollar“ drohen würden.

„Das ist einfach eine Tatsache“, fügt er hinzu.