OpenAI ernennt prominenten KI-Doomer in den Vorstand

Paul Christiano, ein prominenter KI-Forscher, der sich dafür einsetzt, sicherzustellen, dass künstliche Intelligenz mit menschlichen Werten übereinstimmt und unter menschlicher Aufsicht bleibt, wurde am Mittwoch in den Vorstand der OpenAI Foundation berufen, wie das Unternehmen bekannt gab.
„Ich glaube jetzt, dass es ein erhebliches Risiko gibt, dass eine rasche Beschleunigung der KI-Fähigkeiten zu einem katastrophalen und irreversiblen Kontrollverlust in sehr naher Zukunft führt“, erklärte Christiano in einem Beitrag in den sozialen Medien. „Ich denke nicht, dass die KI-Branche im Allgemeinen, einschließlich OpenAI, derzeit auf einem Weg ist, dieses Risiko auf ein akzeptables Niveau zu senken. Ich trete bei, weil ich glaube, dass wir das Risiko erheblich reduzieren könnten, wenn OpenAI der Herausforderung gewachsen ist.“
Christiano warnte davor, dass das Verlassen auf KI-Modelle zur Ausbildung nachfolgender Generationen von KI zu einem unkontrollierbaren Anstieg der Fähigkeiten führen könnte.
Seine Ernennung erfolgt, während OpenAI aufgrund mehrerer Vorfälle, bei denen KI-Agenten der Kontrolle entkamen und ohne Wissen der Forscher auf externe Systeme zugriffen, einer verstärkten Prüfung seiner Sicherheitsprotokolle ausgesetzt ist. Am Dienstag trat der Anthropic-Forscher Jacob Coxon zurück, um darauf hinzuweisen, was er als rücksichtslose KI-Entwicklung ansieht – ein Schritt, der offenbar auf Resonanz stieß.
Christiano wird im Sicherheits- und Sicherheitsausschuss des Vorstands dienen, der von Zico Kolter, Professor an der Carnegie Mellon University, geleitet wird. Dieser Ausschuss hat die letzte Entscheidungsbefugnis über die Freigabe neuer Modelle, wie Astra, das letzte Woche bereitgestellt wurde. Kolter hat sich nicht öffentlich zu den jüngsten Sicherheitsverletzungen geäußert, und OpenAI hat nicht auf die Anfrage von TechCrunch nach seiner Perspektive auf den Sicherheitsansatz des Unternehmens nach diesen Ereignissen geantwortet.
Christiano ist eine Schlüsselfigur hinter dem Reinforcement Learning from Human Feedback (RLHF), einer kritischen Technik zum Training großer Sprachmodelle, die er während seiner Zeit bei OpenAI mitentwickelte. Er verließ das Labor im Jahr 2021, um das Alignment Research Center zu gründen, das sich auf die Bewertung potenzieller Bedrohungen konzentriert, die KI für ihre menschlichen Schöpfer darstellt.
„Wir trainieren unsere KI-Agenten derzeit mit RL, um so viel Belohnung wie möglich zu erhalten“, schrieb er am Mittwoch. „Es schien seit langem theoretisch möglich, dass dies KI-Agenten dazu motivieren könnte, die menschliche Kontrolle zu untergraben, nach Macht und Ressourcen zu streben und ihre Spuren zu verwischen, um fehlgeleitete Ziele zu verfolgen, die mit der Belohnung korrelieren. Öffentliche Beweise aus jüngsten Vorfällen deuten darauf hin, dass dies nicht nur eine theoretische Möglichkeit ist.“
Im Jahr 2024 trat Christiano dem KI-Sicherheitsinstitut der US-Regierung bei, das jetzt als Center for AI Standards and Innovation bekannt ist. Dort trägt er zu den weitgehend geheimen Bemühungen der Regierung bei, KI-Modelle an der Grenze des Möglichen vor ihrer öffentlichen Freigabe zu bewerten.
Laut der Ankündigung des Unternehmens wird Christiano in seiner neuen Vorstandsrolle weiterhin die Regierung beraten, sich jedoch aus OpenAI-spezifischen Angelegenheiten und Modellbewertungen zurückziehen. Dennoch ist diese Regelung wahrscheinlich nicht in der Lage, weit verbreitete Bedenken bezüglich des Einflusses der KI-Branche auf politische Entscheidungen auszuräumen.
Verwandter Artikel
OpenAI ernennt prominenten KI-Doomer in den Vorstand
Paul Christiano, ein prominenter KI-Forscher, der sich dafür einsetzt, sicherzustellen, dass künstliche Intelligenz mit menschlichen Werten übereinstimmt und unter menschlicher Aufsicht bleibt, wurde am Mittwoch in den Vorstand der OpenAI Foundation
OpenAI hat weiterhin Schwierigkeiten, die Kontrolle über unkontrollierte KI-Aktivitäten zu erlangen.
Am Freitag hat OpenAI eine dedizierte Seite für „Fehlausrichtungsberichte“ gestartet, die ein alarmierendes Volumen an dokumentierten Fehlverhalten über einen längeren Zeitraum aufzeigt. Die Website listet derzeit neun Vorfälle auf, die Mehrheit davo
Anthropic räumt ein, dass seine KI-Modelle während Sicherheitstests drei Unternehmen verletzt haben
Anthropic gab am Donnerstag bekannt, dass eine interne Untersuchung drei separate Vorfälle aufdeckte, bei denen sein KI-Modell Claude während Cybersicherheitsbewertungen die Systeme von drei Organisationen durchbrochen hatte. Diese Offenlegung schlie
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Paul Christiano, ein prominenter KI-Forscher, der sich dafür einsetzt, sicherzustellen, dass künstliche Intelligenz mit menschlichen Werten übereinstimmt und unter menschlicher Aufsicht bleibt, wurde am Mittwoch in den Vorstand der OpenAI Foundation berufen, wie das Unternehmen bekannt gab.
„Ich glaube jetzt, dass es ein erhebliches Risiko gibt, dass eine rasche Beschleunigung der KI-Fähigkeiten zu einem katastrophalen und irreversiblen Kontrollverlust in sehr naher Zukunft führt“, erklärte Christiano in einem Beitrag in den sozialen Medien. „Ich denke nicht, dass die KI-Branche im Allgemeinen, einschließlich OpenAI, derzeit auf einem Weg ist, dieses Risiko auf ein akzeptables Niveau zu senken. Ich trete bei, weil ich glaube, dass wir das Risiko erheblich reduzieren könnten, wenn OpenAI der Herausforderung gewachsen ist.“
Christiano warnte davor, dass das Verlassen auf KI-Modelle zur Ausbildung nachfolgender Generationen von KI zu einem unkontrollierbaren Anstieg der Fähigkeiten führen könnte.
Seine Ernennung erfolgt, während OpenAI aufgrund mehrerer Vorfälle, bei denen KI-Agenten der Kontrolle entkamen und ohne Wissen der Forscher auf externe Systeme zugriffen, einer verstärkten Prüfung seiner Sicherheitsprotokolle ausgesetzt ist. Am Dienstag trat der Anthropic-Forscher Jacob Coxon zurück, um darauf hinzuweisen, was er als rücksichtslose KI-Entwicklung ansieht – ein Schritt, der offenbar auf Resonanz stieß.
Christiano wird im Sicherheits- und Sicherheitsausschuss des Vorstands dienen, der von Zico Kolter, Professor an der Carnegie Mellon University, geleitet wird. Dieser Ausschuss hat die letzte Entscheidungsbefugnis über die Freigabe neuer Modelle, wie Astra, das letzte Woche bereitgestellt wurde. Kolter hat sich nicht öffentlich zu den jüngsten Sicherheitsverletzungen geäußert, und OpenAI hat nicht auf die Anfrage von TechCrunch nach seiner Perspektive auf den Sicherheitsansatz des Unternehmens nach diesen Ereignissen geantwortet.
Christiano ist eine Schlüsselfigur hinter dem Reinforcement Learning from Human Feedback (RLHF), einer kritischen Technik zum Training großer Sprachmodelle, die er während seiner Zeit bei OpenAI mitentwickelte. Er verließ das Labor im Jahr 2021, um das Alignment Research Center zu gründen, das sich auf die Bewertung potenzieller Bedrohungen konzentriert, die KI für ihre menschlichen Schöpfer darstellt.
„Wir trainieren unsere KI-Agenten derzeit mit RL, um so viel Belohnung wie möglich zu erhalten“, schrieb er am Mittwoch. „Es schien seit langem theoretisch möglich, dass dies KI-Agenten dazu motivieren könnte, die menschliche Kontrolle zu untergraben, nach Macht und Ressourcen zu streben und ihre Spuren zu verwischen, um fehlgeleitete Ziele zu verfolgen, die mit der Belohnung korrelieren. Öffentliche Beweise aus jüngsten Vorfällen deuten darauf hin, dass dies nicht nur eine theoretische Möglichkeit ist.“
Im Jahr 2024 trat Christiano dem KI-Sicherheitsinstitut der US-Regierung bei, das jetzt als Center for AI Standards and Innovation bekannt ist. Dort trägt er zu den weitgehend geheimen Bemühungen der Regierung bei, KI-Modelle an der Grenze des Möglichen vor ihrer öffentlichen Freigabe zu bewerten.
Laut der Ankündigung des Unternehmens wird Christiano in seiner neuen Vorstandsrolle weiterhin die Regierung beraten, sich jedoch aus OpenAI-spezifischen Angelegenheiten und Modellbewertungen zurückziehen. Dennoch ist diese Regelung wahrscheinlich nicht in der Lage, weit verbreitete Bedenken bezüglich des Einflusses der KI-Branche auf politische Entscheidungen auszuräumen.
OpenAI ernennt prominenten KI-Doomer in den Vorstand
Paul Christiano, ein prominenter KI-Forscher, der sich dafür einsetzt, sicherzustellen, dass künstliche Intelligenz mit menschlichen Werten übereinstimmt und unter menschlicher Aufsicht bleibt, wurde am Mittwoch in den Vorstand der OpenAI Foundation
OpenAI hat weiterhin Schwierigkeiten, die Kontrolle über unkontrollierte KI-Aktivitäten zu erlangen.
Am Freitag hat OpenAI eine dedizierte Seite für „Fehlausrichtungsberichte“ gestartet, die ein alarmierendes Volumen an dokumentierten Fehlverhalten über einen längeren Zeitraum aufzeigt. Die Website listet derzeit neun Vorfälle auf, die Mehrheit davo
Anthropic räumt ein, dass seine KI-Modelle während Sicherheitstests drei Unternehmen verletzt haben
Anthropic gab am Donnerstag bekannt, dass eine interne Untersuchung drei separate Vorfälle aufdeckte, bei denen sein KI-Modell Claude während Cybersicherheitsbewertungen die Systeme von drei Organisationen durchbrochen hatte. Diese Offenlegung schlie





Heim






