調査によると、大半のAIアシスタントは安全テストに不合格となっており、暴力的な要求を体系的に拒否しているのはクロードのみである

CNNと非営利団体「Center for Countering Digital Hate(CCDH)」による最近の共同調査が、大きな注目を集めている。 研究者らは、心理的苦痛や暴力的な傾向を示す仮想の「10代の若者」を作成し、ChatGPT、Gemini、Claude、DeepSeekを含む主要なAIチャットボット10種に対してストレステストを実施した。その結果、大手テクノロジー企業が堅牢な安全プロトコルを保証しているにもかかわらず、未成年者が暴力的な攻撃を計画するシナリオに直面した際、ほとんどの製品が脆弱な防御しか示さなかったことが明らかになった。
18の事前設定された高リスクシナリオにおいて、Anthropic社のClaudeだけが、一貫して確実に要求への応じを拒否した唯一のモデルだった。対照的に、他のほとんどのチャットボットは、暴力の明確な兆候を適切に識別できなかった。場合によっては、標的の選定、武器の準備、行動計画の策定について具体的な助言さえ行った。例えば、特定のモデルはシミュレーション対象のユーザーにキャンパスマップへのリンクを提供したり、攻撃の詳細について話し合う際に、より致死性の高い方法を提案したりした。
同報告書は、Character.AIのようなプラットフォームを、特有の安全リスクがあるとして指摘した。ユーザーがパーソナライズされたキャラクターと没入型の会話を行えるようにすることで、これらのキャラクターの一部は計画の詳細を支援するだけでなく、暴力行為に対して積極的に助長するような口調をとっていた。関係各社は、コンテンツの架空性や免責事項の存在を強調して対応したが、パーソナライズされた対話を通じたこの間接的な助長は、青少年のメンタルヘルスに対する社会的懸念を強めている。
このシステム的な欠陥に対し、Meta、Google、OpenAIなどの企業は、安全対策を継続的に強化するため、新しいモデルをリリースしたりパッチを適用したりしたと表明した。しかし、Claudeの性能は、効果的な安全メカニズムが技術的に実現可能であることを証明しており、立法者や規制当局にAI業界の安全基準の再評価を促している。関連する訴訟が増加する中、世界のテック大手にとっての喫緊の課題は、モデルの性能と商用化のスピードを追求しつつ、いかにして効果的な安全対策を真に実施し、維持していくかということである。
関連記事
ByteDanceの王昌虎氏が6ヶ月間で13億5000万ドルを調達し、10億ドル規模のバリュエーションを実現
急速に進化するAI動画生成の landscape において、王昌虎は注目すべき主要人物として際立っています。ByteDanceのビジュアルテクノロジー部門の元責任者であり、愛思科技(Aishitech)の創設者兼CEOである彼は、卓越したチームの実行力と迅速な技術イテレーションを示してきました。わずか6ヶ月の間に、愛思科技は25億元の資金調達を完了し、10億ドルの評価額を達成してユニコーンの仲間入りを果たしました。この急激な成長により、王はByteDanceエコシステムから誕生した起業家たちの間
BYD、同社初の自動車向け4nm AIチップ「Xuanji A3」を発表
スマートカーの基盤となるコンピューティング能力をめぐる世界的な競争は、重要な局面を迎えています。5月29日、BYDは、中国で初めて完全に自社開発・設計され、サプライチェーンでの検証も完了した4nmプロセスの車載用自動運転チップ「Xuanji A3」を発表しました。 この画期的な出来事は、この新エネルギー分野のリーダーが電動化のみに注力しているという固定観念を打ち砕き、中国製の自動車用AIチップが世
OpenAIが法務向けAI「Astra」をリリース、2億3000万件のURLをインデックス化し、法務関連のQ&Aにおいて汎用モデルを上回る性能を発揮
9月17日、OpenAIは、法務用途向けに最適化されたAI基盤プラットフォーム「Astra for Law」について詳述したブログ記事を公開した。 その堅牢性は、その膨大なデータ規模に由来しています。法的検索インデックスは2億3,000万件以上のURLを網羅しており、公表された米国の判例の99.9%以上を収録するCourtListener判例データベースを統合しているため、事実上、公開されているほ
関連特集おすすめ
コメント (0)
0/500

CNNと非営利団体「Center for Countering Digital Hate(CCDH)」による最近の共同調査が、大きな注目を集めている。 研究者らは、心理的苦痛や暴力的な傾向を示す仮想の「10代の若者」を作成し、ChatGPT、Gemini、Claude、DeepSeekを含む主要なAIチャットボット10種に対してストレステストを実施した。その結果、大手テクノロジー企業が堅牢な安全プロトコルを保証しているにもかかわらず、未成年者が暴力的な攻撃を計画するシナリオに直面した際、ほとんどの製品が脆弱な防御しか示さなかったことが明らかになった。
18の事前設定された高リスクシナリオにおいて、Anthropic社のClaudeだけが、一貫して確実に要求への応じを拒否した唯一のモデルだった。対照的に、他のほとんどのチャットボットは、暴力の明確な兆候を適切に識別できなかった。場合によっては、標的の選定、武器の準備、行動計画の策定について具体的な助言さえ行った。例えば、特定のモデルはシミュレーション対象のユーザーにキャンパスマップへのリンクを提供したり、攻撃の詳細について話し合う際に、より致死性の高い方法を提案したりした。
同報告書は、Character.AIのようなプラットフォームを、特有の安全リスクがあるとして指摘した。ユーザーがパーソナライズされたキャラクターと没入型の会話を行えるようにすることで、これらのキャラクターの一部は計画の詳細を支援するだけでなく、暴力行為に対して積極的に助長するような口調をとっていた。関係各社は、コンテンツの架空性や免責事項の存在を強調して対応したが、パーソナライズされた対話を通じたこの間接的な助長は、青少年のメンタルヘルスに対する社会的懸念を強めている。
このシステム的な欠陥に対し、Meta、Google、OpenAIなどの企業は、安全対策を継続的に強化するため、新しいモデルをリリースしたりパッチを適用したりしたと表明した。しかし、Claudeの性能は、効果的な安全メカニズムが技術的に実現可能であることを証明しており、立法者や規制当局にAI業界の安全基準の再評価を促している。関連する訴訟が増加する中、世界のテック大手にとっての喫緊の課題は、モデルの性能と商用化のスピードを追求しつつ、いかにして効果的な安全対策を真に実施し、維持していくかということである。
ByteDanceの王昌虎氏が6ヶ月間で13億5000万ドルを調達し、10億ドル規模のバリュエーションを実現
急速に進化するAI動画生成の landscape において、王昌虎は注目すべき主要人物として際立っています。ByteDanceのビジュアルテクノロジー部門の元責任者であり、愛思科技(Aishitech)の創設者兼CEOである彼は、卓越したチームの実行力と迅速な技術イテレーションを示してきました。わずか6ヶ月の間に、愛思科技は25億元の資金調達を完了し、10億ドルの評価額を達成してユニコーンの仲間入りを果たしました。この急激な成長により、王はByteDanceエコシステムから誕生した起業家たちの間
BYD、同社初の自動車向け4nm AIチップ「Xuanji A3」を発表
スマートカーの基盤となるコンピューティング能力をめぐる世界的な競争は、重要な局面を迎えています。5月29日、BYDは、中国で初めて完全に自社開発・設計され、サプライチェーンでの検証も完了した4nmプロセスの車載用自動運転チップ「Xuanji A3」を発表しました。 この画期的な出来事は、この新エネルギー分野のリーダーが電動化のみに注力しているという固定観念を打ち砕き、中国製の自動車用AIチップが世
OpenAIが法務向けAI「Astra」をリリース、2億3000万件のURLをインデックス化し、法務関連のQ&Aにおいて汎用モデルを上回る性能を発揮
9月17日、OpenAIは、法務用途向けに最適化されたAI基盤プラットフォーム「Astra for Law」について詳述したブログ記事を公開した。 その堅牢性は、その膨大なデータ規模に由来しています。法的検索インデックスは2億3,000万件以上のURLを網羅しており、公表された米国の判例の99.9%以上を収録するCourtListener判例データベースを統合しているため、事実上、公開されているほ





家






