MITのスタートアップ、システムに不確実性を教えることでAIの幻覚に挑む
AIの幻覚に関連するリスクは、これらのモデルが重要な情報を表示し、重大な決断を下すためにますます信頼されるようになるにつれて、エスカレートしている。
私たちは皆、知ったかぶりをしたり、無知を認めようとしなかったり、ネットでざっと読んだ情報に基づいて疑わしいアドバイスをしたりする人を知っている。AIの幻覚はそのような友人のようなものだが、この場合、その友人はあなたのがん治療をデザインしているのかもしれない。
そこでテミスAIの出番だ。マサチューセッツ工科大学(MIT)からスピンアウトした同社は、コンセプトとしては単純に聞こえるが、技術的には困難なことを成し遂げた。
AIモデルは過信する傾向がある。テミスのCapsaプラットフォームは現実をチェックし、モデルが確信を持って行動するのではなく、憶測で行動しているときを識別できるようにする。
MITのダニエラ・ラス教授と元研究員のアレクサンダー・アミニ氏とエラヘ・アフマディ氏によって2021年に設立されたテミスAIは、ほぼすべてのAIシステムと統合できるプラットフォームを構築し、エラーにつながる前に不確実性の瞬間にフラグを立てる。
Capsaを使用することで、AIは自身のデータ処理において、混乱や偏り、情報のギャップを示唆するパターンを認識することを学習する。
立ち上げ以来、Themisは、通信会社が高価なネットワーク計画のミスを防ぐのを支援し、石油・ガス会社が複雑な地震データを解釈するのを助け、自信を持って事実を捏造するのを避けるチャットボットの構築に関する研究を発表したと報告している。
多くの人々は、AIシステムが本質的にどれほどの頻度で経験則に基づく推測を行っているかにまだ気づいていない。これらのシステムがより重要な役割を担うようになると、そのような推測は重大な結果をもたらす可能性がある。Themis AIは、自己認識という欠けている要素を導入する。
Themis AIがAIの幻覚に対処するまでの道のり
Themis AIへの道のりは、数年前にMITのルス教授の研究室で始まった:どうすれば機械は自らの限界を認識できるのか?
2018年、トヨタは自律走行車のための信頼性の高いAIの研究に資金を提供した。この課題は、自動運転車が歩行者や道路上の危険を正確に検知しなければならない場合に特に重要である。
彼らのブレークスルーは、顔認識システムにおける人種と性別の偏りを識別できるアルゴリズムによってもたらされた。単にバイアスを検出するのではなく、学習データのバランスを調整することでバイアスを修正する。
2021年までに研究チームは、この方法が創薬にどのような変革をもたらすかを実証した。AIシステムは、予測が確かなデータに基づいたものである場合と、推測や全くの幻覚である場合を強調しながら、潜在的な医薬品を評価できるようになった。製薬会社は、AIが確信した新薬候補だけを追求することに価値を見いだし、時間とリソースの両方を節約した。
もうひとつの利点は、コンピューティング・パワーが限られているデバイスに適用される。エッジデバイスは、サーバーベースのシステムの精度には及ばない小規模なモデルに依存していることが多い。テミスのテクノロジーは、これらのローカルモデルがほとんどのタスクを独自に処理し、困難なことに遭遇したときだけサーバーのサポートを求めるのを助ける。
AIは私たちの生活を向上させる計り知れない可能性を秘めていますが、それには現実的なリスクが伴います。AIが重要なインフラや意思決定に組み込まれるにつれ、不確実性を認識し、幻覚を回避する能力が、最も人間的で価値のある特性であることが証明されるかもしれない。テミスAIは、モデルがこの不可欠なスキルを習得する手助けをしている。
こちらもご覧ください:糖尿病管理:IBMとロシュがAIを使って血糖値を予測
業界のリーダーからAIとビッグデータについてもっと学びたいですか?アムステルダム、カリフォルニア、ロンドンで開催されるAI & Big Data Expoをチェックしてください。この包括的なイベントは、Intelligent Automation Conference、BlockX、Digital Transformation Week、Cyber Security & Cloud Expoなどの他の主要イベントと併催されています。
テックフォージが提供するその他の企業向けテクノロジーイベントやウェビナーについては、こちらをご覧ください。
関連記事
オリー社、AIアシスタント競争で優位に立つためプライバシー重視を掲げる
真に役立つAIアシスタントであるためには、ユーザーを深く理解する必要があります。日常生活向けに設計されたパーソナルアシスタント「Ollie」は、そのためにデータを明け渡したり、プライバシーを犠牲にしたりする必要はないという前提で動作します。一部のエンタープライズ向けAIツールにはデータプライバシー保護措置が講じられていますが、OllieはSOC 2準拠を達成した、一般家庭向けのAIサービスとしては
「AI LIVE: London」がAIと産業オートメーションをどのように掘り下げるか
このサミットには、世界中から経営幹部が集まり、AIによる変革から経済の変動性に至るまで、世界の産業が直面する喫緊の課題について議論します。「AI LIVE: The London Summit」では、「テクノロジー+人間の目的」をテーマに、2,000名を超える国際的なリーダーが一堂に会し、人工知能の新たな時代について検討を行います。BizClik傘下の『AI Magazine』は、「AI LIVE
Anthropic、AI法テック市場に参入、競争激化
Anthropicは火曜日、法律実務に自動化されたサポートを提供することを目的とした一連の新しいチャットボットの機能を公開した。これらの強化機能は、今年初めに導入された企業固有のプラットフォーム「Claude for Legal」を拡張し、異なる法律分野に特化した専門的な法律プラグインとMCPコネクタを追加するものである。これらのツールは、法律AI分野での競争が激化する中で登場した。3月、エージェント型AIを活用して法律ワークフローを効率化するAI法律スタートアップのHarveyは、110億ド
関連特集おすすめ
コメント (4)
0/500
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!
AIの幻覚に関連するリスクは、これらのモデルが重要な情報を表示し、重大な決断を下すためにますます信頼されるようになるにつれて、エスカレートしている。
私たちは皆、知ったかぶりをしたり、無知を認めようとしなかったり、ネットでざっと読んだ情報に基づいて疑わしいアドバイスをしたりする人を知っている。AIの幻覚はそのような友人のようなものだが、この場合、その友人はあなたのがん治療をデザインしているのかもしれない。
そこでテミスAIの出番だ。マサチューセッツ工科大学(MIT)からスピンアウトした同社は、コンセプトとしては単純に聞こえるが、技術的には困難なことを成し遂げた。
AIモデルは過信する傾向がある。テミスのCapsaプラットフォームは現実をチェックし、モデルが確信を持って行動するのではなく、憶測で行動しているときを識別できるようにする。
MITのダニエラ・ラス教授と元研究員のアレクサンダー・アミニ氏とエラヘ・アフマディ氏によって2021年に設立されたテミスAIは、ほぼすべてのAIシステムと統合できるプラットフォームを構築し、エラーにつながる前に不確実性の瞬間にフラグを立てる。
Capsaを使用することで、AIは自身のデータ処理において、混乱や偏り、情報のギャップを示唆するパターンを認識することを学習する。
立ち上げ以来、Themisは、通信会社が高価なネットワーク計画のミスを防ぐのを支援し、石油・ガス会社が複雑な地震データを解釈するのを助け、自信を持って事実を捏造するのを避けるチャットボットの構築に関する研究を発表したと報告している。
多くの人々は、AIシステムが本質的にどれほどの頻度で経験則に基づく推測を行っているかにまだ気づいていない。これらのシステムがより重要な役割を担うようになると、そのような推測は重大な結果をもたらす可能性がある。Themis AIは、自己認識という欠けている要素を導入する。
Themis AIがAIの幻覚に対処するまでの道のり
Themis AIへの道のりは、数年前にMITのルス教授の研究室で始まった:どうすれば機械は自らの限界を認識できるのか?
2018年、トヨタは自律走行車のための信頼性の高いAIの研究に資金を提供した。この課題は、自動運転車が歩行者や道路上の危険を正確に検知しなければならない場合に特に重要である。
彼らのブレークスルーは、顔認識システムにおける人種と性別の偏りを識別できるアルゴリズムによってもたらされた。単にバイアスを検出するのではなく、学習データのバランスを調整することでバイアスを修正する。
2021年までに研究チームは、この方法が創薬にどのような変革をもたらすかを実証した。AIシステムは、予測が確かなデータに基づいたものである場合と、推測や全くの幻覚である場合を強調しながら、潜在的な医薬品を評価できるようになった。製薬会社は、AIが確信した新薬候補だけを追求することに価値を見いだし、時間とリソースの両方を節約した。
もうひとつの利点は、コンピューティング・パワーが限られているデバイスに適用される。エッジデバイスは、サーバーベースのシステムの精度には及ばない小規模なモデルに依存していることが多い。テミスのテクノロジーは、これらのローカルモデルがほとんどのタスクを独自に処理し、困難なことに遭遇したときだけサーバーのサポートを求めるのを助ける。
AIは私たちの生活を向上させる計り知れない可能性を秘めていますが、それには現実的なリスクが伴います。AIが重要なインフラや意思決定に組み込まれるにつれ、不確実性を認識し、幻覚を回避する能力が、最も人間的で価値のある特性であることが証明されるかもしれない。テミスAIは、モデルがこの不可欠なスキルを習得する手助けをしている。
こちらもご覧ください:糖尿病管理:IBMとロシュがAIを使って血糖値を予測
業界のリーダーからAIとビッグデータについてもっと学びたいですか?アムステルダム、カリフォルニア、ロンドンで開催されるAI & Big Data Expoをチェックしてください。この包括的なイベントは、Intelligent Automation Conference、BlockX、Digital Transformation Week、Cyber Security & Cloud Expoなどの他の主要イベントと併催されています。
テックフォージが提供するその他の企業向けテクノロジーイベントやウェビナーについては、こちらをご覧ください。
オリー社、AIアシスタント競争で優位に立つためプライバシー重視を掲げる
真に役立つAIアシスタントであるためには、ユーザーを深く理解する必要があります。日常生活向けに設計されたパーソナルアシスタント「Ollie」は、そのためにデータを明け渡したり、プライバシーを犠牲にしたりする必要はないという前提で動作します。一部のエンタープライズ向けAIツールにはデータプライバシー保護措置が講じられていますが、OllieはSOC 2準拠を達成した、一般家庭向けのAIサービスとしては
「AI LIVE: London」がAIと産業オートメーションをどのように掘り下げるか
このサミットには、世界中から経営幹部が集まり、AIによる変革から経済の変動性に至るまで、世界の産業が直面する喫緊の課題について議論します。「AI LIVE: The London Summit」では、「テクノロジー+人間の目的」をテーマに、2,000名を超える国際的なリーダーが一堂に会し、人工知能の新たな時代について検討を行います。BizClik傘下の『AI Magazine』は、「AI LIVE
Anthropic、AI法テック市場に参入、競争激化
Anthropicは火曜日、法律実務に自動化されたサポートを提供することを目的とした一連の新しいチャットボットの機能を公開した。これらの強化機能は、今年初めに導入された企業固有のプラットフォーム「Claude for Legal」を拡張し、異なる法律分野に特化した専門的な法律プラグインとMCPコネクタを追加するものである。これらのツールは、法律AI分野での競争が激化する中で登場した。3月、エージェント型AIを活用して法律ワークフローを効率化するAI法律スタートアップのHarveyは、110億ド
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!





家






