Datagemmaは、実際のデータを使用してAIの幻覚に取り組んでいます

大規模言語モデル(LLMs)は、今日のAIのブレークスルーの中心にあり、膨大なテキストデータセットを分析して要約を生成し、創造的なアイデアを生み出し、コードを書くことさえ可能です。しかし、その能力にもかかわらず、これらのモデルは時に完全に間違った情報を提供することがあり、これを「ハルシネーション」と呼びます。これは生成AIの世界における大きな課題です。
私たちはこの問題に正面から取り組む最先端の研究を共有できることを嬉しく思います。LLMsを現実世界の統計データに基づかせることで、ハルシネーションを抑えることを目指しています。そして、GoogleのData Commonsから豊富な現実世界のデータとLLMsをリンクする初のオープンモデル、DataGemmaを紹介します。
Data Commons:信頼できるデータの宝庫
Data Commonsは、2400億以上のデータポイントを持つ、公共データの巨大で成長し続けるライブラリのようなものです。健康から経済まで、あらゆる情報をUN、WHO、CDC、統計局などの信頼できる情報源から収集します。これらのデータセットを一つの強力なツールセットとAIモデルに統合することで、Data Commonsは政策立案者、研究者、組織が必要とする正確な洞察を提供します。
たとえば、アフリカのどの国が電力アクセスで最も大きな進展を遂げたか、または米国の郡ごとの収入と糖尿病の関係を、簡単な英語で質問できる巨大なデータベースを想像してください。それがData Commonsです。
Data Commonsがハルシネーション対策にどう役立つか
生成AIを利用する人が増える中、私たちはData CommonsをGemma(軽量で高性能なオープンモデルのファミリー)に組み込むことで、より信頼性の高い体験を提供しようとしています。これらのDataGemmaモデルは、研究者や開発者が利用できるようになりました。
DataGemmaは、Data Commonsの知識を活用してLLMsの精度と推論能力を向上させる2つの優れた手法を用いて、Gemmaの能力を強化します:
RIG(Retrieval-Interleaved Generation)は、Gemma 2モデルを強化し、Data Commonsに対して事実を積極的に検証します。DataGemmaに質問すると、Data Commonsから統計データを探し出し、確かな回答を提供します。RIGは新しいアイデアではありませんが、DataGemmaでの使用方法は非常に特別です。
例のクエリ:「世界で再生可能エネルギーの使用は増えていますか?」DataGemma RIG手法を適用することで、Data Commons(DC)から信頼できるデータを活用します。
RAG(Retrieval-Augmented Generation)は、言語モデルがトレーニングデータ以外の追加情報を引き出し、より豊かで正確な回答を可能にします。DataGemmaでは、Gemini 1.5 Proの長いコンテキストウィンドウを使用して、モデルが回答を作成する前にData Commonsから関連データを取得し、ハルシネーションを減らします。
例のクエリ:「世界で再生可能エネルギーの使用は増えていますか?」DataGemma RAG手法を適用することで、より高い推論能力と注釈の包含を示します。
有望な結果と今後の展望
RIGとRAGの初期テストは良好な結果を示しています。数値を扱う際のモデルの精度が向上し、研究、意思決定、または好奇心を満たすためにこれらのモデルを使用する人々のハルシネーションが減少しています。これらの結果は私たちの研究論文で確認できます。
RAGクエリと回答の例。Data Commonsから提供される表として参照される裏付けとなる真実の統計データ。*簡潔さのために部分的な回答を示しています。
私たちはここで終わりません。これらの手法を改良し、取り組みを拡大し、さらに多くのテストで検証を進めます。最終的には、GemmaおよびGeminiモデルにこれらの改良を展開し、限定アクセスフェーズから始めます。
私たちの研究を共有し、この新しいGemmaモデルバリアントをオープンにすることで、Data Commonsに基づくこれらの技術の使用を広く広めたいと考えています。LLMsをより信頼性が高く、信頼できるものにすることは、AIが正確な情報を提供し、情報に基づいた選択をサポートし、世界の理解を深めるための不可欠なツールにするために重要です。
研究者や開発者は、RIGとRAGのクイックスタートノートブックを使用して、DataGemmaをすぐに始めることができます。Data CommonsとGemmaがどのように連携するかをさらに詳しく知りたい場合は、研究投稿をご覧ください。
関連記事
オリー社、AIアシスタント競争で優位に立つためプライバシー重視を掲げる
真に役立つAIアシスタントであるためには、ユーザーを深く理解する必要があります。日常生活向けに設計されたパーソナルアシスタント「Ollie」は、そのためにデータを明け渡したり、プライバシーを犠牲にしたりする必要はないという前提で動作します。一部のエンタープライズ向けAIツールにはデータプライバシー保護措置が講じられていますが、OllieはSOC 2準拠を達成した、一般家庭向けのAIサービスとしては
「AI LIVE: London」がAIと産業オートメーションをどのように掘り下げるか
このサミットには、世界中から経営幹部が集まり、AIによる変革から経済の変動性に至るまで、世界の産業が直面する喫緊の課題について議論します。「AI LIVE: The London Summit」では、「テクノロジー+人間の目的」をテーマに、2,000名を超える国際的なリーダーが一堂に会し、人工知能の新たな時代について検討を行います。BizClik傘下の『AI Magazine』は、「AI LIVE
Anthropic、AI法テック市場に参入、競争激化
Anthropicは火曜日、法律実務に自動化されたサポートを提供することを目的とした一連の新しいチャットボットの機能を公開した。これらの強化機能は、今年初めに導入された企業固有のプラットフォーム「Claude for Legal」を拡張し、異なる法律分野に特化した専門的な法律プラグインとMCPコネクタを追加するものである。これらのツールは、法律AI分野での競争が激化する中で登場した。3月、エージェント型AIを活用して法律ワークフローを効率化するAI法律スタートアップのHarveyは、110億ド
関連特集おすすめ
コメント (42)
0/500
Interesting approach! Using real-world data to ground the model seems like a practical step beyond just scaling parameters. Hope it doesn't just trade hallucinations for boring, overly-cautious outputs though. The 'Gemma' naming trend continues! 🤔
Finally! A real solution to AI hallucinations? DataGemma sounds promising, but I'm honestly a bit skeptical. 🤔 How do they ensure the "real-world data" isn't biased itself? Would love to see a breakdown of their methodology compared to other approaches like Retrieval-Augmented Generation.
Me pregunto si DataGemma realmente podrá resolver el problema de las alucinaciones en IA. Parece prometedor, pero ya hemos visto muchas soluciones 'milagrosas' que luego no cumplen. Ojalá esta vez sea diferente, porque los errores en los modelos actuales pueden ser bastante graves 😅
This article on DataGemma is super intriguing! It's wild how LLMs can churn out so much but still trip up on facts sometimes. 😅 Makes me wonder if grounding them in real-world data could finally make AI as reliable as we hope!

大規模言語モデル(LLMs)は、今日のAIのブレークスルーの中心にあり、膨大なテキストデータセットを分析して要約を生成し、創造的なアイデアを生み出し、コードを書くことさえ可能です。しかし、その能力にもかかわらず、これらのモデルは時に完全に間違った情報を提供することがあり、これを「ハルシネーション」と呼びます。これは生成AIの世界における大きな課題です。
私たちはこの問題に正面から取り組む最先端の研究を共有できることを嬉しく思います。LLMsを現実世界の統計データに基づかせることで、ハルシネーションを抑えることを目指しています。そして、GoogleのData Commonsから豊富な現実世界のデータとLLMsをリンクする初のオープンモデル、DataGemmaを紹介します。
Data Commons:信頼できるデータの宝庫
Data Commonsは、2400億以上のデータポイントを持つ、公共データの巨大で成長し続けるライブラリのようなものです。健康から経済まで、あらゆる情報をUN、WHO、CDC、統計局などの信頼できる情報源から収集します。これらのデータセットを一つの強力なツールセットとAIモデルに統合することで、Data Commonsは政策立案者、研究者、組織が必要とする正確な洞察を提供します。
たとえば、アフリカのどの国が電力アクセスで最も大きな進展を遂げたか、または米国の郡ごとの収入と糖尿病の関係を、簡単な英語で質問できる巨大なデータベースを想像してください。それがData Commonsです。
Data Commonsがハルシネーション対策にどう役立つか
生成AIを利用する人が増える中、私たちはData CommonsをGemma(軽量で高性能なオープンモデルのファミリー)に組み込むことで、より信頼性の高い体験を提供しようとしています。これらのDataGemmaモデルは、研究者や開発者が利用できるようになりました。
DataGemmaは、Data Commonsの知識を活用してLLMsの精度と推論能力を向上させる2つの優れた手法を用いて、Gemmaの能力を強化します:
RIG(Retrieval-Interleaved Generation)は、Gemma 2モデルを強化し、Data Commonsに対して事実を積極的に検証します。DataGemmaに質問すると、Data Commonsから統計データを探し出し、確かな回答を提供します。RIGは新しいアイデアではありませんが、DataGemmaでの使用方法は非常に特別です。
例のクエリ:「世界で再生可能エネルギーの使用は増えていますか?」DataGemma RIG手法を適用することで、Data Commons(DC)から信頼できるデータを活用します。 RAG(Retrieval-Augmented Generation)は、言語モデルがトレーニングデータ以外の追加情報を引き出し、より豊かで正確な回答を可能にします。DataGemmaでは、Gemini 1.5 Proの長いコンテキストウィンドウを使用して、モデルが回答を作成する前にData Commonsから関連データを取得し、ハルシネーションを減らします。
例のクエリ:「世界で再生可能エネルギーの使用は増えていますか?」DataGemma RAG手法を適用することで、より高い推論能力と注釈の包含を示します。
有望な結果と今後の展望
RIGとRAGの初期テストは良好な結果を示しています。数値を扱う際のモデルの精度が向上し、研究、意思決定、または好奇心を満たすためにこれらのモデルを使用する人々のハルシネーションが減少しています。これらの結果は私たちの研究論文で確認できます。
私たちの研究を共有し、この新しいGemmaモデルバリアントをオープンにすることで、Data Commonsに基づくこれらの技術の使用を広く広めたいと考えています。LLMsをより信頼性が高く、信頼できるものにすることは、AIが正確な情報を提供し、情報に基づいた選択をサポートし、世界の理解を深めるための不可欠なツールにするために重要です。
研究者や開発者は、RIGとRAGのクイックスタートノートブックを使用して、DataGemmaをすぐに始めることができます。Data CommonsとGemmaがどのように連携するかをさらに詳しく知りたい場合は、研究投稿をご覧ください。
オリー社、AIアシスタント競争で優位に立つためプライバシー重視を掲げる
真に役立つAIアシスタントであるためには、ユーザーを深く理解する必要があります。日常生活向けに設計されたパーソナルアシスタント「Ollie」は、そのためにデータを明け渡したり、プライバシーを犠牲にしたりする必要はないという前提で動作します。一部のエンタープライズ向けAIツールにはデータプライバシー保護措置が講じられていますが、OllieはSOC 2準拠を達成した、一般家庭向けのAIサービスとしては
「AI LIVE: London」がAIと産業オートメーションをどのように掘り下げるか
このサミットには、世界中から経営幹部が集まり、AIによる変革から経済の変動性に至るまで、世界の産業が直面する喫緊の課題について議論します。「AI LIVE: The London Summit」では、「テクノロジー+人間の目的」をテーマに、2,000名を超える国際的なリーダーが一堂に会し、人工知能の新たな時代について検討を行います。BizClik傘下の『AI Magazine』は、「AI LIVE
Anthropic、AI法テック市場に参入、競争激化
Anthropicは火曜日、法律実務に自動化されたサポートを提供することを目的とした一連の新しいチャットボットの機能を公開した。これらの強化機能は、今年初めに導入された企業固有のプラットフォーム「Claude for Legal」を拡張し、異なる法律分野に特化した専門的な法律プラグインとMCPコネクタを追加するものである。これらのツールは、法律AI分野での競争が激化する中で登場した。3月、エージェント型AIを活用して法律ワークフローを効率化するAI法律スタートアップのHarveyは、110億ド
Interesting approach! Using real-world data to ground the model seems like a practical step beyond just scaling parameters. Hope it doesn't just trade hallucinations for boring, overly-cautious outputs though. The 'Gemma' naming trend continues! 🤔
Finally! A real solution to AI hallucinations? DataGemma sounds promising, but I'm honestly a bit skeptical. 🤔 How do they ensure the "real-world data" isn't biased itself? Would love to see a breakdown of their methodology compared to other approaches like Retrieval-Augmented Generation.
Me pregunto si DataGemma realmente podrá resolver el problema de las alucinaciones en IA. Parece prometedor, pero ya hemos visto muchas soluciones 'milagrosas' que luego no cumplen. Ojalá esta vez sea diferente, porque los errores en los modelos actuales pueden ser bastante graves 😅
This article on DataGemma is super intriguing! It's wild how LLMs can churn out so much but still trip up on facts sometimes. 😅 Makes me wonder if grounding them in real-world data could finally make AI as reliable as we hope!





家






