Datagemma使用现实世界数据处理AI幻觉

大型语言模型(LLMs)是当今AI突破的核心,能够筛选海量文本数据集,生成摘要、激发创意,甚至编写代码。然而,尽管它们能力强大,这些模型有时会提供完全错误的信息,我们称之为“幻觉”。这是生成式AI领域的一大障碍。
我们很高兴分享一些前沿研究,直接解决这一问题,通过将LLMs与现实世界的统计数据结合,旨在减少幻觉。我们激动地介绍DataGemma,这是首个将LLMs与Google的Data Commons海量现实数据连接的开源模型。
Data Commons:值得信赖的数据宝库
Data Commons就像一个不断扩展的公共数据巨型图书馆,拥有超过2400亿个数据点,涵盖从健康到经济的各个方面。它从联合国、世界卫生组织、疾病控制中心和人口普查局等可靠来源获取信息。通过将这些数据集整合成一个强大的工具集和AI模型,Data Commons帮助政策制定者、研究人员和组织获得所需的准确洞察。
想象一个庞大的数据库,你可以用简单的中文提问,比如哪些非洲国家电力普及率增长最快,或者美国各县的收入与糖尿病的关系如何。这就是Data Commons的魅力。
Data Commons如何帮助对抗幻觉
随着越来越多的人使用生成式AI,我们致力于通过将Data Commons融入Gemma(我们轻量级、顶尖的开源模型家族),使这些体验更加可靠。这些DataGemma模型现已向研究人员和开发者开放。
DataGemma通过利用Data Commons的知识,采用两种独特方法提升LLMs的准确性和推理能力:
RIG(检索交错生成)通过主动对比Data Commons的数据,增强了我们的Gemma 2模型。当你向DataGemma提问时,它会从Data Commons中检索统计数据,提供可靠的答案。虽然RIG不是新概念,但我们在DataGemma中的应用方式相当独特。
示例查询:“全球可再生能源使用量增加了吗?”应用DataGemma RIG方法利用Data Commons(DC)提供权威数据。
RAG(检索增强生成)让语言模型在训练数据之外引入额外信息,使回答更丰富、更准确。借助DataGemma,我们利用Gemini 1.5 Pro的长上下文窗口,在模型生成回答前从Data Commons获取相关数据,减少幻觉。
示例查询:“全球可再生能源使用量增加了吗?”应用DataGemma RAG方法展示更强的推理能力和脚注包含。
初步成果与未来展望
我们在RIG和RAG的早期测试表现良好。模型在处理数字时准确性提高,意味着研究、决策或满足好奇心的用户会遇到更少的幻觉。你可以在我们的研究论文中查看这些结果。
RAG查询与响应的示例。支持的真实统计数据以表格形式从Data Commons提供。*为简洁起见,仅显示部分响应。
我们不会止步于此。我们全力以赴优化这些方法,扩大努力,并进行更多测试。最终,我们将把这些改进推广到Gemma和Gemini模型,从有限访问阶段开始。
通过分享研究和开放这一新Gemma模型变体,我们希望广泛推广基于Data Commons的技术。让LLMs更可靠、值得信赖,是将其变成每个人重要工具的关键,有助于构建一个AI提供准确信息、支持明智选择、加深世界理解的未来。
研究人员和开发者可以通过我们的RIG和RAG快速入门笔记本立即使用DataGemma。想深入了解Data Commons与Gemma如何协作,请查看我们的研究帖子。
相关文章
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦
相关专题推荐
评论 (42)
0/500
Interesting approach! Using real-world data to ground the model seems like a practical step beyond just scaling parameters. Hope it doesn't just trade hallucinations for boring, overly-cautious outputs though. The 'Gemma' naming trend continues! 🤔
Finally! A real solution to AI hallucinations? DataGemma sounds promising, but I'm honestly a bit skeptical. 🤔 How do they ensure the "real-world data" isn't biased itself? Would love to see a breakdown of their methodology compared to other approaches like Retrieval-Augmented Generation.
Me pregunto si DataGemma realmente podrá resolver el problema de las alucinaciones en IA. Parece prometedor, pero ya hemos visto muchas soluciones 'milagrosas' que luego no cumplen. Ojalá esta vez sea diferente, porque los errores en los modelos actuales pueden ser bastante graves 😅
This article on DataGemma is super intriguing! It's wild how LLMs can churn out so much but still trip up on facts sometimes. 😅 Makes me wonder if grounding them in real-world data could finally make AI as reliable as we hope!

大型语言模型(LLMs)是当今AI突破的核心,能够筛选海量文本数据集,生成摘要、激发创意,甚至编写代码。然而,尽管它们能力强大,这些模型有时会提供完全错误的信息,我们称之为“幻觉”。这是生成式AI领域的一大障碍。
我们很高兴分享一些前沿研究,直接解决这一问题,通过将LLMs与现实世界的统计数据结合,旨在减少幻觉。我们激动地介绍DataGemma,这是首个将LLMs与Google的Data Commons海量现实数据连接的开源模型。
Data Commons:值得信赖的数据宝库
Data Commons就像一个不断扩展的公共数据巨型图书馆,拥有超过2400亿个数据点,涵盖从健康到经济的各个方面。它从联合国、世界卫生组织、疾病控制中心和人口普查局等可靠来源获取信息。通过将这些数据集整合成一个强大的工具集和AI模型,Data Commons帮助政策制定者、研究人员和组织获得所需的准确洞察。
想象一个庞大的数据库,你可以用简单的中文提问,比如哪些非洲国家电力普及率增长最快,或者美国各县的收入与糖尿病的关系如何。这就是Data Commons的魅力。
Data Commons如何帮助对抗幻觉
随着越来越多的人使用生成式AI,我们致力于通过将Data Commons融入Gemma(我们轻量级、顶尖的开源模型家族),使这些体验更加可靠。这些DataGemma模型现已向研究人员和开发者开放。
DataGemma通过利用Data Commons的知识,采用两种独特方法提升LLMs的准确性和推理能力:
RIG(检索交错生成)通过主动对比Data Commons的数据,增强了我们的Gemma 2模型。当你向DataGemma提问时,它会从Data Commons中检索统计数据,提供可靠的答案。虽然RIG不是新概念,但我们在DataGemma中的应用方式相当独特。
示例查询:“全球可再生能源使用量增加了吗?”应用DataGemma RIG方法利用Data Commons(DC)提供权威数据。 RAG(检索增强生成)让语言模型在训练数据之外引入额外信息,使回答更丰富、更准确。借助DataGemma,我们利用Gemini 1.5 Pro的长上下文窗口,在模型生成回答前从Data Commons获取相关数据,减少幻觉。
示例查询:“全球可再生能源使用量增加了吗?”应用DataGemma RAG方法展示更强的推理能力和脚注包含。
初步成果与未来展望
我们在RIG和RAG的早期测试表现良好。模型在处理数字时准确性提高,意味着研究、决策或满足好奇心的用户会遇到更少的幻觉。你可以在我们的研究论文中查看这些结果。
通过分享研究和开放这一新Gemma模型变体,我们希望广泛推广基于Data Commons的技术。让LLMs更可靠、值得信赖,是将其变成每个人重要工具的关键,有助于构建一个AI提供准确信息、支持明智选择、加深世界理解的未来。
研究人员和开发者可以通过我们的RIG和RAG快速入门笔记本立即使用DataGemma。想深入了解Data Commons与Gemma如何协作,请查看我们的研究帖子。
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦
Interesting approach! Using real-world data to ground the model seems like a practical step beyond just scaling parameters. Hope it doesn't just trade hallucinations for boring, overly-cautious outputs though. The 'Gemma' naming trend continues! 🤔
Finally! A real solution to AI hallucinations? DataGemma sounds promising, but I'm honestly a bit skeptical. 🤔 How do they ensure the "real-world data" isn't biased itself? Would love to see a breakdown of their methodology compared to other approaches like Retrieval-Augmented Generation.
Me pregunto si DataGemma realmente podrá resolver el problema de las alucinaciones en IA. Parece prometedor, pero ya hemos visto muchas soluciones 'milagrosas' que luego no cumplen. Ojalá esta vez sea diferente, porque los errores en los modelos actuales pueden ser bastante graves 😅
This article on DataGemma is super intriguing! It's wild how LLMs can churn out so much but still trip up on facts sometimes. 😅 Makes me wonder if grounding them in real-world data could finally make AI as reliable as we hope!





首页






