麻省理工學院新創企業透過教導系統承認不確定性來解決 AI 幻覺問題
隨著越來越多的人依賴這些模型來揭露關鍵資訊並做出高風險的決策,與人工智能幻覺相關的風險也在不斷升級。
我們都認識一些人,他們總是一副萬事通的樣子,拒絕承認自己的無知,或是根據在網路上撇下的東西提供可疑的建議。AI 幻覺就像是這樣的朋友,但在這種情況下,這個朋友可能是為您設計癌症治療方案的人。
這就是 Themis AI 介入的原因。這家從麻省理工學院衍生出來的公司,已經達成了一些聽起來概念簡單,但在技術上卻極具挑戰性的目標:教導 AI 系統辨識並承認不確定性。
AI 模型往往過於自信。Themis 的 Capsa 平台提供了現實檢查,幫助模型識別它們何時是在推測,而不是在確定地運作。
Themis AI 於 2021 年由麻省理工學院教授 Daniela Rus 與前研究員 Alexander Amini 和 Elaheh Ahmadi 共同創立,所建立的平台幾乎可與任何 AI 系統整合,在不確定因素導致錯誤之前,就能將其標示出來。
利用 Capsa,AI 學會識別自身資料處理中的模式,這些模式會顯示資訊的混亂、偏差或缺口,而這些條件往往會導致幻覺。
自推出以來,Themis 報導協助電信公司避免昂貴的網路規劃錯誤,協助油氣公司解讀複雜的地震資料,並發表建立聊天機器人的研究,避免自信地捏造事實。
許多人仍未意識到 AI 系統基本上是在做有根據的猜測。隨著這些系統擔負更重要的角色,這些猜測可能會帶來重大後果。Themis AI 引入了一個缺失的元素:自我意識。
Themis AI 解決 AI 幻覺之路
通往 Themis AI 的旅程始於多年前,在麻省理工學院 Rus 教授的實驗室中,研究人員探索了一個核心問題:機器如何才能意識到自身的限制?
2018 年,豐田汽車資助了他們在自動駕駛汽車可靠 AI 方面的工作--在這個行業中,錯誤可能會危及生命。當自動駕駛汽車必須精確偵測行人和道路危險時,這項挑戰尤其嚴峻。
他們的突破來自於能夠識別面部識別系統中的種族和性別偏見的演算法。他們的系統不僅能偵測到偏見,還能透過重新平衡訓練資料來糾正偏見,有效地教導人工智能克服自身的偏見。
到 2021 年,研究團隊展示了這種方法如何改變藥物發現。AI 系統可以評估潛在的藥物,同時強調預測是以可靠的數據為基礎,而不是臆測或完全的幻覺。醫藥公司看到了只追求 AI 有信心的候選藥物的價值,從而節省了時間和資源。
另一個好處適用於運算能力有限的裝置。邊緣裝置通常仰賴較小的模型,其準確度無法與伺服器系統相提並論。Themis 的技術可協助這些本機模型獨立處理大部分的任務,只有在遇到困難時才會尋求伺服器支援。
AI 擁有改善我們生活的無窮潛力,但也伴隨著真正的風險。隨著 AI 融入關鍵基礎建設與決策,辨識不確定性與避免幻覺的能力,可能會被證明是其最具人性與價值的特質。Themis AI 正在幫助模型學習這項重要技能。
另請參閱:糖尿病管理:IBM 和羅氏利用 AI 預測血糖水平
想要向業界領導者瞭解更多關於 AI 和大資料的資訊嗎?看看在阿姆斯特丹、加州和倫敦舉行的 AI & Big Data Expo。該綜合活動與其他領先活動同地舉行,包括智慧自動化會議 (Intelligent Automation Conference)、BlockX、數位轉型週 (Digital Transformation Week),以及網路安全與雲端博覽會 (Cyber Security & Cloud Expo)。
在此探索 TechForge 提供的其他即將舉行的企業技術活動和網路研討會。
相關文章
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
奧利押注隱私保護,力爭在 AI 助理競賽中勝出
要真正發揮實用價值,人工智慧助理必須深入了解其使用者。Ollie 是一款專為日常生活設計的個人助理,其運作前提是:這無需您交出個人資料,亦不會損害您的隱私。雖然某些企業級 AI 工具提供資料隱私保障,但 Ollie 作為首批獲得 SOC 2 合規認證的主流、以家庭為導向的 AI 服務之一,顯得格外突出。此框架允許企業透過獨立稽核證明,其已建立正式的管控措施來保護客戶資料,並確保系統運作的安全性。達
「AI LIVE:倫敦」將如何探討人工智慧與工業自動化
本次峰會將匯聚來自全球的高階主管,共同探討全球產業面臨的迫切挑戰,涵蓋範圍從人工智慧驅動的顛覆性變革到經濟波動。AI LIVE:倫敦峰會將以「科技+人類使命」為主題,匯聚逾 2,000 位國際領袖,共同探討人工智慧新興時代的發展。隸屬於 BizClik 旗下的《AI Magazine》已公佈其於「AI LIVE:倫敦峰會」上舉辦的「人工智慧與工業自動化」聯合爐邊談話的與會陣容。該座談會定於 10
相關專題推薦
評論 (4)
0/500
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!
隨著越來越多的人依賴這些模型來揭露關鍵資訊並做出高風險的決策,與人工智能幻覺相關的風險也在不斷升級。
我們都認識一些人,他們總是一副萬事通的樣子,拒絕承認自己的無知,或是根據在網路上撇下的東西提供可疑的建議。AI 幻覺就像是這樣的朋友,但在這種情況下,這個朋友可能是為您設計癌症治療方案的人。
這就是 Themis AI 介入的原因。這家從麻省理工學院衍生出來的公司,已經達成了一些聽起來概念簡單,但在技術上卻極具挑戰性的目標:教導 AI 系統辨識並承認不確定性。
AI 模型往往過於自信。Themis 的 Capsa 平台提供了現實檢查,幫助模型識別它們何時是在推測,而不是在確定地運作。
Themis AI 於 2021 年由麻省理工學院教授 Daniela Rus 與前研究員 Alexander Amini 和 Elaheh Ahmadi 共同創立,所建立的平台幾乎可與任何 AI 系統整合,在不確定因素導致錯誤之前,就能將其標示出來。
利用 Capsa,AI 學會識別自身資料處理中的模式,這些模式會顯示資訊的混亂、偏差或缺口,而這些條件往往會導致幻覺。
自推出以來,Themis 報導協助電信公司避免昂貴的網路規劃錯誤,協助油氣公司解讀複雜的地震資料,並發表建立聊天機器人的研究,避免自信地捏造事實。
許多人仍未意識到 AI 系統基本上是在做有根據的猜測。隨著這些系統擔負更重要的角色,這些猜測可能會帶來重大後果。Themis AI 引入了一個缺失的元素:自我意識。
Themis AI 解決 AI 幻覺之路
通往 Themis AI 的旅程始於多年前,在麻省理工學院 Rus 教授的實驗室中,研究人員探索了一個核心問題:機器如何才能意識到自身的限制?
2018 年,豐田汽車資助了他們在自動駕駛汽車可靠 AI 方面的工作--在這個行業中,錯誤可能會危及生命。當自動駕駛汽車必須精確偵測行人和道路危險時,這項挑戰尤其嚴峻。
他們的突破來自於能夠識別面部識別系統中的種族和性別偏見的演算法。他們的系統不僅能偵測到偏見,還能透過重新平衡訓練資料來糾正偏見,有效地教導人工智能克服自身的偏見。
到 2021 年,研究團隊展示了這種方法如何改變藥物發現。AI 系統可以評估潛在的藥物,同時強調預測是以可靠的數據為基礎,而不是臆測或完全的幻覺。醫藥公司看到了只追求 AI 有信心的候選藥物的價值,從而節省了時間和資源。
另一個好處適用於運算能力有限的裝置。邊緣裝置通常仰賴較小的模型,其準確度無法與伺服器系統相提並論。Themis 的技術可協助這些本機模型獨立處理大部分的任務,只有在遇到困難時才會尋求伺服器支援。
AI 擁有改善我們生活的無窮潛力,但也伴隨著真正的風險。隨著 AI 融入關鍵基礎建設與決策,辨識不確定性與避免幻覺的能力,可能會被證明是其最具人性與價值的特質。Themis AI 正在幫助模型學習這項重要技能。
另請參閱:糖尿病管理:IBM 和羅氏利用 AI 預測血糖水平
想要向業界領導者瞭解更多關於 AI 和大資料的資訊嗎?看看在阿姆斯特丹、加州和倫敦舉行的 AI & Big Data Expo。該綜合活動與其他領先活動同地舉行,包括智慧自動化會議 (Intelligent Automation Conference)、BlockX、數位轉型週 (Digital Transformation Week),以及網路安全與雲端博覽會 (Cyber Security & Cloud Expo)。
在此探索 TechForge 提供的其他即將舉行的企業技術活動和網路研討會。
奧利押注隱私保護,力爭在 AI 助理競賽中勝出
要真正發揮實用價值,人工智慧助理必須深入了解其使用者。Ollie 是一款專為日常生活設計的個人助理,其運作前提是:這無需您交出個人資料,亦不會損害您的隱私。雖然某些企業級 AI 工具提供資料隱私保障,但 Ollie 作為首批獲得 SOC 2 合規認證的主流、以家庭為導向的 AI 服務之一,顯得格外突出。此框架允許企業透過獨立稽核證明,其已建立正式的管控措施來保護客戶資料,並確保系統運作的安全性。達
「AI LIVE:倫敦」將如何探討人工智慧與工業自動化
本次峰會將匯聚來自全球的高階主管,共同探討全球產業面臨的迫切挑戰,涵蓋範圍從人工智慧驅動的顛覆性變革到經濟波動。AI LIVE:倫敦峰會將以「科技+人類使命」為主題,匯聚逾 2,000 位國際領袖,共同探討人工智慧新興時代的發展。隸屬於 BizClik 旗下的《AI Magazine》已公佈其於「AI LIVE:倫敦峰會」上舉辦的「人工智慧與工業自動化」聯合爐邊談話的與會陣容。該座談會定於 10
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!





首頁






