透過放大人工智慧圖像的缺陷來解決其幻覺問題
像 ChatGPT 這樣的視覺模型經常會捏造出圖像中遺漏的元素。一種新穎的方法可以減少這些錯誤,方法是從模型的標題中產生模型自己幻覺的細節的誇張版本,然後促請模型修改。這項技術不需要重新訓練或額外的資料,因此廣泛適用於各種模型和架構。
來自中國的一項新研究解決了人工智能生成的圖像和視頻中出現幻覺的頑固問題--這些細節明顯與用戶的提示相矛盾。
這個過程以傳統方式開始:模型描述一張圖片。然後,該標題被賦予一個文本到圖像模型,以產生一個新的圖像- 在此重建中任何額外的物件或特徵都會直接揭示模型最初的幻覺。透過比較原始與產生的影像,系統可以引導模型避免在未來的嘗試中重複這些錯誤。

此圖顯示新技術如何偵測並盡量減少字幕幻覺。標準模型會錯誤地在圖像的描述中加入鳥類,而重建的版本會以視覺方式插入鳥類(以紅色強調)。新方法在保持描述準確性的同時,避免了這些虛構。來源:https://arxiv.org/pdf/2509.21997
該方法首先讓模型描述真實的圖像,有時包括實際上沒有出現的物件或細節。這些不準確的標題會產生突出錯誤的合成影像。透過比較真實與合成影像,系統可辨識導致編造內容的內部模式。
一旦識別出這些錯誤模式,它們就會被儲存起來以備將來使用。為新影像加上字幕時,系統會調整模型的內部訊號,使其遠離已知的幻覺觸發點。這種修正只需一次,不需要額外的資料、重新訓練或在測試期間產生影像。
纏結的挑戰
在本文的範例中,「纏結」可能解釋了為什麼鳥類會被加入到一張沒有鳥類的圖像中。
當模型強烈連結某些概念,因為它們經常一起出現在訓練資料中時,就會發生糾纏。在這裡,模型可能會經常遇到飛機與鳥類,因此產生了錯誤影響標題的聯想。
雖然提早結束訓練可以減少糾纏(增加模型彈性),但也會減少概念細節和解析度。開發人員長期面臨一個取捨的問題:是優先考量一個靈活、糾纏不清的模型,還是一個更容易產生聯想幻覺的模型?
理想的情況是,原始圖片的標題會逐項列出每一個存在的物件,讓模型可以將它們儲存為獨立、分散的項目。然而,SEO 驅動的標題做法和大規模的網路搜刮(在訓練強大的生成模型時很常見)往往無法達到這個標準。

薄弱的標題會降低 LAION 影像對於訓練 Stable Diffusion 等模型的價值。標籤往往是膚淺、含糊不清,或是以 SEO 為重點,而非描述性的,這會妨礙模型學習詳細視覺概 念 (例如臉部特徵) 的能力。(原始來源為 https://rom1504.github.io/,現已停用)。
由於基礎修復不切實際,減少 LLM 和 VLM 幻覺的變通方法已成為重要的研究重點。新的中文方法在不同的架構和條件下進行測試,顯示出抑制「幻覺污染」的前景。
作者指出:
跨多種基準的廣泛實驗顯示,我們的方法在物件、屬性和關係層面上顯著減少了幻覺,同時在很大程度上保留了召回率和標題[豐富度]。
這篇題為Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors 的論文來自中國科學技術大學和南京大學的研究人員。
方法的工作原理
研究人員開發了一套端對端的管道,用以揭露和抑制字幕幻覺:

完整的管道圖解。視覺語言模型從輸入圖像產生標題,可能包括幻覺。該標題透過文字到圖像模型用於創建重構圖像,使錯誤清晰可見。來自兩張圖像的嵌入會引導內部調整,幫助模型在不降低標題品質的情況下,減少被濫用的細節。
視覺語言模型首先為真實的圖像加上標題,可能會創造一些物件或關係。然後,標題會產生一張重建的圖像,揭示出任何虛構的視覺差異。比較這兩張圖像,可以將微妙的文字錯誤轉化為可量測、可糾正的訊號。
為了阻止捏造,系統會比較原始影像 (可靠的參考) 與重建影像 (突顯錯誤)。每個圖像都會轉換成精簡的嵌入。透過調整內部表示,使其更貼近原始圖像,並與重建圖像分歧,模型便能以完全自我監督的方式進行自我修正。
這篇論文說明:
MLLMs 中的幻覺本質上是很難偵測到的,因為它們在語言上格式良好,與文字層級的忠實描述往往無法區分。差異不在於語言的可信度,而在於與視覺證據的錯位,而模型本身通常對此並不敏感。
'為了解決這個問題,我們引入了一種幻覺暴露機制,利用生成重組將隱含的不一致轉換為明確和可觀察的信號。
使用 FLUX.1-dev 文字到圖像模型,系統會根據標題重新製作一張圖像,誇大任何錯誤的細節。這些被誇大的錯誤可以幫助模型辨識並修正錯誤。
為了驗證這種方法,研究人員在標題中注入幻覺,產生重建的圖像,然後用 LLaVA 重新為它們加上標題。他們測量了原始標題與幻覺標題之間的語意相似度:

幻覺放大機制可視化細微的錯誤。每個點顯示一張圖片-字幕對的字幕相似度。橙色線(直接比較)保持在高水平,掩蓋了錯誤;藍色線(重構後)急劇下降,揭示了隱藏的幻覺作為可察覺的語義標記。
重構後的相似度明顯下降,顯示此方法有能力揭露細微的錯誤。
資料與測試
使用三個基準來驗證有效性:Caption Hallucination Assessment with Image Relevance(CHAIR);MLLM Evaluation(MME);以及Pooling-based Object Probing Evaluation(POPE)。

來自 CHAIR 發佈文件:由字幕系統 TopDown 和 NBT 產生的幻覺物件範例,其中發明了筆記型電腦、水槽或衝浪板等圖像中不存在的元素。來源:https://arxiv.org/pdf/1809.02156
幻覺率或召回率等標準指標可能會產生誤導-模型可能會透過產生含糊不清的字幕來避免錯誤。為了在準確性與完整性之間取得平衡,我們使用了綜合指標幻覺與回想率(HAR@β),以可調整的權重對這兩個因素的標題進行評分。
POPE 評估上下文敏感的物件幻覺,而 MME 則評估屬性層級的幻覺,兩者都是 Yes/No 的任務。
測試在 Microsoft COCO、A-OKVQA 和 GQA 等資料集上使用 Flux 模型和 LLaVA-v1.5-7B。潛在編輯針對模型的第二層,在所有測試中使用一致的超參數和溫度。
CHAIR 的初步結果如下*:

CHAIR 減緩幻覺基準的表現,以多項指標進行評估。
作者指出:
我們的方法在CHAIRS和CHAIRI[*] 上的表現持續優於其他基準[*],顯示出它在抑制幻覺方面的卓越效能。同時,雖然幾乎所有的方法在抑制幻覺時都會不可避免地降低召回率,反映出忠誠度與資訊性之間的取捨,但我們的方法卻達到最小的降幅。
'這證明我們的方法能夠捕捉到廣泛的地面真實對象。在 HAR@β 標準下,我們的方法獲得最高分,突顯其在維持涵蓋範圍的同時減少幻覺的能力。
強大的結果歸功於雙重監督:強化原始圖像的乾淨語意,同時抑制重構產生的誤導訊號。透過只針對與幻覺相關的方向,系統可以在不損失細節的情況下糾正錯誤。

不同配置與資料集的 POPE 基準效能比較。
關於 POPE 的結果,論文指出:
可以觀察到,我們的方法在所有設定中都持續達到最佳效能。值得注意的是,我們的方法平均可達到 +5.95% 的準確率和 +6.85% 的 F1 分數,大幅領先其他免訓練方法。
'因此,這些結果證明我們的方法能在不同難度的情況下提供可靠且可通用的解決方案。

第三輪測試在 MME 上的效能比較。
最後的主要測試在 MME 上進行,結果如上所示。然而,論文在正文或附錄中提到「OPERA」這個方法,卻沒有下定義。雖然作者宣稱 MME 表現強勁,但由於缺乏方法細節,因此在詮釋這些結果時必須謹慎。
相關文章
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
位元組跳動加大核心AI激勵,豆包增長14.6%
位元組跳動近日召開豆包股權說明會,公佈面向豆包部門員工的最新激勵政策。豆包股票的行權價已從2026年6月的14.85美元上調至17.02美元,漲幅約為14.6%。此次調整不僅提升了豆包股票的估值,還大幅擴大了其覆蓋範圍。根據員工崗位的不同,部分員工可能獲得相當於其總薪酬約5%的豆包股票。根據新的兌換機制,位元組跳動允許員工在整體薪酬包中,將部分現金工資兌換為豆包股權。兌換比例因職級而異,設有20%和30%等不同檔位。例如,L2和L3級員工可選擇20%的全覆蓋兌換比例,而L3和L4級員工的該比例可
相關專題推薦
評論 (0)
0/500
頭號新聞
AI寄主Notebooklm播客現已上
Ramp 數據顯示,企業對 AI 的採納已進入停滯期
Microsoft推出了以商業為中心的副吉洛特+地表設備
AI Builder和Power Automate革新文件摘要
中國發布國家級人形機器人與具身智能標準
Bing圖像創作者教程:AI藝術生成指南
iMyFone MagicMic:實時AI變聲器評測與教程
Embodied Intelligence 公布首項業界標準,以遏止無序擴張
學習使用您的聲音創建AI音樂:逐步Suno教程
Apple 2026 年全球開發者大會將聚焦重大 AI 進展與 Siri 全面改版
更多
精選
LingoDesk
當說西班牙語的客戶在 Telegram 上詢問價格時,常見的處理方式仍是複製訊息
Claude
認識Claude:您的AI助手智能工作是否希望您有一個知識淵博的同事,他隨時準備
Cici AI
你是否曾經好奇過Cici AI到底是什麼?讓我告訴你,它不僅僅是一個普通的AI聊
Gemini
有沒有想過關於雙子座的嗡嗡聲是什麼?讓我為您分解。雙子座是由Google Dee
Grok
聽說過Grok嗎?這是Xai的Nifty AI助手,這一切都是為了給您直接的勺子
ChatGPT
有沒有想過什麼是什麼?好吧,讓我為您分解它 - 聊天不僅僅是您在技術領域的普通喬
OpenAI's GPT and Codex
OpenAI的GPT和Codex模型是令人著迷的技術,不是嗎?它們就像您的個人A
OpenAI
有沒有想過Openai周圍的嗡嗡聲是什麼?好吧,讓我為您分解。 Openai不僅
Tencent Hunyuan
騰訊hunyuan-large,是嗎?就像騰訊技術巨頭開發的AI模型的瑞士軍刀一
Qwen AI
有沒有想過Qwen AI是什麼?好吧,讓我向您介紹阿里巴巴雲的這顆寶石。 Qwe
更多
像 ChatGPT 這樣的視覺模型經常會捏造出圖像中遺漏的元素。一種新穎的方法可以減少這些錯誤,方法是從模型的標題中產生模型自己幻覺的細節的誇張版本,然後促請模型修改。這項技術不需要重新訓練或額外的資料,因此廣泛適用於各種模型和架構。
來自中國的一項新研究解決了人工智能生成的圖像和視頻中出現幻覺的頑固問題--這些細節明顯與用戶的提示相矛盾。
這個過程以傳統方式開始:模型描述一張圖片。然後,該標題被賦予一個文本到圖像模型,以產生一個新的圖像- 在此重建中任何額外的物件或特徵都會直接揭示模型最初的幻覺。透過比較原始與產生的影像,系統可以引導模型避免在未來的嘗試中重複這些錯誤。

此圖顯示新技術如何偵測並盡量減少字幕幻覺。標準模型會錯誤地在圖像的描述中加入鳥類,而重建的版本會以視覺方式插入鳥類(以紅色強調)。新方法在保持描述準確性的同時,避免了這些虛構。來源:https://arxiv.org/pdf/2509.21997
該方法首先讓模型描述真實的圖像,有時包括實際上沒有出現的物件或細節。這些不準確的標題會產生突出錯誤的合成影像。透過比較真實與合成影像,系統可辨識導致編造內容的內部模式。
一旦識別出這些錯誤模式,它們就會被儲存起來以備將來使用。為新影像加上字幕時,系統會調整模型的內部訊號,使其遠離已知的幻覺觸發點。這種修正只需一次,不需要額外的資料、重新訓練或在測試期間產生影像。
纏結的挑戰
在本文的範例中,「纏結」可能解釋了為什麼鳥類會被加入到一張沒有鳥類的圖像中。
當模型強烈連結某些概念,因為它們經常一起出現在訓練資料中時,就會發生糾纏。在這裡,模型可能會經常遇到飛機與鳥類,因此產生了錯誤影響標題的聯想。
雖然提早結束訓練可以減少糾纏(增加模型彈性),但也會減少概念細節和解析度。開發人員長期面臨一個取捨的問題:是優先考量一個靈活、糾纏不清的模型,還是一個更容易產生聯想幻覺的模型?
理想的情況是,原始圖片的標題會逐項列出每一個存在的物件,讓模型可以將它們儲存為獨立、分散的項目。然而,SEO 驅動的標題做法和大規模的網路搜刮(在訓練強大的生成模型時很常見)往往無法達到這個標準。

薄弱的標題會降低 LAION 影像對於訓練 Stable Diffusion 等模型的價值。標籤往往是膚淺、含糊不清,或是以 SEO 為重點,而非描述性的,這會妨礙模型學習詳細視覺概 念 (例如臉部特徵) 的能力。(原始來源為 https://rom1504.github.io/,現已停用)。
由於基礎修復不切實際,減少 LLM 和 VLM 幻覺的變通方法已成為重要的研究重點。新的中文方法在不同的架構和條件下進行測試,顯示出抑制「幻覺污染」的前景。
作者指出:
跨多種基準的廣泛實驗顯示,我們的方法在物件、屬性和關係層面上顯著減少了幻覺,同時在很大程度上保留了召回率和標題[豐富度]。
這篇題為Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors 的論文來自中國科學技術大學和南京大學的研究人員。
方法的工作原理
研究人員開發了一套端對端的管道,用以揭露和抑制字幕幻覺:

完整的管道圖解。視覺語言模型從輸入圖像產生標題,可能包括幻覺。該標題透過文字到圖像模型用於創建重構圖像,使錯誤清晰可見。來自兩張圖像的嵌入會引導內部調整,幫助模型在不降低標題品質的情況下,減少被濫用的細節。
視覺語言模型首先為真實的圖像加上標題,可能會創造一些物件或關係。然後,標題會產生一張重建的圖像,揭示出任何虛構的視覺差異。比較這兩張圖像,可以將微妙的文字錯誤轉化為可量測、可糾正的訊號。
為了阻止捏造,系統會比較原始影像 (可靠的參考) 與重建影像 (突顯錯誤)。每個圖像都會轉換成精簡的嵌入。透過調整內部表示,使其更貼近原始圖像,並與重建圖像分歧,模型便能以完全自我監督的方式進行自我修正。
這篇論文說明:
MLLMs 中的幻覺本質上是很難偵測到的,因為它們在語言上格式良好,與文字層級的忠實描述往往無法區分。差異不在於語言的可信度,而在於與視覺證據的錯位,而模型本身通常對此並不敏感。
'為了解決這個問題,我們引入了一種幻覺暴露機制,利用生成重組將隱含的不一致轉換為明確和可觀察的信號。
使用 FLUX.1-dev 文字到圖像模型,系統會根據標題重新製作一張圖像,誇大任何錯誤的細節。這些被誇大的錯誤可以幫助模型辨識並修正錯誤。
為了驗證這種方法,研究人員在標題中注入幻覺,產生重建的圖像,然後用 LLaVA 重新為它們加上標題。他們測量了原始標題與幻覺標題之間的語意相似度:

幻覺放大機制可視化細微的錯誤。每個點顯示一張圖片-字幕對的字幕相似度。橙色線(直接比較)保持在高水平,掩蓋了錯誤;藍色線(重構後)急劇下降,揭示了隱藏的幻覺作為可察覺的語義標記。
重構後的相似度明顯下降,顯示此方法有能力揭露細微的錯誤。
資料與測試
使用三個基準來驗證有效性:Caption Hallucination Assessment with Image Relevance(CHAIR);MLLM Evaluation(MME);以及Pooling-based Object Probing Evaluation(POPE)。

來自 CHAIR 發佈文件:由字幕系統 TopDown 和 NBT 產生的幻覺物件範例,其中發明了筆記型電腦、水槽或衝浪板等圖像中不存在的元素。來源:https://arxiv.org/pdf/1809.02156
幻覺率或召回率等標準指標可能會產生誤導-模型可能會透過產生含糊不清的字幕來避免錯誤。為了在準確性與完整性之間取得平衡,我們使用了綜合指標幻覺與回想率(HAR@β),以可調整的權重對這兩個因素的標題進行評分。
POPE 評估上下文敏感的物件幻覺,而 MME 則評估屬性層級的幻覺,兩者都是 Yes/No 的任務。
測試在 Microsoft COCO、A-OKVQA 和 GQA 等資料集上使用 Flux 模型和 LLaVA-v1.5-7B。潛在編輯針對模型的第二層,在所有測試中使用一致的超參數和溫度。
CHAIR 的初步結果如下*:

CHAIR 減緩幻覺基準的表現,以多項指標進行評估。
作者指出:
我們的方法在CHAIRS和CHAIRI[*] 上的表現持續優於其他基準[*],顯示出它在抑制幻覺方面的卓越效能。同時,雖然幾乎所有的方法在抑制幻覺時都會不可避免地降低召回率,反映出忠誠度與資訊性之間的取捨,但我們的方法卻達到最小的降幅。
'這證明我們的方法能夠捕捉到廣泛的地面真實對象。在 HAR@β 標準下,我們的方法獲得最高分,突顯其在維持涵蓋範圍的同時減少幻覺的能力。
強大的結果歸功於雙重監督:強化原始圖像的乾淨語意,同時抑制重構產生的誤導訊號。透過只針對與幻覺相關的方向,系統可以在不損失細節的情況下糾正錯誤。

不同配置與資料集的 POPE 基準效能比較。
關於 POPE 的結果,論文指出:
可以觀察到,我們的方法在所有設定中都持續達到最佳效能。值得注意的是,我們的方法平均可達到 +5.95% 的準確率和 +6.85% 的 F1 分數,大幅領先其他免訓練方法。
'因此,這些結果證明我們的方法能在不同難度的情況下提供可靠且可通用的解決方案。

第三輪測試在 MME 上的效能比較。
最後的主要測試在 MME 上進行,結果如上所示。然而,論文在正文或附錄中提到「OPERA」這個方法,卻沒有下定義。雖然作者宣稱 MME 表現強勁,但由於缺乏方法細節,因此在詮釋這些結果時必須謹慎。
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
位元組跳動加大核心AI激勵,豆包增長14.6%
位元組跳動近日召開豆包股權說明會,公佈面向豆包部門員工的最新激勵政策。豆包股票的行權價已從2026年6月的14.85美元上調至17.02美元,漲幅約為14.6%。此次調整不僅提升了豆包股票的估值,還大幅擴大了其覆蓋範圍。根據員工崗位的不同,部分員工可能獲得相當於其總薪酬約5%的豆包股票。根據新的兌換機制,位元組跳動允許員工在整體薪酬包中,將部分現金工資兌換為豆包股權。兌換比例因職級而異,設有20%和30%等不同檔位。例如,L2和L3級員工可選擇20%的全覆蓋兌換比例,而L3和L4級員工的該比例可





首頁






