人類的新AI模型運行像人類這樣的計算機,包括錯誤

您是否曾夢想過一個能像人類一樣與電腦無縫互動的AI?現在,這個夢想已成為現實,這要歸功於Anthropic的最新創新。週二,他們推出了新一代Claude AI模型,名為Claude 3.5 Sonnet,它能以驚人的精細度操作電腦。目前處於beta模式,開發者可通過API進行實驗。
Anthropic自豪地將Claude 3.5 Sonnet標榜為「首個公開beta版提供電腦使用的邊疆AI模型」。這意味著開發者可編程讓它在電腦上執行多種任務,如查看螢幕、移動游標、點擊按鈕,甚至在虛擬鍵盤上輸入。目標是?模仿我們每天與電腦的互動方式。
雖然這個新AI仍處於實驗階段,但並非沒有問題。它有時可能有些笨拙且易出錯。但這正是Anthropic推出beta版的原因——收集開發者的寶貴反饋,隨時間完善模型。
為什麼我們應該關心AI使用電腦?
Anthropic給出了明確答案:「現代工作的絕大部分通過電腦完成。」通過讓AI以人類的方式與軟體互動,它們開啟了當前AI助手無法處理的大量新應用。
開發者和用戶如何受益?
Anthropic並非為每個任務創建特定工具,而是教導Claude通用的電腦技能。這讓AI能使用為人類設計的各種標準軟體程式。開發者可利用這一能力自動化重複任務、構建和測試軟體,甚至進行研究。
多家公司已開始利用Claude 3.5 Sonnet的電腦技能,包括Asana、Canva、Cognition、DoorDash、Replit和The Browser Company。例如,Replit正使用這些能力增強其Replit Agent產品。
他們如何訓練Claude使用電腦?
據Anthropic表示,訓練Claude操作電腦涉及大量試錯。這個過程需要AI理解並解釋電腦螢幕的圖像,然後根據看到的內容決定採取哪些行動。Claude 3.5 Sonnet通過分析螢幕截圖、計算像素以精確移動游標並發出滑鼠指令來實現這一點。
Claude的表現如何?
在OSWorld基準測試中,評估AI模型使用電腦的能力,Claude 3.5 Sonnet獲得14.9%的分數。雖然這遠低於人類70%-75%的表現,但幾乎是同類別中次佳AI模型7.7%的兩倍。
儘管有這些令人振奮的結果,Claude的電腦使用仍處於初級階段。它尚無法執行更複雜的任務,如拖動視窗或放大螢幕。此外,由於依賴螢幕截圖,它可能會錯過某些動作和通知。
Anthropic保持樂觀,聲明:「我們預期電腦使用將迅速改進,變得更快、更可靠且對用戶想完成的任務更有用。」他們還強調,隨著技術進步,它將對軟體開發經驗較少的人更易用,同時保持嚴格的安全措施。
Claude 3.5 Sonnet現已對所有人開放。開發者可通過Anthropic API、Amazon Bedrock和Google Cloud的Vertex AI開始構建應用程式,體驗電腦使用beta版。
相關文章
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
相關專題推薦
評論 (9)
0/500
Claude 3.5 Sonnet が人間のようにエラーを起こしながらPCを操作するって、なんか怖くない?完璧なAIより、失敗する方が信頼できる気もするけど、セキュリティ面が心配だわ。😅 #Anthropic
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!

您是否曾夢想過一個能像人類一樣與電腦無縫互動的AI?現在,這個夢想已成為現實,這要歸功於Anthropic的最新創新。週二,他們推出了新一代Claude AI模型,名為Claude 3.5 Sonnet,它能以驚人的精細度操作電腦。目前處於beta模式,開發者可通過API進行實驗。
Anthropic自豪地將Claude 3.5 Sonnet標榜為「首個公開beta版提供電腦使用的邊疆AI模型」。這意味著開發者可編程讓它在電腦上執行多種任務,如查看螢幕、移動游標、點擊按鈕,甚至在虛擬鍵盤上輸入。目標是?模仿我們每天與電腦的互動方式。
雖然這個新AI仍處於實驗階段,但並非沒有問題。它有時可能有些笨拙且易出錯。但這正是Anthropic推出beta版的原因——收集開發者的寶貴反饋,隨時間完善模型。
為什麼我們應該關心AI使用電腦?
Anthropic給出了明確答案:「現代工作的絕大部分通過電腦完成。」通過讓AI以人類的方式與軟體互動,它們開啟了當前AI助手無法處理的大量新應用。
開發者和用戶如何受益?
Anthropic並非為每個任務創建特定工具,而是教導Claude通用的電腦技能。這讓AI能使用為人類設計的各種標準軟體程式。開發者可利用這一能力自動化重複任務、構建和測試軟體,甚至進行研究。
多家公司已開始利用Claude 3.5 Sonnet的電腦技能,包括Asana、Canva、Cognition、DoorDash、Replit和The Browser Company。例如,Replit正使用這些能力增強其Replit Agent產品。
他們如何訓練Claude使用電腦?
據Anthropic表示,訓練Claude操作電腦涉及大量試錯。這個過程需要AI理解並解釋電腦螢幕的圖像,然後根據看到的內容決定採取哪些行動。Claude 3.5 Sonnet通過分析螢幕截圖、計算像素以精確移動游標並發出滑鼠指令來實現這一點。
Claude的表現如何?
在OSWorld基準測試中,評估AI模型使用電腦的能力,Claude 3.5 Sonnet獲得14.9%的分數。雖然這遠低於人類70%-75%的表現,但幾乎是同類別中次佳AI模型7.7%的兩倍。
儘管有這些令人振奮的結果,Claude的電腦使用仍處於初級階段。它尚無法執行更複雜的任務,如拖動視窗或放大螢幕。此外,由於依賴螢幕截圖,它可能會錯過某些動作和通知。
Anthropic保持樂觀,聲明:「我們預期電腦使用將迅速改進,變得更快、更可靠且對用戶想完成的任務更有用。」他們還強調,隨著技術進步,它將對軟體開發經驗較少的人更易用,同時保持嚴格的安全措施。
Claude 3.5 Sonnet現已對所有人開放。開發者可通過Anthropic API、Amazon Bedrock和Google Cloud的Vertex AI開始構建應用程式,體驗電腦使用beta版。
美國股市觸及歷史裡程碑,人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪,這三位科技領域的巨頭,正推動其各自的企業邁向首次公開募股(IPO)。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市,2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注,成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及,瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元,其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”(vibe coding)技術,該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求,系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業,並擴充套件至 Work
Claude 3.5 Sonnet が人間のようにエラーを起こしながらPCを操作するって、なんか怖くない?完璧なAIより、失敗する方が信頼できる気もするけど、セキュリティ面が心配だわ。😅 #Anthropic
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!





首頁






