人类的新AI模型运行像人类这样的计算机,包括错误

你是否梦想过一种能像人类一样无缝与电脑交互的AI?现在,这个梦想已成为现实,这要归功于Anthropic的最新创新。周二,他们推出了新一代Claude AI模型,名为Claude 3.5 Sonnet,它能以惊人的精细度操作电脑。目前处于测试阶段,此AI可供开发者通过API进行试验。
Anthropic自豪地将Claude 3.5 Sonnet称为“首个人公开测试中提供电脑使用功能的前沿AI模型”。这意味着开发者可编程让其在电脑上执行多种任务,如查看屏幕、移动光标、点击按钮,甚至在虚拟键盘上打字。目标是?复制我们每天与电脑的交互方式。
虽然这款新AI仍处于实验阶段,但并非没有瑕疵。它有时会显得有些笨拙和容易出错。但这正是Anthropic发布测试版的原因——从开发者那里收集宝贵反馈,并随时间完善模型。
为什么我们应该关心AI使用电脑?
Anthropic对此有明确答案:“现代工作的绝大部分通过电脑完成。”通过让AI以人类的方式与软件交互,它们开启了当前AI助手无法处理的大量新应用。
开发者和用户如何受益?
Anthropic没有为每个任务创建特定工具,而是教授Claude通用的电脑技能。这使AI能利用为人类设计的各种标准软件程序。开发者可利用此能力自动化重复任务、构建和测试软件,甚至进行研究。
多家公司已在利用Claude 3.5 Sonnet的电脑技能,包括Asana、Canva、Cognition、DoorDash、Replit和The Browser Company。例如,Replit正利用这些能力增强其Replit Agent产品。
他们如何训练Claude使用电脑?
据Anthropic称,训练Claude导航电脑涉及大量试错。过程要求AI理解并解释电脑屏幕的图像,然后根据所见决定采取哪些行动。Claude 3.5 Sonnet通过分析屏幕截图、计算像素以精确移动光标并发出鼠标命令来实现这一点。
Claude的表现如何?
在OSWorld基准测试中,评估AI模型使用电脑的能力,Claude 3.5 Sonnet得分14.9%。虽然这远低于人类70%-75%的表现,但几乎是同类别次佳AI模型7.7%的两倍。
尽管这些结果令人振奋,Claude的电脑使用仍处于初级阶段。它尚无法执行更复杂的任务,如拖动窗口或缩放屏幕。此外,由于依赖屏幕截图,它可能错过某些动作和通知。
Anthropic保持乐观,表示:“我们预计电脑使用功能将迅速改进,变得更快、更可靠、对用户想完成的任务更有用。”他们还强调,随着技术发展,它将对软件开发经验较少的人更易用,同时保持严格的安全措施。
Claude 3.5 Sonnet现已对所有人开放。开发者可在Anthropic API、Amazon Bedrock和Google Cloud的Vertex AI上开始构建电脑使用测试版的应用。
相关文章
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
相关专题推荐
评论 (9)
0/500
Claude 3.5 Sonnet が人間のようにエラーを起こしながらPCを操作するって、なんか怖くない?完璧なAIより、失敗する方が信頼できる気もするけど、セキュリティ面が心配だわ。😅 #Anthropic
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!

你是否梦想过一种能像人类一样无缝与电脑交互的AI?现在,这个梦想已成为现实,这要归功于Anthropic的最新创新。周二,他们推出了新一代Claude AI模型,名为Claude 3.5 Sonnet,它能以惊人的精细度操作电脑。目前处于测试阶段,此AI可供开发者通过API进行试验。
Anthropic自豪地将Claude 3.5 Sonnet称为“首个人公开测试中提供电脑使用功能的前沿AI模型”。这意味着开发者可编程让其在电脑上执行多种任务,如查看屏幕、移动光标、点击按钮,甚至在虚拟键盘上打字。目标是?复制我们每天与电脑的交互方式。
虽然这款新AI仍处于实验阶段,但并非没有瑕疵。它有时会显得有些笨拙和容易出错。但这正是Anthropic发布测试版的原因——从开发者那里收集宝贵反馈,并随时间完善模型。
为什么我们应该关心AI使用电脑?
Anthropic对此有明确答案:“现代工作的绝大部分通过电脑完成。”通过让AI以人类的方式与软件交互,它们开启了当前AI助手无法处理的大量新应用。
开发者和用户如何受益?
Anthropic没有为每个任务创建特定工具,而是教授Claude通用的电脑技能。这使AI能利用为人类设计的各种标准软件程序。开发者可利用此能力自动化重复任务、构建和测试软件,甚至进行研究。
多家公司已在利用Claude 3.5 Sonnet的电脑技能,包括Asana、Canva、Cognition、DoorDash、Replit和The Browser Company。例如,Replit正利用这些能力增强其Replit Agent产品。
他们如何训练Claude使用电脑?
据Anthropic称,训练Claude导航电脑涉及大量试错。过程要求AI理解并解释电脑屏幕的图像,然后根据所见决定采取哪些行动。Claude 3.5 Sonnet通过分析屏幕截图、计算像素以精确移动光标并发出鼠标命令来实现这一点。
Claude的表现如何?
在OSWorld基准测试中,评估AI模型使用电脑的能力,Claude 3.5 Sonnet得分14.9%。虽然这远低于人类70%-75%的表现,但几乎是同类别次佳AI模型7.7%的两倍。
尽管这些结果令人振奋,Claude的电脑使用仍处于初级阶段。它尚无法执行更复杂的任务,如拖动窗口或缩放屏幕。此外,由于依赖屏幕截图,它可能错过某些动作和通知。
Anthropic保持乐观,表示:“我们预计电脑使用功能将迅速改进,变得更快、更可靠、对用户想完成的任务更有用。”他们还强调,随着技术发展,它将对软件开发经验较少的人更易用,同时保持严格的安全措施。
Claude 3.5 Sonnet现已对所有人开放。开发者可在Anthropic API、Amazon Bedrock和Google Cloud的Vertex AI上开始构建电脑使用测试版的应用。
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
如何修复核心网页指标以获得更好的 SEO 排名
利用 AI 工具简化成绩单评语撰写引言用于生成成绩单评语的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成绩单评语登录 Magic School选择成绩单评语工具为学生定制评语使用 Almanac AI 生成成绩单评语设置课程与评分方案配置评语长度与学生信息使用 Almanac AI 生成评语比较 Magic School 与 Almanac AI设置的便捷性可定制性与课程内容的整合速度与效率使用
Claude 3.5 Sonnet が人間のようにエラーを起こしながらPCを操作するって、なんか怖くない?完璧なAIより、失敗する方が信頼できる気もするけど、セキュリティ面が心配だわ。😅 #Anthropic
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!





首页






