首页Github Copilot的AI测试：混合编码成功使我感到困惑
探索AI编码工具的不一致性
令人费解的是，所有基于相同基础大语言模型的AI工具，竟然会产生如此不同的结果。例如，ChatGPT、Perplexity 和 GitHub Copilot 都使用了 OpenAI 的 GPT-4 模型。然而，我最近的测试显示性能差异明显：ChatGPT 和 Perplexity 的专业版表现出色，而 GitHub Copilot 的成功率只有50%。
我在 VS Code 环境中集成了 GitHub Copilot 进行这些测试。我将在即将发布的一篇文章中分享设置的详细指南。现在，让我们深入探讨我进行的测试细节。
如果你对我的测试方法和使用的提示词感到好奇，可以查看我关于评估AI聊天机器人编码能力的详细指南。
TL;DR： GitHub Copilot 在我进行的四项测试中通过了两项。
测试1：编写 WordPress 插件
这次测试完全令人失望。这是我的初步实验，让我不确定是 GitHub Copilot 在编码方面存在问题，还是 VS Code 环境中的交互限制影响了其能力。
背景是这样的：我要求AI开发一个功能完整的 WordPress 插件，包括管理界面和操作逻辑。插件的任务是接受一个名字列表，对其排序，并将任何重复项分开以避免相邻。
这项任务源自我妻子数字商品电商业务的实际需求，她管理着一个活跃的 Facebook 群组。
在测试的十个AI模型中，五个完全通过了这项测试，三个部分通过，两个（包括 Microsoft Copilot）完全失败。尽管 GitHub Copilot 使用了相同的提示词，但它只生成了 PHP 代码。虽然这个问题确实可以用 PHP 单独解决，但 GitHub Copilot 试图引用 JavaScript，却没有实际生成 JavaScript 代码。
David Gewirtz/ZDNET 截图 当我尝试在 JavaScript 文件中提示 GitHub Copilot 完成任务时，它竟然又生成了更多的 PHP 代码，仍然引用了一个不存在的 JavaScript 文件。
David Gewirtz/ZDNET 截图 测试2：重写字符串函数
这项测试相对简单：我提供了一个用于验证美元和美分的函数，但它只检查整数美元。挑战在于让AI纠正这个函数。
GitHub Copilot 确实修改了代码，但结果有问题。它假设任何输入字符串都是有效的，如果字符串为空，就会导致错误。此外，更新后的正则表达式无法处理各种边缘情况，例如“3.”、“.3”或“00.30”等输入。对于一个用于验证货币的函数，这种疏忽是不可接受的，这标志着 GitHub Copilot 的又一次失败。
测试3：查找一个烦人的错误
在这项测试中，GitHub Copilot 表现出色。这项测试基于我遇到的一个真实编码挑战，错误信息并未直接指向实际问题。这有点像一个编码谜题，需要深入理解 WordPress API 调用才能解决。
虽然 Microsoft Copilot、Gemini 和 Meta Code Llama 在这项测试中表现不佳，但 GitHub Copilot 完美应对，展现了其处理复杂现实问题的能力。
测试4：编写脚本
GitHub Copilot 在这项测试中也成功了，而 Microsoft Copilot 则失败了。任务涉及创建一个需要整合 AppleScript、Chrome 对象模型和 Mac 专用工具 Keyboard Maestro 的脚本。
要通过测试，AI需要识别并处理这三个环境的细微差别，而 GitHub Copilot 做到了这一点。
最终思考
看到使用先进 GPT-4 模型的 GitHub Copilot 在一半的测试中失败，令人失望。鉴于 GitHub 作为领先的源代码管理平台的地位，人们会期望其AI编码支持更加可靠。
然而，AI的世界在不断发展，我乐观地认为 GitHub Copilot 的性能会随着时间推移而改善。我们将在几个月后重新审视它的进展。
你依赖AI进行编码辅助吗？你的首选AI工具是哪个？你尝试过 GitHub Copilot 吗？在下面的评论中分享你的经验。
在社交媒体上关注我的每日项目进展。不要忘记订阅我的每周通讯，并在 Twitter/X 上关注我，账号为 @DavidGewirtz，在 Facebook 上为 Facebook.com/DavidGewirtz，在 Instagram 上为 Instagram.com/DavidGewirtz，在 Bluesky 上为 @DavidGewirtz.com，在 YouTube 上为 YouTube.com/DavidGewirtzTV。
相关文章
如何优化核心网络指标以提升SEO排名
借助人工智能生成的文字稿，革新您的视频剪辑工作流程目录：引言自动转录的关键优势确保准确性并优化输出结果利用转录文本的搜索功能现有文件的无缝导入Transcript.com 简介Transcript.com 让编辑变得简单灵活的导出格式全面的语言支持结语简介Transcripted 是一款利用人工智能生成自动转录文本的 Premiere 插件。本指南将深入探讨其核心功能，包括高准确率、高级搜索工具以
钉钉借助阿里AI的MuleRun重构架构，开启全代理时代
钉钉新任CEO兼悟空业务部负责人陈宇森在今天下午发布的一份内部备忘录中，公布了一项重大的组织架构调整。通过设立核心平台业务部并全面整合AI智能助手团队，钉钉正加速推进其企业协作生态系统的智能化转型。此次重组的核心在于将AI技术深度融入核心业务运营。钉钉已正式将悟空和MuleRun团队合并为统一的悟空团队，现由MuleRun前CTO舒俊良领导。 MuleRun是此前由陈宇森在阿里云内部开发并领导的A
如何优化核心网络指标以提升SEO排名
家乐福如何利用生成式人工智能重塑零售业引言埃莱娜·拉博姆：从法律界到电商领军人物家乐福：全球零售巨头家乐福的数字化转型家乐福的生成式人工智能战略家乐福生成式人工智能的实际应用案例研究 1：Opla——重新定义客户支持案例研究 2：Marketing Studio——AI 驱动的营销活动创建案例研究 3：产品内容丰富化的自动化挑战与局限性未来展望 优势前景与扩展策略结论作为全球最大的零售商之一，家乐
相关专题推荐
设计与艺术
顶级AI插画工具：更快地创作编辑类场景和封面插图
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
教育与学习
备考首选的顶尖AI辅导老师：练习数学、科学和英语
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
金融
用于个人财务管理的 AI 预算规划工具
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
健康养生
AI睡眠追踪助手：通过养成更好的睡前习惯来促进身体恢复
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
数据分析
用于产品和收入分析的 AI SQL 辅助工具
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
教育与学习
最佳的、兼具教学功能的AI作业助手：学习概念，而不仅仅是答案
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
评论 (41)
0/500
![GregoryWilson]()
GitHub Copilotのテスト結果、正直謎すぎますね。同じGPT-4ベースなのに、ツールによって精度がこんなに違うのは不思議です。ChatGPTやPerplexityとはまた別の挙動を示すので、使い分けが重要になりそうです。AIの限界を実感しました🤔
![HarryMartinez]()
Honestly, this doesn't surprise me. Even with the same underlying model, the way each tool fine-tunes prompts and handles context makes a huge difference. Copilot's mixed results probably come from its integration with IDE specifics. Still, it's baffling why the same model can give such inconsistent outputs for similar tasks. 🤔
![EricAllen]()
Ich hab's auch ausprobiert und finde es echt seltsam, dass die Ergebnisse so unterschiedlich sind, obwohl die Basis ähnlich ist. Manchmal schreibt Copilot super Code, manchmal totalen Unsinn. Vielleicht liegt's an der Integration in die IDE? 🤔 Auf jeden Fall muss da noch viel verbessert werden, bevor ich mich voll darauf verlassen kann.
![ArthurJackson]()
Интересно, почему ИИ-инструменты на одной базовой модели GPT-4 работают так по-разному? GitHub Copilot иногда генерирует код, который выглядит логично, но потом выдает полную ерунду 😅 Может, дело в тонкой настройке или контексте? Это напоминает мне капризного коллегу-программиста, который то гений, то беспомощен.
![LarryMartin]()
이 기사 읽어보니 AI 코딩 도구의 편차가 정말 신기하네요. 같은 기술인데 결과가 이렇게 다를 수 있다니... 개발자로 일하면서 Copilot이 가끔 완벽한 코드를 써주다가도 갑자기 엉뚱한 걸 제안해서 당황했던 적이 많아요. 🤔 앞으로 AI 도구들이 더 안정화되길 바랍니다!
![PaulRoberts]()
Acho frustrante que ferramentas como Copilot e ChatGPT usem o mesmo modelo base mas tenham performances tão diferentes. Isso me faz questionar se a implementação é realmente bem feita ou se só estão colocando um nome famoso pra vender mais. 🤔
探索AI编码工具的不一致性
令人费解的是，所有基于相同基础大语言模型的AI工具，竟然会产生如此不同的结果。例如，ChatGPT、Perplexity 和 GitHub Copilot 都使用了 OpenAI 的 GPT-4 模型。然而，我最近的测试显示性能差异明显：ChatGPT 和 Perplexity 的专业版表现出色，而 GitHub Copilot 的成功率只有50%。
我在 VS Code 环境中集成了 GitHub Copilot 进行这些测试。我将在即将发布的一篇文章中分享设置的详细指南。现在，让我们深入探讨我进行的测试细节。
如果你对我的测试方法和使用的提示词感到好奇，可以查看我关于评估AI聊天机器人编码能力的详细指南。
TL;DR： GitHub Copilot 在我进行的四项测试中通过了两项。
测试1：编写 WordPress 插件
这次测试完全令人失望。这是我的初步实验，让我不确定是 GitHub Copilot 在编码方面存在问题，还是 VS Code 环境中的交互限制影响了其能力。
背景是这样的：我要求AI开发一个功能完整的 WordPress 插件，包括管理界面和操作逻辑。插件的任务是接受一个名字列表，对其排序，并将任何重复项分开以避免相邻。
这项任务源自我妻子数字商品电商业务的实际需求，她管理着一个活跃的 Facebook 群组。
在测试的十个AI模型中，五个完全通过了这项测试，三个部分通过，两个（包括 Microsoft Copilot）完全失败。尽管 GitHub Copilot 使用了相同的提示词，但它只生成了 PHP 代码。虽然这个问题确实可以用 PHP 单独解决，但 GitHub Copilot 试图引用 JavaScript，却没有实际生成 JavaScript 代码。
当我尝试在 JavaScript 文件中提示 GitHub Copilot 完成任务时，它竟然又生成了更多的 PHP 代码，仍然引用了一个不存在的 JavaScript 文件。
测试2：重写字符串函数
这项测试相对简单：我提供了一个用于验证美元和美分的函数，但它只检查整数美元。挑战在于让AI纠正这个函数。
GitHub Copilot 确实修改了代码，但结果有问题。它假设任何输入字符串都是有效的，如果字符串为空，就会导致错误。此外，更新后的正则表达式无法处理各种边缘情况，例如“3.”、“.3”或“00.30”等输入。对于一个用于验证货币的函数，这种疏忽是不可接受的，这标志着 GitHub Copilot 的又一次失败。
测试3：查找一个烦人的错误
在这项测试中，GitHub Copilot 表现出色。这项测试基于我遇到的一个真实编码挑战，错误信息并未直接指向实际问题。这有点像一个编码谜题，需要深入理解 WordPress API 调用才能解决。
虽然 Microsoft Copilot、Gemini 和 Meta Code Llama 在这项测试中表现不佳，但 GitHub Copilot 完美应对，展现了其处理复杂现实问题的能力。
测试4：编写脚本
GitHub Copilot 在这项测试中也成功了，而 Microsoft Copilot 则失败了。任务涉及创建一个需要整合 AppleScript、Chrome 对象模型和 Mac 专用工具 Keyboard Maestro 的脚本。
要通过测试，AI需要识别并处理这三个环境的细微差别，而 GitHub Copilot 做到了这一点。
最终思考
看到使用先进 GPT-4 模型的 GitHub Copilot 在一半的测试中失败，令人失望。鉴于 GitHub 作为领先的源代码管理平台的地位，人们会期望其AI编码支持更加可靠。
然而，AI的世界在不断发展，我乐观地认为 GitHub Copilot 的性能会随着时间推移而改善。我们将在几个月后重新审视它的进展。
你依赖AI进行编码辅助吗？你的首选AI工具是哪个？你尝试过 GitHub Copilot 吗？在下面的评论中分享你的经验。
在社交媒体上关注我的每日项目进展。不要忘记订阅我的每周通讯，并在 Twitter/X 上关注我，账号为 @DavidGewirtz，在 Facebook 上为 Facebook.com/DavidGewirtz，在 Instagram 上为 Instagram.com/DavidGewirtz，在 Bluesky 上为 @DavidGewirtz.com，在 YouTube 上为 YouTube.com/DavidGewirtzTV。
如何优化核心网络指标以提升SEO排名
借助人工智能生成的文字稿，革新您的视频剪辑工作流程目录：引言自动转录的关键优势确保准确性并优化输出结果利用转录文本的搜索功能现有文件的无缝导入Transcript.com 简介Transcript.com 让编辑变得简单灵活的导出格式全面的语言支持结语简介Transcripted 是一款利用人工智能生成自动转录文本的 Premiere 插件。本指南将深入探讨其核心功能，包括高准确率、高级搜索工具以
钉钉借助阿里AI的MuleRun重构架构，开启全代理时代
钉钉新任CEO兼悟空业务部负责人陈宇森在今天下午发布的一份内部备忘录中，公布了一项重大的组织架构调整。通过设立核心平台业务部并全面整合AI智能助手团队，钉钉正加速推进其企业协作生态系统的智能化转型。此次重组的核心在于将AI技术深度融入核心业务运营。钉钉已正式将悟空和MuleRun团队合并为统一的悟空团队，现由MuleRun前CTO舒俊良领导。 MuleRun是此前由陈宇森在阿里云内部开发并领导的A
如何优化核心网络指标以提升SEO排名
家乐福如何利用生成式人工智能重塑零售业引言埃莱娜·拉博姆：从法律界到电商领军人物家乐福：全球零售巨头家乐福的数字化转型家乐福的生成式人工智能战略家乐福生成式人工智能的实际应用案例研究 1：Opla——重新定义客户支持案例研究 2：Marketing Studio——AI 驱动的营销活动创建案例研究 3：产品内容丰富化的自动化挑战与局限性未来展望 优势前景与扩展策略结论作为全球最大的零售商之一，家乐
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
GitHub Copilotのテスト結果、正直謎すぎますね。同じGPT-4ベースなのに、ツールによって精度がこんなに違うのは不思議です。ChatGPTやPerplexityとはまた別の挙動を示すので、使い分けが重要になりそうです。AIの限界を実感しました🤔
Honestly, this doesn't surprise me. Even with the same underlying model, the way each tool fine-tunes prompts and handles context makes a huge difference. Copilot's mixed results probably come from its integration with IDE specifics. Still, it's baffling why the same model can give such inconsistent outputs for similar tasks. 🤔
Ich hab's auch ausprobiert und finde es echt seltsam, dass die Ergebnisse so unterschiedlich sind, obwohl die Basis ähnlich ist. Manchmal schreibt Copilot super Code, manchmal totalen Unsinn. Vielleicht liegt's an der Integration in die IDE? 🤔 Auf jeden Fall muss da noch viel verbessert werden, bevor ich mich voll darauf verlassen kann.
Интересно, почему ИИ-инструменты на одной базовой модели GPT-4 работают так по-разному? GitHub Copilot иногда генерирует код, который выглядит логично, но потом выдает полную ерунду 😅 Может, дело в тонкой настройке или контексте? Это напоминает мне капризного коллегу-программиста, который то гений, то беспомощен.
이 기사 읽어보니 AI 코딩 도구의 편차가 정말 신기하네요. 같은 기술인데 결과가 이렇게 다를 수 있다니... 개발자로 일하면서 Copilot이 가끔 완벽한 코드를 써주다가도 갑자기 엉뚱한 걸 제안해서 당황했던 적이 많아요. 🤔 앞으로 AI 도구들이 더 안정화되길 바랍니다!
Acho frustrante que ferramentas como Copilot e ChatGPT usem o mesmo modelo base mas tenham performances tão diferentes. Isso me faz questionar se a implementação é realmente bem feita ou se só estão colocando um nome famoso pra vender mais. 🤔
