집오픈AI, AI 벤치마크에 일침: 질문의 3분의 1 가까이가 결함이 있었음에도 8개월 만에 합격률이 80%로 치솟았다
오픈AI는 블로그 게시물을 통해 업계 최고의 벤치마크인 ‘SWE-Bench Pro’에 공개적으로 이의를 제기하며, 공개된 731개의 테스트 과제 중 약 30%에 평가상의 결함이 있다고 주장했다. Scale AI가 개발한 SWE-Bench Pro는 대규모 언어 모델과 AI 에이전트의 코딩 능력을 평가하기 위해 고안되었습니다. 실제 기업 개발 환경을 충실히 반영하고 엄격한 부정행위 방지 조치를 시행하기 때문에, AI 소프트웨어 엔지니어링 분야에서 널리 신뢰받는 벤치마크로 자리 잡았습니다.
오픈AI는 블로그 게시물에서 한 가지 중요한 신호를 강조합니다. 바로 이 벤치마크에서 최상위 모델들의 합격률이 불과 8개월 만에 23.3%에서 80.3%로 급증했다는 점입니다. 이러한 급속한 발전은 의심스러워 보이며, 오픈AI는 이 벤치마크가 더 이상 모델의 실제 소프트웨어 개발 능력을 정확하게 측정할 수 없다고 주장합니다. 이 문제는 모델 성능의 진정한 도약이 아니라 평가 방식 자체의 결함에서 비롯된 것으로 보인다.
교차 검증된 두 가지 검토 경로를 통해, 과제 중 거의 30%가 “부적격”으로 판정된 사실이 드러났습니다.
이를 검증하기 위해 OpenAI는 두 가지 병행 검토 절차를 진행했습니다. 데이터 포인트 분석 결과, 731개의 공개 과제 중 27.4%에 해당하는 200개의 과제가 불합격으로 판정되었습니다. 한편, 수동 주석 분석에서는 34.1%에 해당하는 249개의 과제가 불합격으로 표시되었습니다. 두 방법을 상호 대조한 결과, OpenAI는 SWE-Bench Pro 과제의 약 30%가 결함을 포함하고 있으며, 이는 지나치게 엄격한 테스트, 부적절한 프롬프트, 좁은 테스트 범위, 오해의 소지가 있는 프롬프트라는 네 가지 범주로 분류된다고 추정합니다.
OpenAI는 또한 전형적인 사례를 공유했습니다. 한 과제는 콘텐츠를 마크다운(Markdown)으로 변환할 때 줄 시작 부분에 공백 하나를 넣도록 요구했으나, 숨겨진 테스트 기준은 공백 두 개를 기대했습니다. 결과적으로, 모델이 명시된 요구 사항을 따랐더라도 오답으로 처리될 수밖에 없었습니다. 이러한 명시적 지침과 숨겨진 요구 사항 간의 불일치는 모델의 실제 능력 평가를 직접적으로 왜곡하며, 합격률이 비합리적으로 급증한 원인을 설명해 줍니다.
채택 권고 철회 및 AI 평가 시스템 재구축 촉구
이러한 분석을 바탕으로 OpenAI는 SWE-Bench Pro 사용에 대한 기존 권고를 공식적으로 철회했습니다. 이 회사는 향후 벤치마크가 인간 개발자를 위해 설계된 테스트 로직을 전용하는 방식이 아니라, 경험이 풍부한 소프트웨어 개발자들이 AI 평가를 위해 특별히 제작해야 한다고 믿습니다. 업계 벤치마크의 과제 중 거의 30%가 결함을 가지고 있다면, AI 평가 시스템 전체의 신뢰성에 의문이 제기될 수밖에 없습니다. 점수 경쟁에서 벗어나 진정한 엔지니어링 역량 평가로 초점을 전환하는 것이 AI 소프트웨어 엔지니어링 평가의 다음 중요한 단계가 될 수 있습니다.
관련 기사
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib
구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트
비즈니스 인사이더에 따르면, 구글은 제미나이를 위한 새로운 AI 개인 에이전트인 레미를 테스트하고 있습니다. 이 도구는 사용자를 대신하여 작업을 실행하여 전문적인 워크플로우와 일상적인 루틴을 모두 간소화하는 것을 목표로 합니다.현재 레미는 제미나이 애플리케이션의 내부 직원 전용 버전에서 테스트 중입니다. 이 보고서는 내부 문서와 프로젝트에 정통한 두 명의 인물과의 인터뷰를 인용합니다. 내부 자료는 레미를 “24/7 개인 에이전트”로 묘사하며,
관련 특별 주제 추천
데이터 분석
SaaS 및 이커머스 팀을 위한 KPI 모니터링용 최고의 AI 이상 감지 도구
2026년 최신 최고의 KPI 모니터링용 AI 이상 탐지 도구 SaaS 및 이커머스 팀을 위한 상위 평가 도구! XIX.AI는 엄격한 실제 테스트와 매주 업데이트되는 순위를 기반으로 강력한 게임 체인저 컬렉션을 선별했습니다. 생산성을 높이고 AI 경쟁력을 발휘할 수 있는 필수 솔루션을 식별하는 데 도움이 되는 상세한 무료 대 유료 비교 인사이트를 찾을 수 있습니다. 지금 탐색하세요!
10 도구
xix.ai
글쓰기
장문 SEO 기사용 최고의 AI 개요 생성기
XIX.AI가 꼼꼼하게 선별한 2026년 최신 최고 평점을 받은 장문 SEO 기사용 AI 개요 생성기. 이 강력한 도구들은 고품질 콘텐츠를 신속하게 제작하는 데 획기적인 도움을 제공하여 글쓰기 효율을 크게 높여줍니다. 무료 버전과 유료 버전의 비교 정보와 실제 테스트 결과, 상세한 순위 정보를 확인하여 여러분의 필요에 딱 맞는, 꼭 사용해 봐야 할 옵션을 찾아보세요. 지금 바로 살펴보고 AI를 활용한 경쟁력을 확보하세요.
8 도구
xix.ai
교육 및 학습
숙제 및 시험 준비를 위한 AI 학습 도구
2026년 숙제 및 시험 준비를 위한 최신 최고의 AI 학습 도구! XIX.AI는 학생들이 생산성을 높이고, 숙제 완료 과정을 효율화하며, 실제 시험을 통해 우수한 성적을 거둘 수 있도록 돕는 강력하고 혁신적인 도구들의 최고 평점 목록을 엄선했습니다. 무료와 유료 버전의 비교 정보, 상세한 순위, 꼭 사용해 봐야 할 옵션을 확인하고 AI의 힘을 최대한 활용하세요. 지금 바로 살펴보세요!
10 도구
xix.ai
음악 작곡
songwriter, 후크, 탑라인 및 다국어 초안 세션을 위한 AI 보컬 데모 도구
2026년 최신 최고의 AI 보컬 데모 도구: 작곡가, 후크 제작자 및 다국어 콘텐츠 팀을 위한! XIX.AI는 엄격한 실전 테스트를 거친 강력한 혁신 도구의 최고 평점 목록을 선별했습니다. 여기서는 무료 대 유료 비교 데이터, 종합 순위, 그리고 필수 추천 옵션을 확인할 수 있어 작사 효율성을 높이고 창의적 잠재력을 발휘하는 데 도움이 됩니다. 지금 탐색하여 모든 콘텐츠 요구에 맞는 완벽한 도구를 발견하세요!
9 도구
xix.ai
사업
중소기업을 위한 최고의 AI 경쟁사 분석 도구
2026년 중소기업을 위한 최신 최고 평점의 AI 경쟁 분석 도구! XIX.AI는 매주 엄격한 실제 테스트와 상세한 순위를 바탕으로 업데이트되는, 업계 판도를 바꿀 만큼 강력한 도구 모음을 엄선했습니다. 생산성을 높이고 경쟁 우위를 확보할 수 있는 ‘꼭 사용해 봐야 할’ 도구를 찾아보실 수 있도록, 무료 버전과 유료 버전의 포괄적인 비교 정보를 제공합니다. 지금 바로 살펴보고 여러분에게 딱 맞는 도구를 찾아보세요!
9 도구
xix.ai
이미지 편집
이커머스 의류용 Photoshop AI 보정 도구, 피부 결 정리 및 색상 일관성
2026년 최신 최고의 Photoshop AI 보정 도구: 이커머스 의류, 피부 클리닝, 색상 일관성을 위한! 이 상위 평가 큐레이션 목록은 글쓰기 효율성을 높이고 콘텐츠 제작을 간소화하며 완벽한 시각적 결과를 손쉽게 달성하는 데 도움이 되는 강력한 게임 체인저 솔루션을 특징으로 합니다. 각 도구는 매주 업데이트되는 랭킹을 통해 실제 테스트를 거쳤으며, 무료 대 유료 비교 세부 사항도 포함되어 있습니다. XIX.AI의 지원을 받아 AI 경쟁력을 발휘하고자 하는 모든 이들에게 필수 추천 가이드입니다. 지금 탐색하세요!
10 도구
xix.ai
의견 (0)
0/500
오픈AI는 블로그 게시물을 통해 업계 최고의 벤치마크인 ‘SWE-Bench Pro’에 공개적으로 이의를 제기하며, 공개된 731개의 테스트 과제 중 약 30%에 평가상의 결함이 있다고 주장했다. Scale AI가 개발한 SWE-Bench Pro는 대규모 언어 모델과 AI 에이전트의 코딩 능력을 평가하기 위해 고안되었습니다. 실제 기업 개발 환경을 충실히 반영하고 엄격한 부정행위 방지 조치를 시행하기 때문에, AI 소프트웨어 엔지니어링 분야에서 널리 신뢰받는 벤치마크로 자리 잡았습니다.
오픈AI는 블로그 게시물에서 한 가지 중요한 신호를 강조합니다. 바로 이 벤치마크에서 최상위 모델들의 합격률이 불과 8개월 만에 23.3%에서 80.3%로 급증했다는 점입니다. 이러한 급속한 발전은 의심스러워 보이며, 오픈AI는 이 벤치마크가 더 이상 모델의 실제 소프트웨어 개발 능력을 정확하게 측정할 수 없다고 주장합니다. 이 문제는 모델 성능의 진정한 도약이 아니라 평가 방식 자체의 결함에서 비롯된 것으로 보인다.
교차 검증된 두 가지 검토 경로를 통해, 과제 중 거의 30%가 “부적격”으로 판정된 사실이 드러났습니다.
이를 검증하기 위해 OpenAI는 두 가지 병행 검토 절차를 진행했습니다. 데이터 포인트 분석 결과, 731개의 공개 과제 중 27.4%에 해당하는 200개의 과제가 불합격으로 판정되었습니다. 한편, 수동 주석 분석에서는 34.1%에 해당하는 249개의 과제가 불합격으로 표시되었습니다. 두 방법을 상호 대조한 결과, OpenAI는 SWE-Bench Pro 과제의 약 30%가 결함을 포함하고 있으며, 이는 지나치게 엄격한 테스트, 부적절한 프롬프트, 좁은 테스트 범위, 오해의 소지가 있는 프롬프트라는 네 가지 범주로 분류된다고 추정합니다.
OpenAI는 또한 전형적인 사례를 공유했습니다. 한 과제는 콘텐츠를 마크다운(Markdown)으로 변환할 때 줄 시작 부분에 공백 하나를 넣도록 요구했으나, 숨겨진 테스트 기준은 공백 두 개를 기대했습니다. 결과적으로, 모델이 명시된 요구 사항을 따랐더라도 오답으로 처리될 수밖에 없었습니다. 이러한 명시적 지침과 숨겨진 요구 사항 간의 불일치는 모델의 실제 능력 평가를 직접적으로 왜곡하며, 합격률이 비합리적으로 급증한 원인을 설명해 줍니다.
채택 권고 철회 및 AI 평가 시스템 재구축 촉구
이러한 분석을 바탕으로 OpenAI는 SWE-Bench Pro 사용에 대한 기존 권고를 공식적으로 철회했습니다. 이 회사는 향후 벤치마크가 인간 개발자를 위해 설계된 테스트 로직을 전용하는 방식이 아니라, 경험이 풍부한 소프트웨어 개발자들이 AI 평가를 위해 특별히 제작해야 한다고 믿습니다. 업계 벤치마크의 과제 중 거의 30%가 결함을 가지고 있다면, AI 평가 시스템 전체의 신뢰성에 의문이 제기될 수밖에 없습니다. 점수 경쟁에서 벗어나 진정한 엔지니어링 역량 평가로 초점을 전환하는 것이 AI 소프트웨어 엔지니어링 평가의 다음 중요한 단계가 될 수 있습니다.
미국의 주식 시장이 AI와 항공우주 거대 기업들의 1조 달러 데뷔를 앞두고 역사적 이정표에 도달
엘론 머스크, 샘 알트만, 그리고 다리오 아모데이라는 기술 산업의 거인 세 명이 각자의 기업에 대해 공개 시장 상장(IPO)을 앞두고 있다. 스페이스X, 오픈AI, 앤트로픽이라는 세 산업의 거대 기업이 1조 달러 이상의 기업 가치를 달성하며 상장을 준비함에 따라, 2026년은 미국 역사상 신주 발행 측면에서 가장 중요한 해가 될 것으로 전망된다.이러한 역사적인 자본 증가는 전 세계 금융계의 주목을 받고 있으며, 공공 시장이 이러한 규모의 자금
스웨덴의 AI 스타트업 로버블 아이즈, 주요 자금 조달 라운드 이후 132억 달러의 기업 가치 달성
AI 기반 코딩 도구가 인기를 얻으면서 스웨덴 스타트업 로버블(Lovable)이 주요 자금 조달 라운드를 성사시켰다. 이 회사는 30억 달러를 조달하여 지난 12월 기록된 66억 달러의 두 배인 132억 달러의 기업 가치를 달성할 수 있을 것으로 기대된다. 멘로 벤처스(Menlo Ventures)가 이 투자 라운드를 주도할 것으로 예상된다.로버블의 매력은 복잡한 코딩 기술이 필요하지 않은 소프트웨어 제작을 단순화하는 핵심 '바이브 코딩(vib
구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트
비즈니스 인사이더에 따르면, 구글은 제미나이를 위한 새로운 AI 개인 에이전트인 레미를 테스트하고 있습니다. 이 도구는 사용자를 대신하여 작업을 실행하여 전문적인 워크플로우와 일상적인 루틴을 모두 간소화하는 것을 목표로 합니다.현재 레미는 제미나이 애플리케이션의 내부 직원 전용 버전에서 테스트 중입니다. 이 보고서는 내부 문서와 프로젝트에 정통한 두 명의 인물과의 인터뷰를 인용합니다. 내부 자료는 레미를 “24/7 개인 에이전트”로 묘사하며,
2026년 최신 최고의 KPI 모니터링용 AI 이상 탐지 도구 SaaS 및 이커머스 팀을 위한 상위 평가 도구! XIX.AI는 엄격한 실제 테스트와 매주 업데이트되는 순위를 기반으로 강력한 게임 체인저 컬렉션을 선별했습니다. 생산성을 높이고 AI 경쟁력을 발휘할 수 있는 필수 솔루션을 식별하는 데 도움이 되는 상세한 무료 대 유료 비교 인사이트를 찾을 수 있습니다. 지금 탐색하세요!
10 도구
xix.ai
XIX.AI가 꼼꼼하게 선별한 2026년 최신 최고 평점을 받은 장문 SEO 기사용 AI 개요 생성기. 이 강력한 도구들은 고품질 콘텐츠를 신속하게 제작하는 데 획기적인 도움을 제공하여 글쓰기 효율을 크게 높여줍니다. 무료 버전과 유료 버전의 비교 정보와 실제 테스트 결과, 상세한 순위 정보를 확인하여 여러분의 필요에 딱 맞는, 꼭 사용해 봐야 할 옵션을 찾아보세요. 지금 바로 살펴보고 AI를 활용한 경쟁력을 확보하세요.
8 도구
xix.ai
2026년 숙제 및 시험 준비를 위한 최신 최고의 AI 학습 도구! XIX.AI는 학생들이 생산성을 높이고, 숙제 완료 과정을 효율화하며, 실제 시험을 통해 우수한 성적을 거둘 수 있도록 돕는 강력하고 혁신적인 도구들의 최고 평점 목록을 엄선했습니다. 무료와 유료 버전의 비교 정보, 상세한 순위, 꼭 사용해 봐야 할 옵션을 확인하고 AI의 힘을 최대한 활용하세요. 지금 바로 살펴보세요!
10 도구
xix.ai
2026년 최신 최고의 AI 보컬 데모 도구: 작곡가, 후크 제작자 및 다국어 콘텐츠 팀을 위한! XIX.AI는 엄격한 실전 테스트를 거친 강력한 혁신 도구의 최고 평점 목록을 선별했습니다. 여기서는 무료 대 유료 비교 데이터, 종합 순위, 그리고 필수 추천 옵션을 확인할 수 있어 작사 효율성을 높이고 창의적 잠재력을 발휘하는 데 도움이 됩니다. 지금 탐색하여 모든 콘텐츠 요구에 맞는 완벽한 도구를 발견하세요!
9 도구
xix.ai
2026년 중소기업을 위한 최신 최고 평점의 AI 경쟁 분석 도구! XIX.AI는 매주 엄격한 실제 테스트와 상세한 순위를 바탕으로 업데이트되는, 업계 판도를 바꿀 만큼 강력한 도구 모음을 엄선했습니다. 생산성을 높이고 경쟁 우위를 확보할 수 있는 ‘꼭 사용해 봐야 할’ 도구를 찾아보실 수 있도록, 무료 버전과 유료 버전의 포괄적인 비교 정보를 제공합니다. 지금 바로 살펴보고 여러분에게 딱 맞는 도구를 찾아보세요!
9 도구
xix.ai
2026년 최신 최고의 Photoshop AI 보정 도구: 이커머스 의류, 피부 클리닝, 색상 일관성을 위한! 이 상위 평가 큐레이션 목록은 글쓰기 효율성을 높이고 콘텐츠 제작을 간소화하며 완벽한 시각적 결과를 손쉽게 달성하는 데 도움이 되는 강력한 게임 체인저 솔루션을 특징으로 합니다. 각 도구는 매주 업데이트되는 랭킹을 통해 실제 테스트를 거쳤으며, 무료 대 유료 비교 세부 사항도 포함되어 있습니다. XIX.AI의 지원을 받아 AI 경쟁력을 발휘하고자 하는 모든 이들에게 필수 추천 가이드입니다. 지금 탐색하세요!
10 도구
xix.ai
