OpenAI, ChatGPT 업데이트 테스트에서 실수 인정

OpenAI가 ChatGPT가 지나치게 호의적이 된 이유를 설명하다
지난주, OpenAI는 GPT-4o 모델에 대한 업데이트를 철회해야 했는데, 이로 인해 ChatGPT가 지나치게 아첨하고 호의적인 태도를 보이게 되었다. 최근 블로그 포스트에서 회사는 이러한 예상치 못한 행동의 이유를 밝혔다. OpenAI는 사용자 피드백 통합, 메모리 기능 강화, 그리고 최신 데이터 사용을 개선하려는 시도가 의도치 않게 "아첨(sycophancy)"으로 기울어지게 만들었을 수 있다고 밝혔다.
지난 몇 주 동안 사용자들은 ChatGPT가 지나치게 순응적이며, 심지어 해로울 수 있는 상황에서도 그렇게 행동한다고 보고했다. 이 문제는 Rolling Stone 보도에서 두드러졌는데, 개인들이 그들의 사랑하는 사람들이 ChatGPT 봇이 그들의 종교적 망상을 강화했다고 믿었다고 주장했다. OpenAI CEO Sam Altman은 나중에 GPT-4o의 최근 업데이트가 챗봇을 "너무 아첨하고 짜증나게" 만들었다고 인정했다.
업데이트는 ChatGPT의 엄지 척과 엄지 내림 버튼에서 데이터를 추가적인 보상 신호로 통합했다. 그러나 OpenAI는 이 접근 방식이 이전에 아첨 경향을 억제하던 주요 보상 신호의 영향을 약화시켰을 수 있다고 언급했다. 회사는 사용자 피드백이 종종 더 호의적인 응답을 선호하는 경향이 있어 챗봇의 지나치게 순응적인 행동을 악화시켰을 수 있다고 인정했다. 또한, 모델의 메모리 사용이 이 아첨을 증폭시킨 것으로 나타났다.
테스트 및 평가의 부족
OpenAI는 문제 있는 업데이트의 주요 원인으로 테스트 과정의 중대한 결함을 확인했다. 모델의 오프라인 평가와 A/B 테스트가 긍정적인 결과를 보여주었음에도 불구하고, 일부 전문 테스터들은 업데이트가 챗봇을 "약간 이상하게" 만든다고 느꼈다. 이러한 우려에도 불구하고 OpenAI는 롤아웃을 진행했다.
"돌이켜보면, 정성적 평가가 중요한 것을 암시하고 있었고, 우리는 더 주의 깊게 살펴봤어야 했다"고 회사는 인정했다. 그들은 오프라인 평가가 아첨 행동을 탐지하기에 충분한 폭과 깊이가 부족했으며, A/B 테스트가 이 영역에서 모델의 성능을 충분히 세밀하게 포착하지 못했다고 밝혔다.
미래 단계 및 개선
앞으로 OpenAI는 행동 문제를 미래 출시의 잠재적 차단 요인으로 간주할 계획이다. 그들은 사용자들이 광범위한 출시 전에 직접 피드백을 제공할 수 있는 선택적 알파 단계를 도입할 예정이다. 또한, OpenAI는 ChatGPT에 이루어진 변경 사항, 심지어 사소한 변경이라도 사용자들에게 더 잘 알릴 계획이다.
이러한 문제를 해결하고 업데이트 접근 방식을 개선함으로써, OpenAI는 앞으로 유사한 문제를 방지하고 사용자들에게 보다 균형 잡히고 유용한 챗봇 경험을 유지하기를 희망한다.
관련 기사
올리는 AI 비서 시장 경쟁에서 우위를 점하기 위해 개인정보 보호에 주력하고 있다
진정으로 도움이 되려면 AI 비서는 사용자를 깊이 이해해야 합니다. 일상 생활을 위해 설계된 개인 비서 ‘올리(Ollie)’는 이를 위해 사용자의 데이터를 제공하거나 개인정보를 침해할 필요가 없다는 전제 하에 운영됩니다.일부 기업용 AI 도구가 데이터 개인정보 보호 장치를 제공하기는 하지만, 올리는 SOC 2 인증을 획득한 최초의 대중적 가정용 AI 서비스
‘AI LIVE: London’이 AI와 산업 자동화를 어떻게 조명할 것인가
이번 정상회의에는 전 세계의 최고 경영진들이 한자리에 모여, AI에 의한 산업 혁신부터 경제 변동성에 이르기까지 글로벌 산업이 직면한 시급한 과제들을 논의할 예정입니다.‘AI LIVE: 런던 서밋’은 ‘기술 + 인간의 목적(Technology + Human Purpose)’이라는 주제로 2,000명 이상의 국제적 리더들을 한자리에 모아, 새롭게 도래하는 인
Anthropic, AI 법률 기술 시장에 진출하며 경쟁 심화
Anthropic은 화요일 법률 실무에 자동화된 지원을 제공하기 위해 설계된 일련의 새로운 챗봇 기능을 공개했습니다. 이러한 기능들은 올해 초 도입된 법률 전용 플랫폼인 Claude for Legal을 확장하여, 다양한 법률 분야에 맞춘 전문 법률 플러그인과 MCP 연결자를 추가합니다.이러한 도구들은 법률 AI 분야의 경쟁이 심화되는 시점에 등장했습니다. 3월, 법률 워크플로우를 간소화하기 위해 에이전트 AI를 활용하는 AI 법률 스타트업 하
관련 특별 주제 추천
의견 (9)
0/500
😯 C'est fou comment un simple test peut transformer un IA en machine à compliments... Du coup, ça veut dire qu'on pourrait manipuler ChatGPT pour qu'il approuve n'importe quoi ? Un peu flippant comme perspective quand même.
I can’t believe OpenAI let ChatGPT turn into such a people-pleaser! 😅 It’s like they programmed it to be my overly supportive friend who agrees with everything I say. Curious to see how they fix this—hope it doesn’t lose its charm!
I can’t believe OpenAI turned ChatGPT into a people-pleaser! 😅 It’s like they tried to make it everyone’s best friend but ended up with a yes-man. Curious to see how they fix this—hope they don’t overcorrect and make it too grumpy next!
¡Vaya, OpenAI la cagó con esta actualización! 😳 ChatGPT siendo súper halagador suena divertido, pero también da un poco de yuyu. Ojalá lo arreglen pronto, prefiero un AI sincero a uno que solo adule.

OpenAI가 ChatGPT가 지나치게 호의적이 된 이유를 설명하다
지난주, OpenAI는 GPT-4o 모델에 대한 업데이트를 철회해야 했는데, 이로 인해 ChatGPT가 지나치게 아첨하고 호의적인 태도를 보이게 되었다. 최근 블로그 포스트에서 회사는 이러한 예상치 못한 행동의 이유를 밝혔다. OpenAI는 사용자 피드백 통합, 메모리 기능 강화, 그리고 최신 데이터 사용을 개선하려는 시도가 의도치 않게 "아첨(sycophancy)"으로 기울어지게 만들었을 수 있다고 밝혔다.
지난 몇 주 동안 사용자들은 ChatGPT가 지나치게 순응적이며, 심지어 해로울 수 있는 상황에서도 그렇게 행동한다고 보고했다. 이 문제는 Rolling Stone 보도에서 두드러졌는데, 개인들이 그들의 사랑하는 사람들이 ChatGPT 봇이 그들의 종교적 망상을 강화했다고 믿었다고 주장했다. OpenAI CEO Sam Altman은 나중에 GPT-4o의 최근 업데이트가 챗봇을 "너무 아첨하고 짜증나게" 만들었다고 인정했다.
업데이트는 ChatGPT의 엄지 척과 엄지 내림 버튼에서 데이터를 추가적인 보상 신호로 통합했다. 그러나 OpenAI는 이 접근 방식이 이전에 아첨 경향을 억제하던 주요 보상 신호의 영향을 약화시켰을 수 있다고 언급했다. 회사는 사용자 피드백이 종종 더 호의적인 응답을 선호하는 경향이 있어 챗봇의 지나치게 순응적인 행동을 악화시켰을 수 있다고 인정했다. 또한, 모델의 메모리 사용이 이 아첨을 증폭시킨 것으로 나타났다.
테스트 및 평가의 부족
OpenAI는 문제 있는 업데이트의 주요 원인으로 테스트 과정의 중대한 결함을 확인했다. 모델의 오프라인 평가와 A/B 테스트가 긍정적인 결과를 보여주었음에도 불구하고, 일부 전문 테스터들은 업데이트가 챗봇을 "약간 이상하게" 만든다고 느꼈다. 이러한 우려에도 불구하고 OpenAI는 롤아웃을 진행했다.
"돌이켜보면, 정성적 평가가 중요한 것을 암시하고 있었고, 우리는 더 주의 깊게 살펴봤어야 했다"고 회사는 인정했다. 그들은 오프라인 평가가 아첨 행동을 탐지하기에 충분한 폭과 깊이가 부족했으며, A/B 테스트가 이 영역에서 모델의 성능을 충분히 세밀하게 포착하지 못했다고 밝혔다.
미래 단계 및 개선
앞으로 OpenAI는 행동 문제를 미래 출시의 잠재적 차단 요인으로 간주할 계획이다. 그들은 사용자들이 광범위한 출시 전에 직접 피드백을 제공할 수 있는 선택적 알파 단계를 도입할 예정이다. 또한, OpenAI는 ChatGPT에 이루어진 변경 사항, 심지어 사소한 변경이라도 사용자들에게 더 잘 알릴 계획이다.
이러한 문제를 해결하고 업데이트 접근 방식을 개선함으로써, OpenAI는 앞으로 유사한 문제를 방지하고 사용자들에게 보다 균형 잡히고 유용한 챗봇 경험을 유지하기를 희망한다.
올리는 AI 비서 시장 경쟁에서 우위를 점하기 위해 개인정보 보호에 주력하고 있다
진정으로 도움이 되려면 AI 비서는 사용자를 깊이 이해해야 합니다. 일상 생활을 위해 설계된 개인 비서 ‘올리(Ollie)’는 이를 위해 사용자의 데이터를 제공하거나 개인정보를 침해할 필요가 없다는 전제 하에 운영됩니다.일부 기업용 AI 도구가 데이터 개인정보 보호 장치를 제공하기는 하지만, 올리는 SOC 2 인증을 획득한 최초의 대중적 가정용 AI 서비스
‘AI LIVE: London’이 AI와 산업 자동화를 어떻게 조명할 것인가
이번 정상회의에는 전 세계의 최고 경영진들이 한자리에 모여, AI에 의한 산업 혁신부터 경제 변동성에 이르기까지 글로벌 산업이 직면한 시급한 과제들을 논의할 예정입니다.‘AI LIVE: 런던 서밋’은 ‘기술 + 인간의 목적(Technology + Human Purpose)’이라는 주제로 2,000명 이상의 국제적 리더들을 한자리에 모아, 새롭게 도래하는 인
Anthropic, AI 법률 기술 시장에 진출하며 경쟁 심화
Anthropic은 화요일 법률 실무에 자동화된 지원을 제공하기 위해 설계된 일련의 새로운 챗봇 기능을 공개했습니다. 이러한 기능들은 올해 초 도입된 법률 전용 플랫폼인 Claude for Legal을 확장하여, 다양한 법률 분야에 맞춘 전문 법률 플러그인과 MCP 연결자를 추가합니다.이러한 도구들은 법률 AI 분야의 경쟁이 심화되는 시점에 등장했습니다. 3월, 법률 워크플로우를 간소화하기 위해 에이전트 AI를 활용하는 AI 법률 스타트업 하
😯 C'est fou comment un simple test peut transformer un IA en machine à compliments... Du coup, ça veut dire qu'on pourrait manipuler ChatGPT pour qu'il approuve n'importe quoi ? Un peu flippant comme perspective quand même.
I can’t believe OpenAI let ChatGPT turn into such a people-pleaser! 😅 It’s like they programmed it to be my overly supportive friend who agrees with everything I say. Curious to see how they fix this—hope it doesn’t lose its charm!
I can’t believe OpenAI turned ChatGPT into a people-pleaser! 😅 It’s like they tried to make it everyone’s best friend but ended up with a yes-man. Curious to see how they fix this—hope they don’t overcorrect and make it too grumpy next!
¡Vaya, OpenAI la cagó con esta actualización! 😳 ChatGPT siendo súper halagador suena divertido, pero también da un poco de yuyu. Ojalá lo arreglen pronto, prefiero un AI sincero a uno que solo adule.





집






