불확실성을 인정하도록 시스템을 교육하여 AI 환각에 대처하는 MIT 스타트업
중요한 정보를 드러내고 중대한 결정을 내릴 때 이러한 모델에 점점 더 의존하게 되면서 AI 환각과 관련된 위험은 점점 더 커지고 있습니다.
우리 모두는 무지를 인정하지 않거나 온라인에서 훑어본 내용을 바탕으로 의심스러운 조언을 제공하는 등 모든 것을 아는 사람처럼 행동하는 사람을 알고 있습니다. AI 환각은 그런 친구와 비슷하지만, 이 경우 그 친구가 여러분의 암 치료법을 설계하고 있을 수도 있습니다.
이것이 바로 테미스 AI가 개입하는 부분입니다. MIT에서 분사한 이 회사는 개념적으로는 간단해 보이지만 기술적으로는 어려운 과제인 AI 시스템에 불확실성을 인식하고 인정하도록 가르치는 데 성공했습니다.
AI 모델은 과신하는 경향이 있습니다. 테미스의 Capsa 플랫폼은 현실 점검 기능을 제공하여 모델이 확신을 가지고 작동하는 대신 추측을 하는 경우를 식별할 수 있도록 지원합니다.
MIT의 다니엘라 루스 교수와 전직 연구원이었던 알렉산더 아미니와 엘라헤 아흐마디가 2021년에 설립한 테미스 AI는 거의 모든 AI 시스템과 통합되는 플랫폼을 구축하여 오류가 발생하기 전에 불확실한 순간을 표시합니다.
AI는 Capsa를 사용하여 자체 데이터 처리 과정에서 혼란, 편견 또는 정보 조건의 차이를 암시하는 패턴을 인식하는 방법을 학습하여 종종 환각으로 이어집니다.
출시 이후 테미스는 통신 회사가 막대한 비용이 드는 네트워크 계획 실수를 방지하고, 석유 및 가스 회사가 복잡한 지진 데이터를 해석하는 데 도움을 주었으며, 사실을 자신 있게 발명하지 않는 챗봇 구축에 관한 연구를 발표했습니다.
아직 많은 사람들이 AI 시스템이 얼마나 자주 교육적인 추측을 하고 있는지 알지 못합니다. 이러한 시스템이 더욱 중요한 역할을 맡게 되면서 이러한 추측은 심각한 결과를 초래할 수 있습니다. 테미스 AI는 부족한 요소인 자기 인식을 도입합니다.
AI 환각을 해결하기 위한 테미스 AI의 여정
테미스 AI의 여정은 수년 전 MIT의 루스 교수 연구실에서 연구원들이 핵심적인 질문을 탐구하면서 시작되었습니다: 기계가 어떻게 자신의 한계를 인식할 수 있을까?
2018년, Toyota는 오류로 인해 생명을 위협할 수 있는 자율주행차를 위한 신뢰할 수 있는 AI 연구에 자금을 지원했습니다. 자율주행차가 보행자와 도로의 위험을 정확하게 감지해야 할 때 이 문제는 특히 중요합니다.
연구팀은 얼굴 인식 시스템에서 인종과 성별 편견을 식별할 수 있는 알고리즘을 통해 돌파구를 마련했습니다. 이 시스템은 단순히 편견을 감지하는 데 그치지 않고 학습 데이터의 균형을 재조정하여 편견을 수정함으로써 AI가 스스로 편견을 극복하도록 효과적으로 가르쳤습니다.
2021년까지 연구팀은 이 방법이 신약 발견을 어떻게 변화시킬 수 있는지 시연했습니다. AI 시스템은 잠재적인 약물을 평가하면서 예측이 확실한 데이터에 근거한 경우와 추측이나 완전한 환각에 근거한 경우를 구분할 수 있었습니다. 제약 회사들은 AI가 확신하는 약물 후보만을 추구함으로써 시간과 자원을 절약할 수 있다는 가치를 확인했습니다.
또 다른 이점은 컴퓨팅 성능이 제한된 디바이스에도 적용됩니다. 엣지 디바이스는 서버 기반 시스템의 정확도를 따라잡을 수 없는 소형 모델에 의존하는 경우가 많습니다. 테미스의 기술은 이러한 로컬 모델이 대부분의 작업을 독립적으로 처리하고 어려운 문제가 발생할 때만 서버의 지원을 요청할 수 있도록 지원합니다.
AI는 우리 삶을 개선할 수 있는 엄청난 잠재력을 제공하지만, 여기에는 실질적인 위험이 따릅니다. AI가 중요한 인프라와 의사 결정에 포함됨에 따라 불확실성을 인식하고 환각을 피하는 능력이 가장 인간적이고 가치 있는 특성이 될 수 있습니다. 테미스 AI는 모델이 이 필수적인 기술을 학습하도록 돕고 있습니다.
또한 참조하세요: 당뇨병 관리: AI를 사용하여 혈당 수치를 예측하는 IBM과 Roche
업계 리더들의 AI와 빅데이터에 대해 더 자세히 알고 싶으신가요? 암스테르담, 캘리포니아, 런던에서 열리는 AI & 빅 데이터 엑스포를 확인해 보세요. 이 종합적인 행사는 지능형 자동화 컨퍼런스, 블록엑스, 디지털 트랜스포메이션 위크, 사이버 보안 및 클라우드 엑스포 등 다른 주요 이벤트와 함께 개최됩니다.
예정된 다른 엔터프라이즈 기술 이벤트와 TechForge에서 제공하는 웨비나는 여기에서 살펴보세요.
관련 기사
구글, 사용자 제어 강화에 맞춰 제미니용 레미 AI 에이전트 테스트
비즈니스 인사이더에 따르면, 구글은 제미나이를 위한 새로운 AI 개인 에이전트인 레미를 테스트하고 있습니다. 이 도구는 사용자를 대신하여 작업을 실행하여 전문적인 워크플로우와 일상적인 루틴을 모두 간소화하는 것을 목표로 합니다.현재 레미는 제미나이 애플리케이션의 내부 직원 전용 버전에서 테스트 중입니다. 이 보고서는 내부 문서와 프로젝트에 정통한 두 명의 인물과의 인터뷰를 인용합니다. 내부 자료는 레미를 “24/7 개인 에이전트”로 묘사하며,
올리는 AI 비서 시장 경쟁에서 우위를 점하기 위해 개인정보 보호에 주력하고 있다
진정으로 도움이 되려면 AI 비서는 사용자를 깊이 이해해야 합니다. 일상 생활을 위해 설계된 개인 비서 ‘올리(Ollie)’는 이를 위해 사용자의 데이터를 제공하거나 개인정보를 침해할 필요가 없다는 전제 하에 운영됩니다.일부 기업용 AI 도구가 데이터 개인정보 보호 장치를 제공하기는 하지만, 올리는 SOC 2 인증을 획득한 최초의 대중적 가정용 AI 서비스
‘AI LIVE: London’이 AI와 산업 자동화를 어떻게 조명할 것인가
이번 정상회의에는 전 세계의 최고 경영진들이 한자리에 모여, AI에 의한 산업 혁신부터 경제 변동성에 이르기까지 글로벌 산업이 직면한 시급한 과제들을 논의할 예정입니다.‘AI LIVE: 런던 서밋’은 ‘기술 + 인간의 목적(Technology + Human Purpose)’이라는 주제로 2,000명 이상의 국제적 리더들을 한자리에 모아, 새롭게 도래하는 인
관련 특별 주제 추천
의견 (4)
0/500
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!
중요한 정보를 드러내고 중대한 결정을 내릴 때 이러한 모델에 점점 더 의존하게 되면서 AI 환각과 관련된 위험은 점점 더 커지고 있습니다.
우리 모두는 무지를 인정하지 않거나 온라인에서 훑어본 내용을 바탕으로 의심스러운 조언을 제공하는 등 모든 것을 아는 사람처럼 행동하는 사람을 알고 있습니다. AI 환각은 그런 친구와 비슷하지만, 이 경우 그 친구가 여러분의 암 치료법을 설계하고 있을 수도 있습니다.
이것이 바로 테미스 AI가 개입하는 부분입니다. MIT에서 분사한 이 회사는 개념적으로는 간단해 보이지만 기술적으로는 어려운 과제인 AI 시스템에 불확실성을 인식하고 인정하도록 가르치는 데 성공했습니다.
AI 모델은 과신하는 경향이 있습니다. 테미스의 Capsa 플랫폼은 현실 점검 기능을 제공하여 모델이 확신을 가지고 작동하는 대신 추측을 하는 경우를 식별할 수 있도록 지원합니다.
MIT의 다니엘라 루스 교수와 전직 연구원이었던 알렉산더 아미니와 엘라헤 아흐마디가 2021년에 설립한 테미스 AI는 거의 모든 AI 시스템과 통합되는 플랫폼을 구축하여 오류가 발생하기 전에 불확실한 순간을 표시합니다.
AI는 Capsa를 사용하여 자체 데이터 처리 과정에서 혼란, 편견 또는 정보 조건의 차이를 암시하는 패턴을 인식하는 방법을 학습하여 종종 환각으로 이어집니다.
출시 이후 테미스는 통신 회사가 막대한 비용이 드는 네트워크 계획 실수를 방지하고, 석유 및 가스 회사가 복잡한 지진 데이터를 해석하는 데 도움을 주었으며, 사실을 자신 있게 발명하지 않는 챗봇 구축에 관한 연구를 발표했습니다.
아직 많은 사람들이 AI 시스템이 얼마나 자주 교육적인 추측을 하고 있는지 알지 못합니다. 이러한 시스템이 더욱 중요한 역할을 맡게 되면서 이러한 추측은 심각한 결과를 초래할 수 있습니다. 테미스 AI는 부족한 요소인 자기 인식을 도입합니다.
AI 환각을 해결하기 위한 테미스 AI의 여정
테미스 AI의 여정은 수년 전 MIT의 루스 교수 연구실에서 연구원들이 핵심적인 질문을 탐구하면서 시작되었습니다: 기계가 어떻게 자신의 한계를 인식할 수 있을까?
2018년, Toyota는 오류로 인해 생명을 위협할 수 있는 자율주행차를 위한 신뢰할 수 있는 AI 연구에 자금을 지원했습니다. 자율주행차가 보행자와 도로의 위험을 정확하게 감지해야 할 때 이 문제는 특히 중요합니다.
연구팀은 얼굴 인식 시스템에서 인종과 성별 편견을 식별할 수 있는 알고리즘을 통해 돌파구를 마련했습니다. 이 시스템은 단순히 편견을 감지하는 데 그치지 않고 학습 데이터의 균형을 재조정하여 편견을 수정함으로써 AI가 스스로 편견을 극복하도록 효과적으로 가르쳤습니다.
2021년까지 연구팀은 이 방법이 신약 발견을 어떻게 변화시킬 수 있는지 시연했습니다. AI 시스템은 잠재적인 약물을 평가하면서 예측이 확실한 데이터에 근거한 경우와 추측이나 완전한 환각에 근거한 경우를 구분할 수 있었습니다. 제약 회사들은 AI가 확신하는 약물 후보만을 추구함으로써 시간과 자원을 절약할 수 있다는 가치를 확인했습니다.
또 다른 이점은 컴퓨팅 성능이 제한된 디바이스에도 적용됩니다. 엣지 디바이스는 서버 기반 시스템의 정확도를 따라잡을 수 없는 소형 모델에 의존하는 경우가 많습니다. 테미스의 기술은 이러한 로컬 모델이 대부분의 작업을 독립적으로 처리하고 어려운 문제가 발생할 때만 서버의 지원을 요청할 수 있도록 지원합니다.
AI는 우리 삶을 개선할 수 있는 엄청난 잠재력을 제공하지만, 여기에는 실질적인 위험이 따릅니다. AI가 중요한 인프라와 의사 결정에 포함됨에 따라 불확실성을 인식하고 환각을 피하는 능력이 가장 인간적이고 가치 있는 특성이 될 수 있습니다. 테미스 AI는 모델이 이 필수적인 기술을 학습하도록 돕고 있습니다.
또한 참조하세요: 당뇨병 관리: AI를 사용하여 혈당 수치를 예측하는 IBM과 Roche
업계 리더들의 AI와 빅데이터에 대해 더 자세히 알고 싶으신가요? 암스테르담, 캘리포니아, 런던에서 열리는 AI & 빅 데이터 엑스포를 확인해 보세요. 이 종합적인 행사는 지능형 자동화 컨퍼런스, 블록엑스, 디지털 트랜스포메이션 위크, 사이버 보안 및 클라우드 엑스포 등 다른 주요 이벤트와 함께 개최됩니다.
예정된 다른 엔터프라이즈 기술 이벤트와 TechForge에서 제공하는 웨비나는 여기에서 살펴보세요.
올리는 AI 비서 시장 경쟁에서 우위를 점하기 위해 개인정보 보호에 주력하고 있다
진정으로 도움이 되려면 AI 비서는 사용자를 깊이 이해해야 합니다. 일상 생활을 위해 설계된 개인 비서 ‘올리(Ollie)’는 이를 위해 사용자의 데이터를 제공하거나 개인정보를 침해할 필요가 없다는 전제 하에 운영됩니다.일부 기업용 AI 도구가 데이터 개인정보 보호 장치를 제공하기는 하지만, 올리는 SOC 2 인증을 획득한 최초의 대중적 가정용 AI 서비스
‘AI LIVE: London’이 AI와 산업 자동화를 어떻게 조명할 것인가
이번 정상회의에는 전 세계의 최고 경영진들이 한자리에 모여, AI에 의한 산업 혁신부터 경제 변동성에 이르기까지 글로벌 산업이 직면한 시급한 과제들을 논의할 예정입니다.‘AI LIVE: 런던 서밋’은 ‘기술 + 인간의 목적(Technology + Human Purpose)’이라는 주제로 2,000명 이상의 국제적 리더들을 한자리에 모아, 새롭게 도래하는 인
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!





집






