LPM1.0 모델은 단일 이미지로부터 실시간 대화형 디지털 휴먼 영상을 생성합니다.

연구진은 단일 참조 이미지만으로 사람들이 말하거나 듣거나 노래하는 모습의 실시간 영상을 생성하기 위해 개발된 LPM1.0 모델을 공식적으로 공개했습니다. 이 모델의 핵심 혁신점은 멀티모달 처리 기술에 있으며, 텍스트, 오디오, 이미지 입력을 동기화하여 정확한 입동기화와 섬세한 표정, 자연스러운 감정 전환을 갖춘 동적인 장면을 만들어냅니다. 이 모델은 ChatGPT나 Doubao와 같은 주요 음성 AI 플랫폼과 직접 연동되어 기존의 음성 대화를 시각적 피드백이 포함된 실시간 상호작용 경험으로 전환합니다.
기술적으로 LPM1.0은 “다중 해상도 정체성 조건부 처리” 기법을 활용해 다양한 각도와 표정의 참조 자료에서 상세한 특징들을 추출함으로써, 치아나 주름, 측면 프로필과 같은 복잡한 요소들을 모델이 단독으로 생성해야 하는 필요성을 없앴습니다. 이를 통해 재교육 없이도 사실적인 얼굴, 애니메이션, 3D 게임 캐릭터 등 다양한 스타일의 콘텐츠를 즉시 생성할 수 있게 되었으며, 최대 45분 길이의 영상을 생성해도 시스템의 안정성을 유지할 수 있습니다.
상호작용 로직 측면에서 LPM1.0은 대화 상태를 세 가지로 정확하게 인식합니다. 상대방의 말을 듣는 동안에는 고개를 끄덕이거나 시선을 옮기는 등 적절한 표정을 보여주고, 말하는 동안에는 오디오 정보를 바탕으로 신체와 입의 움직임을 생성하며, 대화가 없는 상태에서는 텍스트 프롬프트에 따라 자연스러운 휴식 모습을 만들어냅니다. 프로젝트 매니저인 젱아일링은 LPM1.0이 실시간 대화는 물론 오프라인에서 오디오 기반으로 영상을 생성하는 데에도 적합하며, 팟캐스트나 영화 제작 시 기술적 여유를 제공한다고 언급했습니다.
높은 응용 가능성에도 불구하고 개발팀은 LPM1.0이 아직 연구 단계의 모델일 뿐이며, 현재로서는 코드나 가중치를 공개할 계획이 없다고 강조합니다. 연구진들은 생성된 영상과 실제 촬영 영상 사이에 질적인 차이가 존재하며, 딥페이크와 관련된 내재적 위험도 간과할 수 없다고 인정합니다. 이 연구의 의의는 단일 논리적 상호작용에서 감정 반응, 시선 교환, 시각적 표현까지 포함하는 다차원적 상호작용으로 AI 시스템이 발전해 나가는 미래의 방향을 제시한다는 점에 있습니다.
관련 기사
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을
MiniMax, 전 세계 AI 전문가들을 장려하기 위해 10배 팀 프로그램을 공개합니다
MiniMax(시위 테크놀로지)의 범용 인공지능 연구소는 글로벌 인재 협력 프로그램인 '10x 팀'을 공식적으로 출시했습니다. 이 프로그램은 다양한 산업 분야의 최고 전문가들을 모집하여 대형 모델의 전문 수직 분야에 대한 심층적인 응용을 탐구하는 것을 목표로 합니다. 심층적인 산업 지식과 최첨단 AI를 통합함으로써 MiniMax는 대형 모델의 생산성을 일반적인 사용에서 전문적인 시나리오로 확장하여 궁극적으로 산업 효율성의 '10배 증가'를 주도
관련 특별 주제 추천
의견 (0)
0/500

연구진은 단일 참조 이미지만으로 사람들이 말하거나 듣거나 노래하는 모습의 실시간 영상을 생성하기 위해 개발된 LPM1.0 모델을 공식적으로 공개했습니다. 이 모델의 핵심 혁신점은 멀티모달 처리 기술에 있으며, 텍스트, 오디오, 이미지 입력을 동기화하여 정확한 입동기화와 섬세한 표정, 자연스러운 감정 전환을 갖춘 동적인 장면을 만들어냅니다. 이 모델은 ChatGPT나 Doubao와 같은 주요 음성 AI 플랫폼과 직접 연동되어 기존의 음성 대화를 시각적 피드백이 포함된 실시간 상호작용 경험으로 전환합니다.
기술적으로 LPM1.0은 “다중 해상도 정체성 조건부 처리” 기법을 활용해 다양한 각도와 표정의 참조 자료에서 상세한 특징들을 추출함으로써, 치아나 주름, 측면 프로필과 같은 복잡한 요소들을 모델이 단독으로 생성해야 하는 필요성을 없앴습니다. 이를 통해 재교육 없이도 사실적인 얼굴, 애니메이션, 3D 게임 캐릭터 등 다양한 스타일의 콘텐츠를 즉시 생성할 수 있게 되었으며, 최대 45분 길이의 영상을 생성해도 시스템의 안정성을 유지할 수 있습니다.
상호작용 로직 측면에서 LPM1.0은 대화 상태를 세 가지로 정확하게 인식합니다. 상대방의 말을 듣는 동안에는 고개를 끄덕이거나 시선을 옮기는 등 적절한 표정을 보여주고, 말하는 동안에는 오디오 정보를 바탕으로 신체와 입의 움직임을 생성하며, 대화가 없는 상태에서는 텍스트 프롬프트에 따라 자연스러운 휴식 모습을 만들어냅니다. 프로젝트 매니저인 젱아일링은 LPM1.0이 실시간 대화는 물론 오프라인에서 오디오 기반으로 영상을 생성하는 데에도 적합하며, 팟캐스트나 영화 제작 시 기술적 여유를 제공한다고 언급했습니다.
높은 응용 가능성에도 불구하고 개발팀은 LPM1.0이 아직 연구 단계의 모델일 뿐이며, 현재로서는 코드나 가중치를 공개할 계획이 없다고 강조합니다. 연구진들은 생성된 영상과 실제 촬영 영상 사이에 질적인 차이가 존재하며, 딥페이크와 관련된 내재적 위험도 간과할 수 없다고 인정합니다. 이 연구의 의의는 단일 논리적 상호작용에서 감정 반응, 시선 교환, 시각적 표현까지 포함하는 다차원적 상호작용으로 AI 시스템이 발전해 나가는 미래의 방향을 제시한다는 점에 있습니다.
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을
MiniMax, 전 세계 AI 전문가들을 장려하기 위해 10배 팀 프로그램을 공개합니다
MiniMax(시위 테크놀로지)의 범용 인공지능 연구소는 글로벌 인재 협력 프로그램인 '10x 팀'을 공식적으로 출시했습니다. 이 프로그램은 다양한 산업 분야의 최고 전문가들을 모집하여 대형 모델의 전문 수직 분야에 대한 심층적인 응용을 탐구하는 것을 목표로 합니다. 심층적인 산업 지식과 최첨단 AI를 통합함으로써 MiniMax는 대형 모델의 생산성을 일반적인 사용에서 전문적인 시나리오로 확장하여 궁극적으로 산업 효율성의 '10배 증가'를 주도





집






