LPM1.0模型能够基于单张图像生成实时交互式的数字人视频。

研究人员正式发布了LPM1.0模型,该项目旨在仅通过一张参考图像即可生成人们说话、倾听和唱歌的实时视频。其核心突破在于多模态处理技术——通过同步文本、音频与图像输入,打造出唇形匹配精准、面部表情细腻且情绪过渡自然的动态场景。该模型可直接与ChatGPT、豆包等主流语音AI平台集成,将传统的语音对话转化为带有视觉反馈的实时互动体验。
从技术层面来看,LPM1.0采用了“多粒度身份条件化”机制,能够从参考素材中提取多个角度和不同表情下的详细特征,从而无需让模型自行生成牙齿、皱纹或侧脸轮廓等复杂元素。这极大提升了跨风格处理能力——无需重新训练即可快速生成逼真的面部图像、动画或3D游戏角色。此外该模型还支持流式传输,即便生成长度达45分钟的视频也能保持系统稳定性。
在交互逻辑方面,LPM1.0能够准确识别三种对话状态:倾听时会产生点头或视线移动等相应表情;说话时会根据音频驱动身体动作和唇形变化;空闲状态下则会依据文本提示生成自然的休息姿态。项目负责人曾艾玲表示,LPM1.0不仅适用于实时对话,也适合离线音频驱动的视频生成,可为播客及电影制作提供技术冗余保障。
尽管该模型具备巨大的应用潜力,开发团队仍强调它目前仍处于研究阶段,暂无公开发布代码或权重计划的打算。研究人员承认生成的视频与真实影像之间存在质量差异,且其固有的深度伪造风险不容忽视。这项研究的意义在于为人工智能系统的未来发展指明了方向——即从单一的逻辑交互向融入情感反应、眼神交流及视觉呈现的多维度交互转变。
相关文章
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
相关专题推荐
评论 (0)
0/500

研究人员正式发布了LPM1.0模型,该项目旨在仅通过一张参考图像即可生成人们说话、倾听和唱歌的实时视频。其核心突破在于多模态处理技术——通过同步文本、音频与图像输入,打造出唇形匹配精准、面部表情细腻且情绪过渡自然的动态场景。该模型可直接与ChatGPT、豆包等主流语音AI平台集成,将传统的语音对话转化为带有视觉反馈的实时互动体验。
从技术层面来看,LPM1.0采用了“多粒度身份条件化”机制,能够从参考素材中提取多个角度和不同表情下的详细特征,从而无需让模型自行生成牙齿、皱纹或侧脸轮廓等复杂元素。这极大提升了跨风格处理能力——无需重新训练即可快速生成逼真的面部图像、动画或3D游戏角色。此外该模型还支持流式传输,即便生成长度达45分钟的视频也能保持系统稳定性。
在交互逻辑方面,LPM1.0能够准确识别三种对话状态:倾听时会产生点头或视线移动等相应表情;说话时会根据音频驱动身体动作和唇形变化;空闲状态下则会依据文本提示生成自然的休息姿态。项目负责人曾艾玲表示,LPM1.0不仅适用于实时对话,也适合离线音频驱动的视频生成,可为播客及电影制作提供技术冗余保障。
尽管该模型具备巨大的应用潜力,开发团队仍强调它目前仍处于研究阶段,暂无公开发布代码或权重计划的打算。研究人员承认生成的视频与真实影像之间存在质量差异,且其固有的深度伪造风险不容忽视。这项研究的意义在于为人工智能系统的未来发展指明了方向——即从单一的逻辑交互向融入情感反应、眼神交流及视觉呈现的多维度交互转变。
美国股市触及历史里程碑,人工智能与航空航天巨头准备开启万亿美元时代
埃隆·马斯克、山姆·阿尔特曼和达里奥·阿莫迪,这三位科技领域的巨头,正推动其各自的企业迈向首次公开募股(IPO)。随着 SpaceX、OpenAI 和 Anthropic——这三家估值接近万亿美元的行业巨头——即将上市,2026 年被预测将成为美国历史上新股发行规模最大的一年。这一历史性的资本激增已引起全球金融界的关注,成为检验公共市场吸收如此大规模资金能力的关键压力测试。这些主要融资活动的同步启动预计将打破 2021 年创下的 1560 亿美元纪录。超级独角兽的资本博弈每家公司上市的路径
瑞典人工智能初创公司Lovable Eyes在完成主要融资轮后估值达132亿美元
随着人工智能驱动的编码工具日益普及,瑞典初创公司 Lovable 已获一轮重大融资。该公司计划筹集 30 亿美元,其估值有望升至 132 亿美元——这是去年 12 月记录的 66 亿美元的两倍。预计 Menlo Ventures 将主导此次投资。Lovable 的吸引力源于其核心的“氛围编码”(vibe coding)技术,该技术通过消除对复杂编码技能的需求来简化软件开发。用户只需以自然语言描述其需求,系统即可自动生成应用程序。这种直观的方法吸引了个人开发者、设计师和小企业,并扩展至 Work





首页






