芝麻揭开病毒虚拟助手玛雅背后的基础AI模型

Sesame,这家创新的AI公司,推出了令人惊叹的逼真语音助手Maya,刚刚通过发布驱动其功能的基模型掀起了波澜。该模型被称为CSM-1B,拥有10亿个参数,这一术语指的是构成模型的各个组件。该模型在Apache 2.0许可证下发布,可用于商业用途,几乎没有限制,正如在AI开发平台Hugging Face上宣布的那样。
CSM-1B通过将文本和音频输入转换为“RVQ音频代码”来运作。RVQ代表“残差向量量化”,这是一种将音频转化为离散标记或代码的方法。该技术也被其他尖端AI音频技术所使用,如Google的SoundStream和Meta的Encodec。CSM-1B的核心利用了Meta的Llama家族中的一个模型,结合了一个音频“解码器”组件。据Sesame称,经过微调的CSM-1B专用版本为Maya的语音提供动力。
Sesame在其Hugging Face和GitHub仓库中将该模型描述为“基础生成模型”,指出它设计用于生成多种语音,但尚未针对任何特定语音进行优化。由于训练集中存在“数据污染”,它在一定程度上能够处理非英语语言,但在这方面的表现可能不佳。有趣的是,Sesame对训练数据的细节保密,让我们对构建该模型的过程感到好奇。
一个引人注目的方面是缺乏强大的防护措施。Sesame采用诚信系统,仅鼓励用户和开发者避免未经许可复制某人的语音、制作虚假新闻等误导性内容,或参与任何“有害”或“恶意”活动。我亲自在Hugging Face上测试了演示版,不到一分钟就克隆了我的声音。生成关于任何话题的语音都非常轻松,甚至包括选举和俄罗斯宣传等敏感话题。
《消费者报告》最近强调了许多AI驱动的语音克隆工具缺乏“有意义的”防护措施,这可能导致潜在的欺诈或滥用。Sesame由Oculus联合创始人Brendan Iribe共同创立,在二月底凭借其几乎摆脱了恐怖谷效应的助手技术吸引了公众的注意。Maya和Sesame的另一个助手Miles展现出逼真的人类特征,如呼吸、带有口语瑕疵的讲话,以及可在讲话中被打断,类似于OpenAI的语音模式。
在财务方面,Sesame从Andreessen Horowitz、Spark Capital和Matrix Partners等重量级投资者那里获得了未公开的资金。除了语音助手,Sesame还着手开发AI眼镜原型,计划全天佩戴,配备其定制模型。这一举措显示了Sesame将AI技术进一步推向我们日常生活的雄心。
相关文章
Google 测试 Remy AI 代理,以 Gemini 为重点转向用户控制
根据《商业内幕》的报道,谷歌正在测试 Remy,这是 Gemini 的一款全新 AI 个人代理工具。该工具旨在代表用户执行任务,从而简化专业工作流程和日常事务。目前,Remy 正在 Gemini 应用的内部员工专属版本中进行测试。该报告引用了一份内部文件以及对两位熟悉该项目的个人的采访。内部资料将 Remy 描述为“全天候个人代理”,将 Gemini 定位为能够代表用户行事的主动助手。接近该项目的消息人士证实,谷歌员工正在积极测试 Remy。谷歌发言人拒绝提供进一步评论。该报告未提及公开发布
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦
相关专题推荐
评论 (8)
0/500
C'est incroyable ce que Sesame a fait avec Maya ! Un modèle à 1 milliard de paramètres, ça doit être une sacrée bête. Mais franchement, ça donne quoi en termes d'éthique ? On va tous finir avec des assistants trop parfaits ? 😅
Wow, Sesame's CSM-1B sounds like a game-changer! A billion parameters for Maya’s lifelike voice? That’s some serious tech flex. Curious how it stacks up against other models in real-world use. 😎
Whoa, a 1B parameter model powering Maya? That's some serious brainpower! Curious how Sesame's CSM-1B stacks up against other AI giants. Excited to see where this tech takes us! 🚀
Sesame's base AI model for Maya is mind-blowing! 1 billion parameters? That's insane! Maya's voice is so lifelike, it's like talking to a real person. But sometimes she gets a bit too chatty, which can be annoying. Still, a fantastic piece of tech! 🤯
¡El modelo base de IA de Sesame para Maya es alucinante! ¿1 billón de parámetros? ¡Eso es una locura! La voz de Maya es tan realista, parece que estoy hablando con una persona real. Pero a veces se pone un poco parlanchina, lo que puede ser molesto. Aún así, una tecnología fantástica! 🤯
Das Basis-AI-Modell von Sesame für Maya ist umwerfend! 1 Milliarde Parameter? Das ist verrückt! Mayas Stimme ist so lebensecht, es fühlt sich an, als würde man mit einer echten Person sprechen. Aber manchmal wird sie ein bisschen zu gesprächig, was nervig sein kann. Trotzdem, eine fantastische Technologie! 🤯

Sesame,这家创新的AI公司,推出了令人惊叹的逼真语音助手Maya,刚刚通过发布驱动其功能的基模型掀起了波澜。该模型被称为CSM-1B,拥有10亿个参数,这一术语指的是构成模型的各个组件。该模型在Apache 2.0许可证下发布,可用于商业用途,几乎没有限制,正如在AI开发平台Hugging Face上宣布的那样。
CSM-1B通过将文本和音频输入转换为“RVQ音频代码”来运作。RVQ代表“残差向量量化”,这是一种将音频转化为离散标记或代码的方法。该技术也被其他尖端AI音频技术所使用,如Google的SoundStream和Meta的Encodec。CSM-1B的核心利用了Meta的Llama家族中的一个模型,结合了一个音频“解码器”组件。据Sesame称,经过微调的CSM-1B专用版本为Maya的语音提供动力。
Sesame在其Hugging Face和GitHub仓库中将该模型描述为“基础生成模型”,指出它设计用于生成多种语音,但尚未针对任何特定语音进行优化。由于训练集中存在“数据污染”,它在一定程度上能够处理非英语语言,但在这方面的表现可能不佳。有趣的是,Sesame对训练数据的细节保密,让我们对构建该模型的过程感到好奇。
一个引人注目的方面是缺乏强大的防护措施。Sesame采用诚信系统,仅鼓励用户和开发者避免未经许可复制某人的语音、制作虚假新闻等误导性内容,或参与任何“有害”或“恶意”活动。我亲自在Hugging Face上测试了演示版,不到一分钟就克隆了我的声音。生成关于任何话题的语音都非常轻松,甚至包括选举和俄罗斯宣传等敏感话题。
《消费者报告》最近强调了许多AI驱动的语音克隆工具缺乏“有意义的”防护措施,这可能导致潜在的欺诈或滥用。Sesame由Oculus联合创始人Brendan Iribe共同创立,在二月底凭借其几乎摆脱了恐怖谷效应的助手技术吸引了公众的注意。Maya和Sesame的另一个助手Miles展现出逼真的人类特征,如呼吸、带有口语瑕疵的讲话,以及可在讲话中被打断,类似于OpenAI的语音模式。
在财务方面,Sesame从Andreessen Horowitz、Spark Capital和Matrix Partners等重量级投资者那里获得了未公开的资金。除了语音助手,Sesame还着手开发AI眼镜原型,计划全天佩戴,配备其定制模型。这一举措显示了Sesame将AI技术进一步推向我们日常生活的雄心。
奥利押注隐私保护,力争在AI助手竞争中胜出
要真正发挥帮助作用,人工智能助手必须深刻理解其用户。Ollie 是一款专为日常生活设计的个人助理,其运作理念是:实现这一点无需用户交出数据,也不会损害用户的隐私。虽然某些企业级人工智能工具提供了数据隐私保护措施,但Ollie作为首批通过SOC 2认证的主流、面向家庭的人工智能服务之一,尤为突出。该认证框架允许企业通过独立审计证明,其已建立正式的控制措施来保护客户数据,并确保系统安全运行。达成这一里
AI LIVE:伦敦将如何探讨人工智能与工业自动化
本次峰会将汇聚来自全球的高管,共同探讨全球各行业面临的紧迫挑战,涵盖从人工智能驱动的颠覆性变革到经济波动等各个方面。AI LIVE:伦敦峰会将以“技术与人类使命”为主题,汇聚2,000余位国际领袖,共同探讨人工智能的新时代。BizClik旗下品牌《AI Magazine》已公布其在“AI LIVE:伦敦峰会”上举办的关于人工智能与工业自动化的联合炉边谈话环节阵容。该专题讨论会定于10月20日在伦敦
C'est incroyable ce que Sesame a fait avec Maya ! Un modèle à 1 milliard de paramètres, ça doit être une sacrée bête. Mais franchement, ça donne quoi en termes d'éthique ? On va tous finir avec des assistants trop parfaits ? 😅
Wow, Sesame's CSM-1B sounds like a game-changer! A billion parameters for Maya’s lifelike voice? That’s some serious tech flex. Curious how it stacks up against other models in real-world use. 😎
Whoa, a 1B parameter model powering Maya? That's some serious brainpower! Curious how Sesame's CSM-1B stacks up against other AI giants. Excited to see where this tech takes us! 🚀
Sesame's base AI model for Maya is mind-blowing! 1 billion parameters? That's insane! Maya's voice is so lifelike, it's like talking to a real person. But sometimes she gets a bit too chatty, which can be annoying. Still, a fantastic piece of tech! 🤯
¡El modelo base de IA de Sesame para Maya es alucinante! ¿1 billón de parámetros? ¡Eso es una locura! La voz de Maya es tan realista, parece que estoy hablando con una persona real. Pero a veces se pone un poco parlanchina, lo que puede ser molesto. Aún así, una tecnología fantástica! 🤯
Das Basis-AI-Modell von Sesame für Maya ist umwerfend! 1 Milliarde Parameter? Das ist verrückt! Mayas Stimme ist so lebensecht, es fühlt sich an, als würde man mit einer echten Person sprechen. Aber manchmal wird sie ein bisschen zu gesprächig, was nervig sein kann. Trotzdem, eine fantastische Technologie! 🤯





首页






