Hogar
Apple y LM Studio anuncian una colaboración pionera, mientras cuatro estudios que utilizan Mac implementan modelos a gran escala con un billón de parámetros

Demostración revolucionaria en la WWDC: ejecución de un modelo de IA con un billón de parámetros en hardware de Apple
En la reciente WWDC, la plataforma de software de IA LM Studio colaboró con Apple para presentar un logro revolucionario en el ámbito de la tecnología de inteligencia artificial. El equipo ejecutó con éxito el modelo insignia de Moonshot AI, Kimi K2.6, utilizando un clúster de cuatro Mac Studio. Esta demostración ilustró claramente las considerables capacidades de la arquitectura Apple Silicon a la hora de procesar modelos de IA a escala ultragrande.
El modelo Kimi K2.6 se basa en una arquitectura MoE avanzada y cuenta con un total de hasta un billón de parámetros. Aunque el sistema dinámico de programación experta del modelo reduce la carga computacional durante la inferencia al activar solo unos 32 000 millones de parámetros a la vez, cargar el modelo completo sigue suponiendo un reto significativo en cuanto a memoria. Cuando se procesa con precisión FP16, requiere aproximadamente 2 TB de memoria. En las configuraciones convencionales de centros de datos, cumplir este requisito suele implicar el uso de clústeres de servidores con entre 8 y 16 GPU de gama alta, lo que puede costar millones de dólares.
Sin embargo, la demostración superó esta limitación gracias a una solución técnica innovadora. Los cuatro Mac Studio equipados con chips M3 Ultra se conectaron mediante interfaces Thunderbolt 5, aprovechando la tecnología RDMA sobre Thunderbolt disponible en las últimas versiones de macOS. Este enfoque permitió compartir memoria directamente entre los dispositivos, fusionando de forma efectiva sus 2 TB combinados de memoria unificada en un único conjunto de memoria lógica. Como resultado, el modelo de un billón de parámetros pudo cargarse sin problemas. Durante la demostración en directo, el clúster ofreció un gran rendimiento, generando alrededor de 28 tokens por segundo y consumiendo mucha menos energía que los centros de cálculo tradicionales basados en GPU.
Además de esta demostración, LM Studio también presentó LM Link como parte de la colaboración. Basada en la arquitectura de VPN en malla de Tailscale, esta herramienta permite a los usuarios acceder de forma segura al clúster local de Mac Studio desde cualquier lugar a través de conexiones cifradas de extremo a extremo. Los usuarios pueden aprovechar la potencia de cálculo del clúster para realizar inferencias utilizando un MacBook o un iPhone, sin necesidad de estar físicamente presentes en el dispositivo anfitrión. Todos los datos confidenciales se procesan localmente dentro de un bucle seguro, evitando cualquier transferencia a través de servidores en la nube de terceros.
Esta demostración no solo sirvió como escaparate técnico, sino que también envió un mensaje claro al sector. Apple Silicon, con su diseño de memoria unificada y sus eficientes funciones de conectividad multidispositivo, se está perfilando como una opción viable para implementar grandes modelos de IA. Para las organizaciones que necesitan ejecutar tareas de inferencia con modelos de gran tamaño de forma frecuente y a largo plazo, esta solución elimina los elevados costes asociados a los servicios en la nube al sustituirlos por inversiones en hardware, lo que se traduce en un importante ahorro de costes a lo largo del tiempo.
A medida que el rendimiento de los clústeres de hardware de consumo sigue mejorando, las barreras para la adopción de tecnologías de IA se reducen aún más. Este logro sugiere que la fuente de la innovación de vanguardia en IA ya no se limitará a un puñado de gigantes tecnológicos con grandes instalaciones de supercomputación. Es probable que el panorama de la computación descentralizada vea nuevas oportunidades de desarrollo en un futuro próximo.
Artículo relacionado
Slackbot se convierte en un agente de IA
Slackbot, el asistente automatizado integrado en la plataforma de mensajería corporativa Slack de Salesforce, está evolucionando hacia un agente de inteligencia artificial. El CTO de Salesforce, Parker Harris, prevé que alcance un estatus viral compa
ByteDance Refuerza los Incentivos de IA Central mientras Doubao Aumenta un 14.6%
ByteDance ha convocado recientemente una sesión informativa sobre la participación accionaria de DouBao para presentar nuevas políticas de incentivos para el personal involucrado en la división de DouBao. El precio de ejercicio de las acciones de Dou
MiniMax presenta el Programa de Equipo 10x para incentivar a expertos globales en IA
MiniMax (Xiyu Technology), el Laboratorio de Inteligencia Artificial General, ha lanzado oficialmente "10x Team", una iniciativa global de colaboración de talento. Este programa tiene como objetivo reclutar a los mejores expertos de diversas industri
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

Demostración revolucionaria en la WWDC: ejecución de un modelo de IA con un billón de parámetros en hardware de Apple
En la reciente WWDC, la plataforma de software de IA LM Studio colaboró con Apple para presentar un logro revolucionario en el ámbito de la tecnología de inteligencia artificial. El equipo ejecutó con éxito el modelo insignia de Moonshot AI, Kimi K2.6, utilizando un clúster de cuatro Mac Studio. Esta demostración ilustró claramente las considerables capacidades de la arquitectura Apple Silicon a la hora de procesar modelos de IA a escala ultragrande.
El modelo Kimi K2.6 se basa en una arquitectura MoE avanzada y cuenta con un total de hasta un billón de parámetros. Aunque el sistema dinámico de programación experta del modelo reduce la carga computacional durante la inferencia al activar solo unos 32 000 millones de parámetros a la vez, cargar el modelo completo sigue suponiendo un reto significativo en cuanto a memoria. Cuando se procesa con precisión FP16, requiere aproximadamente 2 TB de memoria. En las configuraciones convencionales de centros de datos, cumplir este requisito suele implicar el uso de clústeres de servidores con entre 8 y 16 GPU de gama alta, lo que puede costar millones de dólares.
Sin embargo, la demostración superó esta limitación gracias a una solución técnica innovadora. Los cuatro Mac Studio equipados con chips M3 Ultra se conectaron mediante interfaces Thunderbolt 5, aprovechando la tecnología RDMA sobre Thunderbolt disponible en las últimas versiones de macOS. Este enfoque permitió compartir memoria directamente entre los dispositivos, fusionando de forma efectiva sus 2 TB combinados de memoria unificada en un único conjunto de memoria lógica. Como resultado, el modelo de un billón de parámetros pudo cargarse sin problemas. Durante la demostración en directo, el clúster ofreció un gran rendimiento, generando alrededor de 28 tokens por segundo y consumiendo mucha menos energía que los centros de cálculo tradicionales basados en GPU.
Además de esta demostración, LM Studio también presentó LM Link como parte de la colaboración. Basada en la arquitectura de VPN en malla de Tailscale, esta herramienta permite a los usuarios acceder de forma segura al clúster local de Mac Studio desde cualquier lugar a través de conexiones cifradas de extremo a extremo. Los usuarios pueden aprovechar la potencia de cálculo del clúster para realizar inferencias utilizando un MacBook o un iPhone, sin necesidad de estar físicamente presentes en el dispositivo anfitrión. Todos los datos confidenciales se procesan localmente dentro de un bucle seguro, evitando cualquier transferencia a través de servidores en la nube de terceros.
Esta demostración no solo sirvió como escaparate técnico, sino que también envió un mensaje claro al sector. Apple Silicon, con su diseño de memoria unificada y sus eficientes funciones de conectividad multidispositivo, se está perfilando como una opción viable para implementar grandes modelos de IA. Para las organizaciones que necesitan ejecutar tareas de inferencia con modelos de gran tamaño de forma frecuente y a largo plazo, esta solución elimina los elevados costes asociados a los servicios en la nube al sustituirlos por inversiones en hardware, lo que se traduce en un importante ahorro de costes a lo largo del tiempo.
A medida que el rendimiento de los clústeres de hardware de consumo sigue mejorando, las barreras para la adopción de tecnologías de IA se reducen aún más. Este logro sugiere que la fuente de la innovación de vanguardia en IA ya no se limitará a un puñado de gigantes tecnológicos con grandes instalaciones de supercomputación. Es probable que el panorama de la computación descentralizada vea nuevas oportunidades de desarrollo en un futuro próximo.
Slackbot se convierte en un agente de IA
Slackbot, el asistente automatizado integrado en la plataforma de mensajería corporativa Slack de Salesforce, está evolucionando hacia un agente de inteligencia artificial. El CTO de Salesforce, Parker Harris, prevé que alcance un estatus viral compa
ByteDance Refuerza los Incentivos de IA Central mientras Doubao Aumenta un 14.6%
ByteDance ha convocado recientemente una sesión informativa sobre la participación accionaria de DouBao para presentar nuevas políticas de incentivos para el personal involucrado en la división de DouBao. El precio de ejercicio de las acciones de Dou
MiniMax presenta el Programa de Equipo 10x para incentivar a expertos globales en IA
MiniMax (Xiyu Technology), el Laboratorio de Inteligencia Artificial General, ha lanzado oficialmente "10x Team", una iniciativa global de colaboración de talento. Este programa tiene como objetivo reclutar a los mejores expertos de diversas industri











