Дом
Apple и LM Studio объявляют о новаторском партнерстве: четыре студии, работающие на базе Mac, внедряют крупные модели с триллионами параметров

Демонстрация прорывного достижения на WWDC: запуск ИИ-модели с триллионом параметров на аппаратном обеспечении Apple
На недавней конференции WWDC платформа искусственного интеллекта LM Studio в сотрудничестве с Apple представила революционное достижение в области технологий искусственного интеллекта. Команда успешно запустила флагманскую модель Moonshot AI — Kimi K2.6 — на кластере из четырёх Mac Studio. Эта демонстрация наглядно продемонстрировала значительные возможности архитектуры Apple Silicon при обработке сверхмасштабных моделей искусственного интеллекта.
Модель Kimi K2.6 построена на основе передовой архитектуры MoE и содержит в общей сложности до одного триллиона параметров. Хотя динамическая система экспертного планирования модели снижает вычислительную нагрузку во время инференса, активируя одновременно лишь около 32 миллиардов параметров, загрузка всей модели по-прежнему представляет собой серьезную проблему с точки зрения памяти. При обработке с точностью FP16 для этого требуется примерно 2 ТБ памяти. В традиционных конфигурациях центров обработки данных для удовлетворения этого требования обычно используются серверные кластеры с 8–16 высокопроизводительными графическими процессорами, стоимость которых может достигать миллионов долларов.
Однако в ходе демонстрации это ограничение удалось преодолеть благодаря инновационному техническому решению. Четыре компьютера Mac Studio, оснащенные чипами M3 Ultra, были подключены через интерфейсы Thunderbolt 5 с использованием технологии RDMA-over-Thunderbolt, доступной в последних версиях macOS. Такой подход обеспечил прямой обмен памятью между устройствами, эффективно объединив их совокупный объём унифицированной памяти в 2 ТБ в единый логический пул памяти. В результате модель с триллионом параметров удалось загрузить без каких-либо проблем. Во время демонстрации в режиме реального времени кластер продемонстрировал высокую производительность, генерируя около 28 токенов в секунду и потребляя при этом гораздо меньше энергии, чем традиционные вычислительные центры на базе графических процессоров.
Наряду с этой демонстрацией компания LM Studio также представила LM Link в рамках данного сотрудничества. Этот инструмент, построенный на архитектуре Tailscale Mesh VPN, позволяет пользователям безопасно получать доступ к локальному кластеру Mac Studio из любого места через соединения с сквозным шифрованием. Пользователи могут использовать вычислительную мощность кластера для инференса с помощью MacBook или iPhone, не находясь физически рядом с хост-устройством. Все конфиденциальные данные обрабатываются локально в рамках защищённого контура, что исключает их передачу через сторонние облачные серверы.
Эта демонстрация стала не просто техническим показом; она также послала четкий сигнал отрасли. Apple Silicon, благодаря своей архитектуре с единой памятью и эффективным функциям подключения нескольких устройств, становится реальной альтернативой для развертывания крупных моделей искусственного интеллекта. Для организаций, которым необходимо часто и в долгосрочной перспективе выполнять задачи инференса с использованием крупных моделей, это решение устраняет высокие затраты, связанные с облачными сервисами, заменяя их инвестициями в аппаратное обеспечение, что со временем приводит к значительной экономии средств.
По мере того как производительность аппаратных кластеров потребительского уровня продолжает расти, барьеры на пути внедрения технологий ИИ становятся всё меньше. Это достижение свидетельствует о том, что источником передовых инноваций в области ИИ больше не будут ограничиваться лишь несколькими технологическими гигантами, обладающими мощными суперкомпьютерными комплексами. В ближайшем будущем в сфере децентрализованных вычислений, вероятно, откроются новые возможности для развития.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (0)

Демонстрация прорывного достижения на WWDC: запуск ИИ-модели с триллионом параметров на аппаратном обеспечении Apple
На недавней конференции WWDC платформа искусственного интеллекта LM Studio в сотрудничестве с Apple представила революционное достижение в области технологий искусственного интеллекта. Команда успешно запустила флагманскую модель Moonshot AI — Kimi K2.6 — на кластере из четырёх Mac Studio. Эта демонстрация наглядно продемонстрировала значительные возможности архитектуры Apple Silicon при обработке сверхмасштабных моделей искусственного интеллекта.
Модель Kimi K2.6 построена на основе передовой архитектуры MoE и содержит в общей сложности до одного триллиона параметров. Хотя динамическая система экспертного планирования модели снижает вычислительную нагрузку во время инференса, активируя одновременно лишь около 32 миллиардов параметров, загрузка всей модели по-прежнему представляет собой серьезную проблему с точки зрения памяти. При обработке с точностью FP16 для этого требуется примерно 2 ТБ памяти. В традиционных конфигурациях центров обработки данных для удовлетворения этого требования обычно используются серверные кластеры с 8–16 высокопроизводительными графическими процессорами, стоимость которых может достигать миллионов долларов.
Однако в ходе демонстрации это ограничение удалось преодолеть благодаря инновационному техническому решению. Четыре компьютера Mac Studio, оснащенные чипами M3 Ultra, были подключены через интерфейсы Thunderbolt 5 с использованием технологии RDMA-over-Thunderbolt, доступной в последних версиях macOS. Такой подход обеспечил прямой обмен памятью между устройствами, эффективно объединив их совокупный объём унифицированной памяти в 2 ТБ в единый логический пул памяти. В результате модель с триллионом параметров удалось загрузить без каких-либо проблем. Во время демонстрации в режиме реального времени кластер продемонстрировал высокую производительность, генерируя около 28 токенов в секунду и потребляя при этом гораздо меньше энергии, чем традиционные вычислительные центры на базе графических процессоров.
Наряду с этой демонстрацией компания LM Studio также представила LM Link в рамках данного сотрудничества. Этот инструмент, построенный на архитектуре Tailscale Mesh VPN, позволяет пользователям безопасно получать доступ к локальному кластеру Mac Studio из любого места через соединения с сквозным шифрованием. Пользователи могут использовать вычислительную мощность кластера для инференса с помощью MacBook или iPhone, не находясь физически рядом с хост-устройством. Все конфиденциальные данные обрабатываются локально в рамках защищённого контура, что исключает их передачу через сторонние облачные серверы.
Эта демонстрация стала не просто техническим показом; она также послала четкий сигнал отрасли. Apple Silicon, благодаря своей архитектуре с единой памятью и эффективным функциям подключения нескольких устройств, становится реальной альтернативой для развертывания крупных моделей искусственного интеллекта. Для организаций, которым необходимо часто и в долгосрочной перспективе выполнять задачи инференса с использованием крупных моделей, это решение устраняет высокие затраты, связанные с облачными сервисами, заменяя их инвестициями в аппаратное обеспечение, что со временем приводит к значительной экономии средств.
По мере того как производительность аппаратных кластеров потребительского уровня продолжает расти, барьеры на пути внедрения технологий ИИ становятся всё меньше. Это достижение свидетельствует о том, что источником передовых инноваций в области ИИ больше не будут ограничиваться лишь несколькими технологическими гигантами, обладающими мощными суперкомпьютерными комплексами. В ближайшем будущем в сфере децентрализованных вычислений, вероятно, откроются новые возможности для развития.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











