LLaMA-Factory Online

LLaMA-Factory Online Информация о продукте

Что такое « LLaMA-Factory Online »?

LLaMA-Factory Online — это официальная облачная платформа для обучения и настройки моделей LLM, созданная в сотрудничестве с популярным проектом с открытым исходным кодом LLaMA-Factory. Она предлагает готовое к использованию, низкокодовое и комплексное решение для пользователей, которые хотят упростить настройку или имеют ограниченные технические возможности.

Как использовать LLaMA-Factory Online?

Начните настройку за три простых шага: 1. Подготовка данных и моделей: легко загрузите свои наборы данных с помощью SFTP или других поддерживаемых методов. 2. Настройка и запуск: выберите базовую модель и настройте ключевые параметры в нашем визуальном интерфейсе. Выберите «Быстрый режим» для быстрой настройки или «Экспертный режим» для расширенных опций. Выберите тарифный план, соответствующий вашему бюджету и срокам, а затем запустите задачу одним щелчком мыши. 3. Мониторинг и оценка: используйте встроенные инструменты, такие как LlamaBoard и TensorBoard, для отслеживания потерь при обучении и использования ресурсов в режиме реального времени. После обучения оцените результаты с помощью «Оценки модели» или сразу же проверьте производительность с помощью «Model Chat».

LLaMA-Factory OnlineОсновные функции

Обширная библиотека моделей (более 100 моделей): доступ к более чем 100 ведущим моделям с открытым исходным кодом, включая LLaMA, Qwen, DeepSeek, GPT-OSS и другие.

Комплексные методы обучения: поддержка всего процесса обучения, от предварительного обучения и SFT (Supervised Fine-Tuning) до моделирования вознаграждений и методов выравнивания, таких как PPO, DPO и KTO.

Гибкая точность и квантование: настраивайте использование ресурсов с помощью 16-битной полной тонкой настройки, настройки с замораживанием, LoRA и QLoRA, которые поддерживают 2/3/4/5/6/8-битное квантование.

Передовые алгоритмы оптимизации: Воспользуйтесь преимуществами интегрированных усовершенствованных оптимизаций, таких как GaLore, BAdam, LoRA+, PiSSA, DoRA и rsLoRA.

Надежное отслеживание экспериментов: отслеживайте ход обучения в режиме реального времени благодаря встроенной поддержке LlamaBoard, TensorBoard, WandB, MLflow и SwanLab.

Высокоэффективное ускорение: повысьте производительность с помощью ускорения FlashAttention-2 и Unsloth, совместимого как с движками инференса Transformers, так и с vLLM.

LLaMA-Factory OnlineПримеры использования

Автоматизированная система оценки сочинений на китайском языке: использует Qwen3-vl-30B-A3B-Instruct для интеллектуальной оценки и предоставления обратной связи.

Специализированный ИИ-помощник по обработке заявок: настраиваемый агент службы поддержки клиентов, созданный с помощью Qwen2.5-14B-Instruct.

Недорогая настройка для массивных моделей MoE: эффективная настройка DeepSeek-V3 с использованием оптимизации KTransformers.

Анализ медицинских изображений: приложение для диагностики в сфере здравоохранения, настроенное с помощью Qwen3-vl-30B-A3B-Instruct.

Легкая модель «умного дома»: использует Qwen3-4B для эффективного управления домашней автоматизацией на периферии.

Юридический ИИ-агент: специализированный юридический помощник, разработанный с использованием LightLLM и LlamaIndex.

Часто задаваемые вопросы LLaMA-Factory Online

Как улучшить производительность модели, если результаты настройки неудовлетворительны?

1. Расширьте набор данных: используйте более объемный обучающий набор данных. 2. Увеличьте продолжительность обучения: увеличьте количество эпох (например, num_train_epochs: 5.0) или общее количество шагов (например, max_steps: 1000). 3. Настройте скорость обучения: попробуйте использовать более высокую скорость обучения (например, 2.0e-4). 4. Смените методы тонкой настройки: протестируйте различные подходы, такие как freeze (замораживание параметров) или full (полная настройка параметров), с помощью настройки finetuning_type.

Как устранить ошибки «CUDA Out of Memory» (OOM) во время обучения?

Если у вас возникли проблемы с памятью GPU, попробуйте следующие оптимизации: 1. Уменьшите размер партии: установите per_device_train_batch_size равным 1. 2. Оптимизируйте операторы: включите ядра с эффективным использованием памяти, установив enable_liger_kernel и use_unsloth_gc равными true. 3. Укоротите длину последовательности: уменьшите значение cutoff_len (например, до 512). 4. Используйте расширенный параллелизм: включите DeepSpeed ZeRO-3 или FSDP для распределения весов модели по устройствам или используйте разгрузку ЦП. 5. Примените квантование: установите значение quantization_bit равным 4 для сжатия параметров (доступно только для тонкой настройки LoRA).

Как исправить бессмысленные или повторяющиеся результаты модели?

Решение зависит от того, когда возникает проблема: Если это происходит ДО обучения: Часто это связано с использованием необработанной базовой модели (невыровненной) или неправильного шаблона запроса. Убедитесь, что вы используете выровненную модель Instruct/Chat и правильный шаблон. Если это происходит ПОСЛЕ обучения: Проверьте согласованность шаблонов: Убедитесь, что шаблон инференса соответствует тому, который использовался во время обучения. Следите за переобучением: если модель переобучается, уменьшите количество эпох обучения (num_train_epochs) и снизьте скорость обучения.

LLaMA-Factory Online Электронная почта службы поддержки, контакты службы поддержки клиентов, контакты по вопросам возврата средств и т. д.

Свяжитесь со службой поддержки LLaMA-Factory Online по адресу: [email protected]. Чтобы узнать о других способах связи с нами, посетите страницу «Связаться с нами» (mailto:[email protected])

LLaMA-Factory Online экрана