Дом
EleutherAI представляет массивный лицензированный текстовый набор данных для обучения ИИ
EleutherAI, ведущая группа исследований ИИ, запустила одну из крупнейших коллекций лицензированных и общедоступных текстов для обучения моделей ИИ.
Названный Common Pile v0.1, этот набор данных объемом 8 терабайт разрабатывался в течение двух лет совместно с ИИ-стартапами Poolside, Hugging Face и различными академическими институтами. Он использовался для обучения двух новых моделей EleutherAI, Comma v0.1-1T и Comma v0.1-2T, которые, по утверждению организации, соответствуют производительности моделей, обученных на нелицензированных, защищенных авторским правом данных.
Компании ИИ, включая OpenAI, сталкиваются с юридическими проблемами из-за использования данных, собранных с веб-сайтов, включая защищенные авторским правом книги и журналы, для обучения моделей. Хотя некоторые имеют лицензионные соглашения с поставщиками контента, многие полагаются на доктрину добросовестного использования в США, чтобы оправдать обучение на защищенных авторским правом материалах без разрешения.
EleutherAI утверждает, что эти судебные иски значительно снизили прозрачность в индустрии ИИ, ограничивая понимание функциональности и слабых мест моделей, что наносит ущерб более широкому исследовательскому сообществу.
“Юридические проблемы не существенно изменили практики получения данных для обучения моделей, но они резко снизили открытость компаний ИИ,” — сказала Стелла Бидерман, исполнительный директор EleutherAI, в посте на блоге Hugging Face в пятницу. “Исследователи в некоторых компаниях, с которыми мы беседовали, ссылаются на судебные иски как на причину, по которой они не могут делиться своими исследованиями, связанными с данными.”
Common Pile v0.1, доступный на платформе ИИ Hugging Face и GitHub, был разработан с юридической консультацией и включает источники, такие как 300 000 книг общественного достояния, оцифрованных Библиотекой Конгресса и Интернет-архивом. EleutherAI также использовала модель Whisper от OpenAI для транскрипции аудиоконтента.
EleutherAI утверждает, что Comma v0.1-1T и Comma v0.1-2T демонстрируют качество Common Pile v0.1, позволяя разработчикам создавать модели, конкурентоспособные с проприетарными системами. Обе модели, с 7 миллиардами параметров и обученные на части набора данных, соперничают с оригинальной моделью Llama от Meta в тестах по программированию, пониманию изображений и математике.
Сэкономьте более 200 долларов на вашем TechCrunch All Stage Pass
Инновируйте умнее. Растите быстрее. Стройте связи глубже. Общайтесь с визионерами из Precursor Ventures, NEA, Index Ventures, Underscore VC и других для дня полных идей, мастер-классов и ценных связей.
Сэкономьте более 200 долларов на вашем TechCrunch All Stage Pass
Инновируйте умнее. Растите быстрее. Стройте связи глубже. Общайтесь с визионерами из Precursor Ventures, NEA, Index Ventures, Underscore VC и других для дня полных идей, мастер-классов и ценных связей.
Бостон, Массачусетс | 15 июля ЗАРЕГИСТРИРУЙТЕСЬ СЕЙЧАСПараметры, часто называемые весами, являются внутренними элементами модели ИИ, которые формируют ее поведение и ответы.
“Мнение, что нелицензированный текст необходим для высокой производительности, необоснованно,” — заявила Бидерман в своем посте. “По мере того как лицензированные и общедоступные данные становятся более доступными, мы ожидаем значительных улучшений в моделях, обученных на таком контенте.”
Common Pile v0.1 частично решает прошлые противоречия EleutherAI. Несколько лет назад группа выпустила The Pile, открытый набор данных, содержащий защищенные авторским правом материалы, что вызвало критику и юридическое внимание за использование в обучении ИИ.
EleutherAI обязуется регулярно выпускать открытые наборы данных, сотрудничая с исследовательскими и инфраструктурными партнерами.
Обновлено в 9:48 утра по тихоокеанскому времени: Бидерман отметила на X, что EleutherAI внесла вклад в выпуск набора данных и моделей, при значительном участии партнеров, таких как Университет Торонто, который совместно руководил исследованием.
Связанная статья
OpenAI заманивает уоллстритовских банкиров огромными выплатами и долями в компании, чтобы переформатировать финансовую отрасль
OpenAI активно расширяет свое присутствие в сфере инвестиционного банкинга: недавние вакансии показывают, что компания ищет инвестиционных специалистов с опытом работы более двух лет для присоединения к своей команде прикладного искусственного интелл
Пять министерств и ведомств запускают план «Искусственный интеллект в образовании» по разработке курсов MOOC с использованием ИИ на всех этапах академического обучения
10 апреля Министерство образования, Государственный комитет по развитию и реформам, Министерство промышленности и информатизации, Министерство науки и технологий и Национальное управление по данным совместно опубликовали «План действий по внедрению т
ByteDance’s Seed запускает глобальную кампанию по набору сотрудников в кампусах, предлагая виртуальные акции для привлечения лучших специалистов по крупным языковым моделям
В условиях конкурентной борьбы крупных языковых моделей привлечение высококвалифицированных специалистов остается самым важным стратегическим активом.1 апреля ByteDance объявил о запуске глобальной программы набора на кампусы Seed, являющейся частью
Рекомендации по связанным специальным темам
Анализ данных
Лучшие инструменты ИИ для анализа данных в Excel и SQL
2026 год: лучшие, топовые и высокооцененные инструменты ИИ для анализа данных в Excel и SQL уже доступны на XIX.AI! В нашем тщательно отобранном списке представлены мощные решения, меняющие правила игры, которые помогают ускорить обработку данных, повысить производительность и преодолеть трудности анализа. Мы провели реальные тесты, чтобы предоставить точные рейтинги на основе производительности, простоты использования и ценности. Изучите их сейчас, чтобы найти инструмент, который идеально подходит вашим потребностям, и раскройте свой ИИ-преимущество в работе с данными.
10 инструментов
xix.ai
Преобразование текста в речь
Инструменты для клонирования голоса на основе ИИ для подкастов: длинные выпуски, рекламные ролики ведущих и аудиокурсы
Здесь представлены лучшие и самые популярные инструменты для клонирования голоса с помощью ИИ в 2026 году, предназначенные для длинных эпизодов подкастов, рекламных роликов и аудиокурсов. Эти мощные, революционные решения проходят реальные испытания, чтобы гарантировать их надежность. Здесь вы найдёте сравнение бесплатных и платных версий, а также подробные рейтинги. XIX.AI предлагает подборку инструментов, которые обязательно стоит попробовать и которые значительно повысят вашу продуктивность. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и раскрыть свой потенциал в сфере ИИ.
9 инструментов
xix.ai
Дизайн и искусство
Инструменты искусственного интеллекта для создания визуальных стилей, предназначенные для создания характеристик персонажей, мудбордов и презентаций
2026: лучшие современные инструменты на базе ИИ для создания визуальных стилей персонажей, мудбордов и презентаций — уже доступны на XIX.AI! В этом тщательно подобранном списке самых высокооцененных инструментов представлены мощные решения, способные кардинально изменить ваш подход к работе и прошедшие строгие тесты в реальных условиях. Здесь вы найдёте сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы повысить творческий потенциал и оптимизировать рабочий процесс. Ознакомьтесь с ним прямо сейчас, чтобы найти идеальный инструмент для повышения продуктивности!
11 инструментов
xix.ai
SEO
Лучшие инструменты для анализа результатов поиска с помощью ИИ при разработке поисковой стратегии
XIX.AI подготовила подборку лучших и наиболее высокооцененных инструментов для анализа результатов поиска с помощью ИИ (2026 г.) на основе тщательных тестов в реальных условиях и еженедельно обновляемого рейтинга. Эти мощные инструменты помогут вам раскрыть скрытые возможности оптимизации, повысить эффективность контента и получить конкурентное преимущество в поиске. Найдите свой идеальный инструмент, чтобы уже сегодня усовершенствовать свою поисковую стратегию. Ознакомьтесь с ними прямо сейчас!
13 инструментов
xix.ai
Анализ данных
Лучшие инструменты ИИ для обнаружения аномалий при мониторинге KPI в командах SaaS и электронной коммерции
2026 г. Лучшие новейшие высокооцененные инструменты ИИ для обнаружения аномалий в мониторинге KPI для команд SaaS и электронной коммерции! XIX.AI подготовила мощную, меняющую правила игры коллекцию на основе строгих реальных тестов и еженедельно обновляемых рейтингов. Вы найдете подробные сравнительные данные по бесплатным и платным решениям, которые помогут вам определить обязательное к использованию решение, повышающее производительность и раскрывающее ваш потенциал в области ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
письмо
Лучшие генераторы конспектов на базе ИИ для длинных статей, оптимизированных для SEO
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
Комментарии (2)
![NicholasLewis]()
Наконец-то качественные данные для обучения ИИ! 😄 Но интересно, как это повлияет на конкуренцию между OpenAI и другими компаниями. Может, скоро увидим более умные модели?
![RyanLopez]()
Wow, 8 terabytes of legally licensed text is a game-changer! It's fantastic to see more high-quality, transparent data becoming available. This should really help push open-source AI models forward and maybe even challenge some of the big players who rely on murkier data sources. Hopefully, it leads to more reliable and ethically-sound systems. Can't wait to see what gets built on this! 🚀
EleutherAI, ведущая группа исследований ИИ, запустила одну из крупнейших коллекций лицензированных и общедоступных текстов для обучения моделей ИИ.
Названный Common Pile v0.1, этот набор данных объемом 8 терабайт разрабатывался в течение двух лет совместно с ИИ-стартапами Poolside, Hugging Face и различными академическими институтами. Он использовался для обучения двух новых моделей EleutherAI, Comma v0.1-1T и Comma v0.1-2T, которые, по утверждению организации, соответствуют производительности моделей, обученных на нелицензированных, защищенных авторским правом данных.
Компании ИИ, включая OpenAI, сталкиваются с юридическими проблемами из-за использования данных, собранных с веб-сайтов, включая защищенные авторским правом книги и журналы, для обучения моделей. Хотя некоторые имеют лицензионные соглашения с поставщиками контента, многие полагаются на доктрину добросовестного использования в США, чтобы оправдать обучение на защищенных авторским правом материалах без разрешения.
EleutherAI утверждает, что эти судебные иски значительно снизили прозрачность в индустрии ИИ, ограничивая понимание функциональности и слабых мест моделей, что наносит ущерб более широкому исследовательскому сообществу.
“Юридические проблемы не существенно изменили практики получения данных для обучения моделей, но они резко снизили открытость компаний ИИ,” — сказала Стелла Бидерман, исполнительный директор EleutherAI, в посте на блоге Hugging Face в пятницу. “Исследователи в некоторых компаниях, с которыми мы беседовали, ссылаются на судебные иски как на причину, по которой они не могут делиться своими исследованиями, связанными с данными.”
Common Pile v0.1, доступный на платформе ИИ Hugging Face и GitHub, был разработан с юридической консультацией и включает источники, такие как 300 000 книг общественного достояния, оцифрованных Библиотекой Конгресса и Интернет-архивом. EleutherAI также использовала модель Whisper от OpenAI для транскрипции аудиоконтента.
EleutherAI утверждает, что Comma v0.1-1T и Comma v0.1-2T демонстрируют качество Common Pile v0.1, позволяя разработчикам создавать модели, конкурентоспособные с проприетарными системами. Обе модели, с 7 миллиардами параметров и обученные на части набора данных, соперничают с оригинальной моделью Llama от Meta в тестах по программированию, пониманию изображений и математике.
Сэкономьте более 200 долларов на вашем TechCrunch All Stage Pass
Инновируйте умнее. Растите быстрее. Стройте связи глубже. Общайтесь с визионерами из Precursor Ventures, NEA, Index Ventures, Underscore VC и других для дня полных идей, мастер-классов и ценных связей.
Сэкономьте более 200 долларов на вашем TechCrunch All Stage Pass
Инновируйте умнее. Растите быстрее. Стройте связи глубже. Общайтесь с визионерами из Precursor Ventures, NEA, Index Ventures, Underscore VC и других для дня полных идей, мастер-классов и ценных связей.
Бостон, Массачусетс | 15 июля ЗАРЕГИСТРИРУЙТЕСЬ СЕЙЧАСПараметры, часто называемые весами, являются внутренними элементами модели ИИ, которые формируют ее поведение и ответы.
“Мнение, что нелицензированный текст необходим для высокой производительности, необоснованно,” — заявила Бидерман в своем посте. “По мере того как лицензированные и общедоступные данные становятся более доступными, мы ожидаем значительных улучшений в моделях, обученных на таком контенте.”
Common Pile v0.1 частично решает прошлые противоречия EleutherAI. Несколько лет назад группа выпустила The Pile, открытый набор данных, содержащий защищенные авторским правом материалы, что вызвало критику и юридическое внимание за использование в обучении ИИ.
EleutherAI обязуется регулярно выпускать открытые наборы данных, сотрудничая с исследовательскими и инфраструктурными партнерами.
Обновлено в 9:48 утра по тихоокеанскому времени: Бидерман отметила на X, что EleutherAI внесла вклад в выпуск набора данных и моделей, при значительном участии партнеров, таких как Университет Торонто, который совместно руководил исследованием.
OpenAI заманивает уоллстритовских банкиров огромными выплатами и долями в компании, чтобы переформатировать финансовую отрасль
OpenAI активно расширяет свое присутствие в сфере инвестиционного банкинга: недавние вакансии показывают, что компания ищет инвестиционных специалистов с опытом работы более двух лет для присоединения к своей команде прикладного искусственного интелл
Пять министерств и ведомств запускают план «Искусственный интеллект в образовании» по разработке курсов MOOC с использованием ИИ на всех этапах академического обучения
10 апреля Министерство образования, Государственный комитет по развитию и реформам, Министерство промышленности и информатизации, Министерство науки и технологий и Национальное управление по данным совместно опубликовали «План действий по внедрению т
ByteDance’s Seed запускает глобальную кампанию по набору сотрудников в кампусах, предлагая виртуальные акции для привлечения лучших специалистов по крупным языковым моделям
В условиях конкурентной борьбы крупных языковых моделей привлечение высококвалифицированных специалистов остается самым важным стратегическим активом.1 апреля ByteDance объявил о запуске глобальной программы набора на кампусы Seed, являющейся частью
2026 год: лучшие, топовые и высокооцененные инструменты ИИ для анализа данных в Excel и SQL уже доступны на XIX.AI! В нашем тщательно отобранном списке представлены мощные решения, меняющие правила игры, которые помогают ускорить обработку данных, повысить производительность и преодолеть трудности анализа. Мы провели реальные тесты, чтобы предоставить точные рейтинги на основе производительности, простоты использования и ценности. Изучите их сейчас, чтобы найти инструмент, который идеально подходит вашим потребностям, и раскройте свой ИИ-преимущество в работе с данными.
10 инструментов
xix.ai
Здесь представлены лучшие и самые популярные инструменты для клонирования голоса с помощью ИИ в 2026 году, предназначенные для длинных эпизодов подкастов, рекламных роликов и аудиокурсов. Эти мощные, революционные решения проходят реальные испытания, чтобы гарантировать их надежность. Здесь вы найдёте сравнение бесплатных и платных версий, а также подробные рейтинги. XIX.AI предлагает подборку инструментов, которые обязательно стоит попробовать и которые значительно повысят вашу продуктивность. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и раскрыть свой потенциал в сфере ИИ.
9 инструментов
xix.ai
2026: лучшие современные инструменты на базе ИИ для создания визуальных стилей персонажей, мудбордов и презентаций — уже доступны на XIX.AI! В этом тщательно подобранном списке самых высокооцененных инструментов представлены мощные решения, способные кардинально изменить ваш подход к работе и прошедшие строгие тесты в реальных условиях. Здесь вы найдёте сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы повысить творческий потенциал и оптимизировать рабочий процесс. Ознакомьтесь с ним прямо сейчас, чтобы найти идеальный инструмент для повышения продуктивности!
11 инструментов
xix.ai
XIX.AI подготовила подборку лучших и наиболее высокооцененных инструментов для анализа результатов поиска с помощью ИИ (2026 г.) на основе тщательных тестов в реальных условиях и еженедельно обновляемого рейтинга. Эти мощные инструменты помогут вам раскрыть скрытые возможности оптимизации, повысить эффективность контента и получить конкурентное преимущество в поиске. Найдите свой идеальный инструмент, чтобы уже сегодня усовершенствовать свою поисковую стратегию. Ознакомьтесь с ними прямо сейчас!
13 инструментов
xix.ai
2026 г. Лучшие новейшие высокооцененные инструменты ИИ для обнаружения аномалий в мониторинге KPI для команд SaaS и электронной коммерции! XIX.AI подготовила мощную, меняющую правила игры коллекцию на основе строгих реальных тестов и еженедельно обновляемых рейтингов. Вы найдете подробные сравнительные данные по бесплатным и платным решениям, которые помогут вам определить обязательное к использованию решение, повышающее производительность и раскрывающее ваш потенциал в области ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
Наконец-то качественные данные для обучения ИИ! 😄 Но интересно, как это повлияет на конкуренцию между OpenAI и другими компаниями. Может, скоро увидим более умные модели?
Wow, 8 terabytes of legally licensed text is a game-changer! It's fantastic to see more high-quality, transparent data becoming available. This should really help push open-source AI models forward and maybe even challenge some of the big players who rely on murkier data sources. Hopefully, it leads to more reliable and ethically-sound systems. Can't wait to see what gets built on this! 🚀
