ДомAI Crawlers Surge Wikimedia Commons пропускная способность на 50%
Фонд Викимедиа, головная организация, стоящая за Википедией и множеством других краудсорсинговых платформ знаний, объявил в среду о поразительном увеличении использования пропускной способности на 50% для загрузки мультимедиа из Wikimedia Commons с января 2024 года. Этот всплеск, как подробно описано в блоге во вторник, вызван не ростом человеческого любопытства, а автоматическими скрейперами, жаждущими данных для обучения моделей ИИ.
«Наша инфраструктура рассчитана на обработку внезапных всплесков трафика от людей во время крупных событий, но объем трафика от ботов-скрейперов не имеет аналогов и создает нарастающие риски и затраты», — объясняется в посте.
Wikimedia Commons служит свободно доступным центром для изображений, видео и аудиофайлов, все из которых доступны по открытым лицензиям или находятся в общественном достоянии.
Углубляясь в детали, Викимедиа сообщила, что колоссальные 65% наиболее ресурсоемкого трафика — измеряемого по типу потребляемого контента — приходится на ботов. При этом эти боты составляют лишь 35% от общего числа просмотров страниц. Разрыв, по словам Викимедиа, объясняется тем, что часто запрашиваемый контент кэшируется ближе к пользователям, тогда как менее популярный контент, который часто выбирают боты, хранится в более дорогостоящем «основном центре данных».
«В то время как человеческие читатели склонны сосредотачиваться на конкретных, часто схожих темах, боты-краулеры склонны к ‘массовому чтению’ большего числа страниц и посещают менее популярные из них», — отметила Викимедиа. «Это приводит к тому, что такие запросы перенаправляются в основной центр данных, что значительно увеличивает наши затраты на потребление ресурсов».
В результате команда надежности сайта Фонда Викимедиа тратит значительное время и ресурсы на блокировку этих краулеров, чтобы предотвратить сбои для обычных пользователей. Это даже не затрагивает нарастающие расходы на облачные сервисы, с которыми сталкивается Фонд.
Эта ситуация является частью более широкой тенденции, угрожающей открытому интернету. В прошлом месяце инженер-программист и сторонник открытого исходного кода Дрю ДеВолт сетовал, что краулеры ИИ откровенно игнорируют файлы «robots.txt», предназначенные для сдерживания автоматического трафика. Аналогично, Гергели Орош, известный как «прагматичный инженер», недавно выразил свое разочарование тем, как скрейперы ИИ от компаний, таких как Meta, резко увеличили требования к пропускной способности для его проектов.
Хотя инфраструктуры с открытым исходным кодом особенно уязвимы, разработчики отвечают изобретательностью и решимостью. TechCrunch на прошлой неделе отметил, что некоторые технологические компании активизируются. Например, Cloudflare представила AI Labyrinth, разработанную для замедления краулеров с контентом, сгенерированным ИИ.
Тем не менее, это остается постоянной игрой в кошки-мышки, которая может подтолкнуть многих издателей к отступлению за логины и платные стены, что в конечном итоге вредит открытой природе интернета, на которую мы все полагаемся.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
письмо
Лучшие генераторы конспектов на базе ИИ для длинных статей, оптимизированных для SEO
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
Образование и обучение
Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
Музыкальная композиция
Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
Бизнес
Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
Редактирование изображений
Инструменты ИИ-ретуши в Photoshop для электронной коммерции, одежды, очистки кожи и обеспечения цветового единообразия
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
Быстрый
Лучшие библиотеки подсказок для ИИ в рабочих процессах ChatGPT
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
Комментарии (15)
![BruceAllen]()
這流量暴增也太誇張了吧！AI爬蟲把Wikimedia Commons的頻寬吃掉一半？難怪最近載圖變超慢...不過想想也合理，現在一堆AI模型都在狂抓訓練資料，但這樣搞下去會不會把非營利資源榨乾啊？有點擔心未來開放資源的永續性😅
![KevinBrown]()
Incroyable, 50% d'augmentation de bande passante pour Wikimedia Commons ! Ça montre à quel point l'IA aspire tout sur son passage, non ? 😅 J’espère juste que ça ne va pas surcharger les serveurs ou freiner l’accès pour les utilisateurs classiques.
![CharlesWhite]()
Whoa, a 50% spike in Wikimedia Commons bandwidth? AI crawlers are eating up data like it’s an all-you-can-eat buffet! 😄 Makes me wonder how much of this is legit research vs. bots just hoarding images for some shady AI training. Anyone else curious about what’s driving this?
![SamuelClark]()
Wow, a 50% spike in bandwidth for Wikimedia Commons? That’s wild! AI crawlers are probably gobbling up all those images for training. Kinda cool but also makes me wonder if this is pushing the limits of what open platforms can handle. 😅
![KennethJohnson]()
Wow, a 50% spike in bandwidth for Wikimedia Commons? That’s wild! AI crawlers are probably gobbling up all those images for training. Makes me wonder how much data these AI models are chugging through daily. 😳 Cool to see open knowledge fueling innovation, though!
![WillieAnderson]()
Wikimedia Commons에서 AI 크롤러로 인한 대역폭 수요 증가는 미쳤어요! AI가 이렇게 널리 사용되는 건 멋지지만, 조금 걱정되기도 해요. 사용자 경험에 큰 영향을 주지 않으면서 이를 관리할 방법을 찾았으면 좋겠어요. 🤔
Фонд Викимедиа, головная организация, стоящая за Википедией и множеством других краудсорсинговых платформ знаний, объявил в среду о поразительном увеличении использования пропускной способности на 50% для загрузки мультимедиа из Wikimedia Commons с января 2024 года. Этот всплеск, как подробно описано в блоге во вторник, вызван не ростом человеческого любопытства, а автоматическими скрейперами, жаждущими данных для обучения моделей ИИ.
«Наша инфраструктура рассчитана на обработку внезапных всплесков трафика от людей во время крупных событий, но объем трафика от ботов-скрейперов не имеет аналогов и создает нарастающие риски и затраты», — объясняется в посте.
Wikimedia Commons служит свободно доступным центром для изображений, видео и аудиофайлов, все из которых доступны по открытым лицензиям или находятся в общественном достоянии.
Углубляясь в детали, Викимедиа сообщила, что колоссальные 65% наиболее ресурсоемкого трафика — измеряемого по типу потребляемого контента — приходится на ботов. При этом эти боты составляют лишь 35% от общего числа просмотров страниц. Разрыв, по словам Викимедиа, объясняется тем, что часто запрашиваемый контент кэшируется ближе к пользователям, тогда как менее популярный контент, который часто выбирают боты, хранится в более дорогостоящем «основном центре данных».
«В то время как человеческие читатели склонны сосредотачиваться на конкретных, часто схожих темах, боты-краулеры склонны к ‘массовому чтению’ большего числа страниц и посещают менее популярные из них», — отметила Викимедиа. «Это приводит к тому, что такие запросы перенаправляются в основной центр данных, что значительно увеличивает наши затраты на потребление ресурсов».
В результате команда надежности сайта Фонда Викимедиа тратит значительное время и ресурсы на блокировку этих краулеров, чтобы предотвратить сбои для обычных пользователей. Это даже не затрагивает нарастающие расходы на облачные сервисы, с которыми сталкивается Фонд.
Эта ситуация является частью более широкой тенденции, угрожающей открытому интернету. В прошлом месяце инженер-программист и сторонник открытого исходного кода Дрю ДеВолт сетовал, что краулеры ИИ откровенно игнорируют файлы «robots.txt», предназначенные для сдерживания автоматического трафика. Аналогично, Гергели Орош, известный как «прагматичный инженер», недавно выразил свое разочарование тем, как скрейперы ИИ от компаний, таких как Meta, резко увеличили требования к пропускной способности для его проектов.
Хотя инфраструктуры с открытым исходным кодом особенно уязвимы, разработчики отвечают изобретательностью и решимостью. TechCrunch на прошлой неделе отметил, что некоторые технологические компании активизируются. Например, Cloudflare представила AI Labyrinth, разработанную для замедления краулеров с контентом, сгенерированным ИИ.
Тем не менее, это остается постоянной игрой в кошки-мышки, которая может подтолкнуть многих издателей к отступлению за логины и платные стены, что в конечном итоге вредит открытой природе интернета, на которую мы все полагаемся.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
這流量暴增也太誇張了吧！AI爬蟲把Wikimedia Commons的頻寬吃掉一半？難怪最近載圖變超慢...不過想想也合理，現在一堆AI模型都在狂抓訓練資料，但這樣搞下去會不會把非營利資源榨乾啊？有點擔心未來開放資源的永續性😅
Incroyable, 50% d'augmentation de bande passante pour Wikimedia Commons ! Ça montre à quel point l'IA aspire tout sur son passage, non ? 😅 J’espère juste que ça ne va pas surcharger les serveurs ou freiner l’accès pour les utilisateurs classiques.
Whoa, a 50% spike in Wikimedia Commons bandwidth? AI crawlers are eating up data like it’s an all-you-can-eat buffet! 😄 Makes me wonder how much of this is legit research vs. bots just hoarding images for some shady AI training. Anyone else curious about what’s driving this?
Wow, a 50% spike in bandwidth for Wikimedia Commons? That’s wild! AI crawlers are probably gobbling up all those images for training. Kinda cool but also makes me wonder if this is pushing the limits of what open platforms can handle. 😅
Wow, a 50% spike in bandwidth for Wikimedia Commons? That’s wild! AI crawlers are probably gobbling up all those images for training. Makes me wonder how much data these AI models are chugging through daily. 😳 Cool to see open knowledge fueling innovation, though!
Wikimedia Commons에서 AI 크롤러로 인한 대역폭 수요 증가는 미쳤어요! AI가 이렇게 널리 사용되는 건 멋지지만, 조금 걱정되기도 해요. 사용자 경험에 큰 영향을 주지 않으면서 이를 관리할 방법을 찾았으면 좋겠어요. 🤔
