Проекты, такие как Wikipedia и её сестринские платформы, в последнее время сталкиваются с резким ростом трафика. Причина не в увеличении интереса со стороны пользователей, а в том, что разработчики искусственного интеллекта (ИИ) получают доступ к контенту для обучения своих моделей.

Источник изображения: Wikipedia

Массовое копирование контента

С начала 2024 года спрос на контент на платформах Wikimedia значительно возрос. Это заявление сделала Wikimedia Foundation, которая управляет проектами. Особенно затруднительно приходится платформе Wikimedia Commons, которая содержит 144 миллиона свободно доступных изображений, видео и других файлов. Вместо того, чтобы только люди пользовались этими ресурсами, все чаще к ним обращаются автоматизированные программы, что создаёт серьезные проблемы для инфраструктуры.

Проекты Wikimedia являются крупнейшей в мире коллекцией свободных знаний. Эти данные используются не только обычными пользователями, но и компаниями, которые автоматически получают доступ к информации, например, через поисковые системы. С ростом технологий ИИ эта динамика значительно изменилась.

Проблемы с увеличением трафика

Количество автоматических запросов увеличилось экспоненциально, сообщает фонд. В первую очередь, такие боты, как Scrapers, собирают огромные объемы данных для обучения крупных языковых моделей (LLM) и других приложений ИИ. Эта неконтролируемая нагрузка на систему приводит к значительному увеличению использования технических ресурсов. Кроме того, таким способом распространяются данные, часто без должных ссылок на источники.

Небалансированная нагрузка

Wikimedia Foundation управляет глобальной сетью дата-центров для обеспечения быстрого и эффективного доступа к контенту. Для этого часто используется кэширование популярных материалов. В то время как обычные пользователи в основном обращаются к популярным страницам, боты сканируют весь архив, включая страницы, которые редко посещаются.

Это приводит к тому, что многие запросы в итоге поступают на центральные серверы, что увеличивает нагрузку на их ресурсы. Исследования показали, что по крайней мере 65% особенно ресурсоёмкого трафика поступает от ботов, хотя их доля в общем количестве запросов составляет только 35%.

Заключение

Это увеличение нагрузки на инфраструктуру Wikimedia является серьезной проблемой для проекта, который традиционно стремится обеспечить свободный доступ к знаниям для всех. Важно, чтобы были разработаны механизмы контроля за автоматизированными запросами, чтобы предотвратить дальнейшее ухудшение ситуации и поддерживать стабильную работу сети для пользователей.