Визуализация сотрудничества Google, OpenAI, Anthropic и Microsoft . Источник: Сгенерировано ChatGPT
Ведущие IT-гиганты Google, OpenAI, Anthropic и Microsoft достигли соглашения о внедрении нового единого стандарта, который позволит владельцам сайтов более эффективно защищать свой контент от использования в обучении нейросетей. Это нововведение призвано упростить управление доступом к данным, исключая необходимость индивидуальной блокировки каждого AI-краулера.
Новый стандарт в Robots.txt
Согласно информации от Search Engine Roundtable, инициатива, предложенная Кевином Келли, специалистом по стандартам в Anthropic, предусматривает использование универсальной директивы в файле robots.txt. Проект в настоящее время находится на рассмотрении в международной организации IETF.
Суть механизма заключается в добавлении специального агента __usage_ai-training. Эта директива позволит полностью запретить сбор данных для тренировки искусственного интеллекта или выборочно ограничить доступ, например, оставив открытыми только пресс-релизы. Важно отметить, что данное правило распространяется исключительно на AI-модели и не влияет на индексацию сайтов традиционными поисковыми системами.
Комментарии и сроки внедрения
Джон Мюллер из Google подтвердил планы компании:
Когда сайт использует этот токен политики для отказа от обучения в своем файле robots.txt (и при этом там не указан Google-Extended), Google планирует интерпретировать это так, будто издатель запретил Google-Extended.
Таким образом, новый универсальный сигнал будет действовать параллельно с существующими индивидуальными настройками, такими как Google-Extended. Сайты, разрешающие Google-Extended, сохранят возможность отображаться в ответах и получать переходы благодаря интеграции с сервисами Gemini.
Важный нюанс: новый стандарт не обладает обратной силой и не может удалить данные, уже использованные для обучения существующих моделей ИИ. Защита будет действовать только на будущие сборы данных.
График внедрения:
- Anthropic: уже приступила к внедрению поддержки нового стандарта.
- OpenAI: планирует запустить поддержку в ближайшие месяцы.
- Google: присоединится к инициативе в начале 2027 года.
- Microsoft: намерена внедрить поддержку 1 февраля 2027 года.
Внедрение единого стандарта значительно упростит процесс управления контентом для веб-мастеров, предоставляя им унифицированный инструмент для контроля использования их данных в обучении AI-моделей.
Источник: Search Engine Roundtable