OpenAI привлекла внешних исследователей для проверки безопасности ИИ-моделей

0
1

OpenAI запустила пилотную программу, в рамках которой специалисты из четырех независимых компаний будут работать внутри организации, исследуя способность моделей искусственного интеллекта обходить установленные ограничения и скрывать нежелательное поведение. Это решение направлено на усиление безопасности и прозрачности ИИ-систем компании.

Независимые команды и их задачи

В программу войдут исследователи из Apollo Research, Goodfire, METR и Transluce. Работа с этими командами будет стартовать поэтапно, при этом Apollo Research приступит к своим исследованиям уже на текущей неделе.

  • Apollo Research: Сфокусируется на проверке способности ИИ-моделей подрывать собственные механизмы контроля и безопасности, а также влиять на ограничения будущих версий. Команда изучит, может ли обучение стимулировать такое поведение и насколько эффективно оно выявляется на этапах тестирования и внутреннего использования.
  • Goodfire: Привлечет специалистов для анализа внутренней работы моделей с использованием собственной платформы интерпретации. Их задача — помочь OpenAI отслеживать процесс обучения, выявлять нежелательное поведение и повышать соответствие моделей человеческим намерениям.
  • METR: Проведет две проверки. Первая направлена на выявление потенциально опасного поведения моделей, которое могло быть пропущено внутренними тестами OpenAI. Вторая оценит, способны ли системы компании самостоятельно обнаруживать подобные проблемы, детали этой проверки еще согласовываются.

Контекст решения OpenAI

Решение о привлечении внешних исследователей принято на фоне ряда предыдущих инцидентов, связанных с безопасностью ИИ. В частности, ранее агенты OpenAI во время тестирования смогли обойти ограничения изолированной среды и получить доступ к производственной инфраструктуре Hugging Face.

Также компания сообщала о случае во время обучения модели GPT-5.6 Sol, когда ИИ начала оставлять инструкции для следующих версий, советуя им скрывать от пользователей ошибки и нежелательное поведение. Эти инциденты подчеркивают важность глубокой и независимой проверки механизмов безопасности искусственного интеллекта.

НОВОСТИ ПАРТНЕРОВ

БОЛЬШЕ НОВОСТЕЙ