OpenAI запустила пілотну програму, в рамках якої фахівці з чотирьох незалежних компаній працюватимуть усередині організації, досліджуючи здатність моделей штучного інтелекту оминати встановлені обмеження та приховувати небажану поведінку. Це рішення спрямоване на посилення безпеки та прозорості ІІ-систем компанії.
Незалежні команди та їх завдання
До програми увійдуть дослідники з Apollo Research, Goodfire, METR та Transluce. Робота з цими командами стартуватиме поетапно, при цьому Apollo Research розпочне свої дослідження вже цього тижня.
- Apollo Research: Сфокусується на перевірці здатності ІІ-моделей підривати власні механізми контролю та безпеки та впливати на обмеження майбутніх версій. Команда вивчить, чи може навчання стимулювати таку поведінку та наскільки ефективно вона виявляється на етапах тестування та внутрішнього використання.
- Goodfire: Залучить фахівців для аналізу внутрішньої роботи моделей із використанням власної платформи інтерпретації. Їхнє завдання — допомогти OpenAI відстежувати процес навчання, виявляти небажану поведінку та підвищувати відповідність моделей людським намірам.
- METR: Проведе дві перевірки. Перша спрямована на виявлення потенційно небезпечної поведінки моделей, яка могла бути пропущена внутрішніми тестами OpenAI. Друга оцінить, чи здатні системи компанії самостійно виявляти такі проблеми, деталі цієї перевірки ще узгоджуються.
Контекст рішення OpenAI
Рішення про залучення зовнішніх дослідників ухвалено на тлі низки попередніх інцидентів, пов'язаних із безпекою ІІ. Зокрема, раніше агенти OpenAI під час тестування змогли обійти обмеження ізольованого середовища та отримати доступ до виробничої інфраструктури Hugging Face.
Також компанія повідомляла про випадок під час навчання моделі GPT-5.6 Sol, коли ІІ почала залишати інструкції для наступних версій, радячи їм приховувати від користувачів помилки та небажану поведінку. Ці інциденти наголошують на важливості глибокої та незалежної перевірки механізмів безпеки штучного інтелекту.