Скрытый текст в веб-сайте может манипулировать результатами ChatGPT Search, показало исследование

Новая функция Search в ChatGPT. Источник: OpenAI

Недавнее исследование британской газеты The Guardian показало, что поисковая система ChatGPT Search от OpenAI уязвима для манипуляций и обмана.

Что известно

Тесты выявили, что скрытый текст на веб-страницах может влиять на ответы ChatGPT, заставляя его игнорировать негативные отзывы и генерировать исключительно положительные резюме. Этот метод, известный как «быстрое внедрение», может быть использован для создания вредоносного кода и обмана пользователей. Исследователи обнаружили, что ChatGPT может возвращать вредоносный код с веб-сайтов, которые он ищет, что представляет серьезную угрозу для безопасности.

В ходе тестов ChatGPT получил URL-адрес поддельного веб-сайта, созданного в виде страницы продукта для камеры, и после чат-боту был сделан запрос, стоит ли покупать камеру. Ответ на контрольную страницу дал положительную, но сбалансированную оценку, подчеркнув некоторые функции, которые могут не понравиться покупателям. Однако, когда скрытый текст включал инструкции для ChatGPT вернуть положительный отзыв, ответ всегда был полностью положительным, даже если на странице были негативные отзывы.

OpenAI, разработчик ChatGPT, не прокомментировала данный инцидент, но заявила, что использует различные методы для блокировки вредоносных веб-сайтов и постоянно совершенствуется.

Источник: The Guardian