Марк Босс/Unsplash
Недавний отчет The Markup и The City показал, что чат-бот MyCity правительства Нью-Йорка имеет опасную тенденцию предоставлять дезинформацию по многим важным вопросам, связанным с местными законами и правилами.
Что известно
MyCity, чат-бот, работающий на платформе Microsoft Azure, был представлен в октябре 2023 года в качестве пилотного проекта, призванного помочь владельцам бизнеса понять городские правила. Однако тестирование показало, что боты распространяли дезинформацию о важных вопросах, таких как жилищные ваучеры по Разделу 8, заработная плата, часы работы и цены в некоторых отраслях.
Чат-бот MyCity утверждает, что может открыть магазин человеческого мяса в Нью-Йорке
Несмотря на предупреждения о том, что MyCity может предоставлять неточный или вредный контент, бот позиционируется как официальный источник информации о ведении бизнеса в Нью-Йорке. Это вызвало беспокойство у местных представителей индустрии гостеприимства, которые сами столкнулись с неточностями в ответах бота.
Проблема с чат-ботами, которые полагаются на большие языковые модели, заключается в том, что они генерируют ответы, основанные на статистической значимости, а не на фактическом понимании информации. Это может привести к фальсификации и дезинформации, если единственный правильный ответ не полностью отражен в данных обучения.
Этот инцидент подчеркивает опасность преждевременного развертывания чат-ботов правительствами и предприятиями до того, как их точность и надежность будут полностью проверены. Компании ранее сталкивались с проблемами, связанными с чат-ботами, распространяющими ложную информацию о политике возврата, вопросах налогообложения и ценах на продукцию.
После критики власти Нью-Йорка заявили, что продолжат совершенствовать чат-бот MyCity, чтобы лучше поддерживать малый бизнес города. Однако этот инцидент подчеркивает необходимость более тщательного тестирования и настройки таких систем перед их публикацией.
Источник: Арстехника