Чат-бот Нью-Йорка предоставляет недостоверную информацию о городских законах

0
26

Чат-бот Нью-Йорка предоставляет неверную информацию о городских законах

Чат-бот Нью-Йорка предоставляет неверную информацию о городских законах

Марк Босс/Unsplash

Недавний отчет The Markup и The City показал, что чат-бот MyCity правительства Нью-Йорка имеет опасную тенденцию предоставлять дезинформацию по многим важным вопросам, связанным с местными законами и правилами.

Что известно

MyCity, чат-бот, работающий на платформе Microsoft Azure, был представлен в октябре 2023 года в качестве пилотного проекта, призванного помочь владельцам бизнеса понять городские правила. Однако тестирование показало, что боты распространяли дезинформацию о важных вопросах, таких как жилищные ваучеры по Разделу 8, заработная плата, часы работы и цены в некоторых отраслях.

Чат-бот Нью-Йорка предоставляет неверную информацию о городских законах

Чат-бот MyCity утверждает, что может открыть магазин человеческого мяса в Нью-Йорке

Несмотря на предупреждения о том, что MyCity может предоставлять неточный или вредный контент, бот позиционируется как официальный источник информации о ведении бизнеса в Нью-Йорке. Это вызвало беспокойство у местных представителей индустрии гостеприимства, которые сами столкнулись с неточностями в ответах бота.

Проблема с чат-ботами, которые полагаются на большие языковые модели, заключается в том, что они генерируют ответы, основанные на статистической значимости, а не на фактическом понимании информации. Это может привести к фальсификации и дезинформации, если единственный правильный ответ не полностью отражен в данных обучения.

Этот инцидент подчеркивает опасность преждевременного развертывания чат-ботов правительствами и предприятиями до того, как их точность и надежность будут полностью проверены. Компании ранее сталкивались с проблемами, связанными с чат-ботами, распространяющими ложную информацию о политике возврата, вопросах налогообложения и ценах на продукцию.

После критики власти Нью-Йорка заявили, что продолжат совершенствовать чат-бот MyCity, чтобы лучше поддерживать малый бизнес города. Однако этот инцидент подчеркивает необходимость более тщательного тестирования и настройки таких систем перед их публикацией.

Источник: Арстехника

НОВОСТИ ПАРТНЕРОВ

БОЛЬШЕ НОВОСТЕЙ