Марк Босс/Unsplash
Нещодавній звіт The Markup та The City показав, що чат-бот MyCity уряду Нью-Йорка має небезпечну тенденцію надавати дезінформацію з багатьох важливих питань, пов'язаних із місцевими законами та правилами.
що відомо
MyCity, чат-бот, що працює на платформі Microsoft Azure, був представлений у жовтні 2023 року як пілотний проект, покликаний допомогти власникам бізнесу зрозуміти міські правила. Проте тестування показало, що роботи поширювали дезінформацію про важливі питання, такі як житлові ваучери по Розділу 8, заробітна плата, години роботи та ціни в деяких галузях.
MyCity стверджує, що може відкрити магазин людського м'яса в Нью-Йорку
Незважаючи на попередження, що MyCity може надавати неточний або шкідливий контент, бот позиціонується як офіційне джерело інформації про ведення бізнесу в Нью-Йорку. Це викликало занепокоєння місцевих представників промисловості гостинності, які самі зіштовхнулися з неточностями у відповідях робота.
Проблема з чат-ботами, які покладаються великі мовні моделі, у тому, що вони генерують відповіді, засновані на статистичної значимості, а чи не на фактичному розумінні інформації. Це може призвести до фальсифікації та дезінформації, якщо єдина правильна відповідь не повністю відображена в даних навчання.
Цей інцидент наголошує на небезпеці передчасного розгортання чат-ботів урядами та підприємствами до того, як їх точність та надійність будуть повністю перевірені. Компанії раніше стикалися з проблемами, пов'язаними з чат-ботами, що поширюють неправдиву інформацію про політику повернення, питання оподаткування та ціни на продукцію.
Після критики влада Нью-Йорка заявила, що продовжить удосконалювати чат-бот MyCity, щоб краще підтримувати малий бізнес міста. Однак цей інцидент наголошує на необхідності більш ретельного тестування та налаштування таких систем перед їх публікацією.
Джерело: Арстехніка