Meta представила новый инструмент FACET для оценки честности искусственного интеллекта, который классифицирует и распознает объекты на изображениях и видео, включая людей.
Что известно
FACET и состоит из 32 000 изображений, на которых 50 000 человек отмечены аннотаторами-людьми. Инструмент учитывает различные классы, связанные с профессиями и видами деятельности, а также демографические и физические характеристики.
Meta использовала FACET в своем собственном алгоритме компьютерного зрения DINOv2. Инструмент обнаружил в модели несколько предубеждений, в том числе в отношении людей с определенными гендерными характеристиками. Также было обнаружено, что DINOv2 склонен стереотипно воспринимать женщин как «медсестер».
Мета признает, что FACET может неадекватно отражать реальные концепции и демографические данные. Кроме того, многие изображения заданий в наборе данных могли измениться с момента создания инструмента.
Например, большинство врачей и медсестер на фотографиях, сделанных во время пандемии COVID-19, имеют больше средств индивидуальной защиты, чем до пандемии.
Помимо самого набора данных, Meta также предоставила инструмент интеллектуального анализа данных. Чтобы использовать его, разработчики должны согласиться не обучать модели компьютерного зрения на FACET, а только оценивать, тестировать и проверять их.