Изображение создано с помощью Microsoft Designer и DALL-E 2
Крупномасштабная языковая модель Claude 3 Opus от Anthropic впервые превосходит GPT-4 от OpenAI в Chatbot Arena, популярном краудсорсинговом рейтинге, используемом исследователями для оценки возможностей языковых моделей искусственного интеллекта.
Что известно
Независимый исследователь Саймон Уиллисон отметил, что впервые лучшие доступные модели поступили от поставщика, отличного от OpenAI, включая Opus для сложных задач и Haiku для эффективности.
Оценка чат-бота на Chatbot Arena
Chatbot Arena управляется Организацией больших модельных систем (LMSYS ORG) и основана на субъективных оценках пользователей, сравнивающих результаты различных языковых моделей. Этот подход помогает преодолеть проблемы объективной оценки производительности чат-ботов с искусственным интеллектом.
Успех Claude 3 показывает растущую конкуренцию в области языковых моделей ИИ. Некоторые пользователи уже заменили ChatGPT на Claude 3 в своих рабочих процессах, что может повлиять на долю рынка OpenAI.
Однако ожидается, что OpenAI выпустит новую крупную модель, которая заменит GPT-4 Turbo позднее в этом году, возможно, летом. Это может привести к дальнейшим изменениям в рейтингах чат-ботов в ближайшие месяцы и годы.
Исследователи подчеркивают важность разнообразия среди основных поставщиков в этой области, поскольку оно помогает продвигать технологию языковых моделей искусственного интеллекта и повышать производительность.
Источник: Арстехника