Согласно исследованию, проведенному Университетом Карнеги-Меллон и BerriAI, языковая модель Gemini Pro от Google по большинству показателей уступает модели OpenAI GPT-3.5 Turbo.
Что известно
При тестировании моделей на различных задачах, включая междисциплинарные вопросы с несколькими вариантами ответов и логические задачи, Gemini Pro уступил GPT-3.5 Turbo. Особенно значительное отставание наблюдалось в таких областях, как математика, программирование и обработка длинных и сложных запросов.
Результаты тестирования основных языковых моделей Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo и Mixtral
При этом Близнецы показали преимущество в таких задачах, как сортировка слов, работа с символами и перевод текстов. Тем не менее, по общим характеристикам модель все же уступает GPT-3.5 Turbo.
Задачи, в которых Gemini Pro превзошел GPT-3.5 Turbo
Представитель Google заявил, что внутренние тесты компании показывают превосходство Gemini Pro над GPT-3.5. Кроме того, ожидается, что Gemini Ultra, который должен появиться в 2024 году, превзойдет все текущие модели, включая GPT-4.