Fugatto: NVIDIA представила мощный инструмент генеративного видео

NVIDIA представила Fugatto (Foundational Generative Audio Transformer Opus 1) — универсальную генеративную AI-модель, способную создавать и трансформировать музыку, голоса и звуки на основе текстовых или аудио-запросов. Сама компания назвала разработку «швейцарским армейским ножом для звука» (Swiss Army knife for sound).

Видео: демонстрация работы NVIDIA Fugatto

Что известно

Fugatto является уникальной тем, что объединяет возможности, которые ранее выполняли отдельные модели. Она способна выполнять сложные задачи, такие как:

• Генерация музыки по тексту: Например, модель может создать «меланхоличную фортепианную композицию с легким джазовым ритмом».
• Трансформация звука: Вы можете изменить инструмент в композиции, скажем, превратить гитару в виолончель или добавить звук барабанов в имеющуюся мелодию.
• Модификация голоса: Модель может настраивать эмоциональный тон голоса или даже менять его акценты.
• Особенностью Fugatto является способность синтезировать звуки, которые еще не существовали. Например, она может создать уникальный шум, который будет уместен в конкретном фильме или игре.

Почему это важно

Разработка NVIDIA ставит новые стандарты для генеративного AI в аудио. Благодаря Fugatto креативные профессионалы получают инструмент, который не только автоматизирует рутинные процессы, но и предоставляет безграничные возможности для творчества. Способность Fugatto адаптироваться ко многим сценариям означает, что в будущем модель может найти применение в сферах, где аудио имеет решающее значение — от рекламы до образовательных программ.

Эта технология также подтверждает тренд перехода AI-моделей к многозадачности. Если раньше для разных задач нужны были отдельные модели, то теперь Fugatto демонстрирует, что многофункциональные решения не только возможны, но и эффективны.

Что скрывается за словом Fugatto

Очевидно, что оно происходит от слова «фуга». Фуга — это музыкальная форма и композиционная техника, характеризующаяся полифонической структурой, где одна или несколько тем (мелодий) повторяются и развиваются в разных голосах. Термин происходит от латинского слова fuga, что означает «бег» или «бегство», что отражает идею «перебегания» темы от одного голоса к другому. Фуга стала центральным жанром в музыке эпохи барокко, особенно благодаря композиторам, таким как Иоганн Себастьян Бах, который считается одним из величайших мастеров этого жанра.

Слово «фугатто» (итал. fugato) означает полифоническую музыкальную форму, родственную фуге. Фугатто возникло в произведениях строгого стиля и охватывает технику имитации, где одна или несколько тем повторяются и развиваются в разных голосах.

Источник: blogs.nvidia.com