Звуковая фантасмагория

Nvidia заявляет, что её новый музыкальный редактор с поддержкой искусственного интеллекта способен создавать звуки, которые ранее никто не слышал, включая такие необычные, как «мяукающая труба». Инструмент, названный Fugatto, генерирует музыку, звуки и речь на основе текстовых и аудиосемплов, с которыми он ранее не сталкивался, пишет IT-World.

В демонстрационном видео Fugatto создаёт композиции по нестандартным запросам, например: «Сымитируй вой саксофона, затем лай, а после этого добавь электронную музыку с лаем собак». Среди других возможностей, которые показала Nvidia, — создание уникальных звуковых эффектов по описанию, таких как «глубокие, грохочущие басовые импульсы, дополненные прерывистыми, высокими цифровыми щебетаниями, напоминающими пробуждение гигантской разумной машины».

music-1+++cn++.jpg

Кроме того, Fugatto способен изменять звук голоса, трансформируя акцент или тон, делая его, например, спокойным или сердитым. Инструмент также поддерживает редактирование музыки: он может выделять вокал, добавлять новые инструменты или изменять звучание, например, заменяя фортепиано оперным вокалом.

В сопроводительной документации Nvidia приводит список наборов данных, использованных для обучения Fugatto, включая библиотеку звуковых эффектов BBC. Хотя на рынке уже есть другие ИИ-инструменты для работы с аудио, такие как Stability AI, OpenAI, Google DeepMind, ElevenLabs и Adobe, Fugatto выделяется своей способностью создавать звуки, которые не существовали ранее.

Стоит отметить, что некоторые стартапы, разрабатывающие музыкальные ИИ, сталкиваются с исками за нарушение авторских прав, а недавние расследования показывают, что такие компании, как Nvidia, обучали свои модели на субтитрах тысяч YouTube-видео. Для разработки Fugatto исследователям пришлось собрать массивный набор данных с миллионами аудиосемплов и разработать инструкции, которые расширили функциональность модели, сделав её более точной и универсальной.

Пока неизвестно, станет ли Fugatto доступным для широкой аудитории и когда это произойдёт.


Иллюстрация: использованы изображения chonri510 и Jules D.
01.12.2024
Важное

Зачем древние европейцы возводили исполинские каменные сооружения? Новые находки, кажется, приблизили ученых к ответу. Или все-таки нет?

06.09.2026 09:00:00

Американская компания намерена продавать дневной свет из космоса.

05.09.2026 13:00:00
Другие События

Зачем древние европейцы возводили исполинские каменные сооружения? Новые находки, кажется, приблизили ученых к ответу. Или все-таки нет?

Американская компания намерена продавать дневной свет из космоса.

Нидерланды вывели из США и Канады 86 тонн золота стоимостью около 12 млрд долларов. Почему центробанк страны переносит резервы в Лондон?

Бишкекский саммит ШОС стал разговором не только о безопасности и торговле, но и о том, каким страны организации видят новый мировой порядок.