Jukebox - это продвинутый инструмент искусственного интеллекта, разработанный OpenAI, который генерирует музыку, включая базовое пение, с помощью нейронной сети. Он предоставляет необработанное аудио в различных жанрах и стилях исполнителей.
Jukebox использует жанр, исполнителя и текст песни в качестве входных данных для создания совершенно уникального музыкального образца с нуля. Традиционные методы генерации музыки, такие как символьные генераторы, имеют определенные ограничения, поскольку они не могут передать человеческие голоса или тонкие нюансы музыкальных аспектов.
Чтобы преодолеть эти проблемы, Jukebox использует модель автоэнкодера, которая сжимает необработанный звук в более низкоразмерное пространство, контролируя длинные последовательности и сохраняя глубину музыкального произведения.
Модель характеризуется использованием подхода на основе квантования, VQ-VAE, для сжатия звука и применением разреженных трансформаторов для авторегрессионного моделирования.
Выходные данные, создаваемые Jukebox, отражают высокоуровневую семантику музыки, улавливая такие элементы, как пение и мелодии, а также обеспечивая качество тембра и хороший баланс локальных музыкальных структур.
Теперь, создавая синтетическую имитацию музыкальных звуков, Jukebox открывает широкие возможности для генеративных моделей.
Отзывы