Дослідники з Університету Ватерлоо розробили LyricJam - передову обчислювальну систему, яка генерує тексти для живої інструментальної музики.
Нова система LyricJam допоможе артистам складати нові тексти, які добре поєднуються з музикою.
"Мета нашого дослідження - розробка системи, яка може генерувати тексти пісень, що відображають настрій і емоції, які виражаються через різні аспекти музики. Йдеться про акорди, використовуваних інструментів, темпі. Ми прагнули створити інструмент, який музиканти могли б використовувати, щоб черпати натхнення для написання власних пісень", - говорить Ольга Вечтомова, автор дослідження
По суті, LyricJam являє собою систему штучного інтелекту. З точки зору користувача додаток дуже простий: музичний виконавець відтворює живу музику, а система відображає рядки тексту, які він генерує в реальному часі у відповідь на музику, яку чує. Згенеровані рядки зберігаються.
Приклади текстів, створених LyricJam для різних типів інструментальної музики. Звукові записи представлені у вигляді спектрограм, що відображають різні музичні характеристики. Надано: Вечтомова, Саху і Кумар.
Система, створена дослідниками, працює шляхом перетворення необроблених аудіофайлів в спектрограми. Потім використовуються моделі глибокого навчання для створення текстів пісень, відповідних музиці, яку вони обробляли в реальному часі. Архітектура моделі складається з двох варіаційних автоенкодерів, один з яких призначений для вивчення уявлення музичного звуку, а інший - для вивчення текстів.
Натхнення: hightech.fm
