Впізнавати композиції
Класний трек можна почути будь-де: у торговому центрі, в кафе і навіть з вікна сусідньої машини, стоячи в пробці. Щоб не проґавити незнайому пісню, достатньо включити додаток для розпізнавання. Назва композиції та ім’я виконавця у них за секунди видає штучний інтелект. Щоправда, за таким стрімким результатом стоїть ґрунтовна підготовка: щоб швидко дізнатися про мелодію, програмі спочатку потрібно її запам’ятати. Для цього нейромережі знайомлять з величезною бібліотекою треків, а потім алгоритми перетворюють звук на спектрограму і розкладають його на час, частоту та інтенсивність.
Спектрограма – це графік. По осі горизонталі розташовано час, по вертикалі – частота звуку, а кольором виражена його інтенсивність у фіксований момент. Низький сигнал є червоною смужкою знизу, а високий – зверху. У результаті виходить картинка, що складається із кольорових горизонтальних смуг. Аналіз таких схем допомагає розпізнавати музику. Працюючи зі спектрограммами використовуються самі нейромережевые підходи, як і під час аналізу зображень.
Припустимо, людина чує по радіо пісню і хоче дізнатися назву та виконавця. Програма розпізнавання будує спектрограму уривка і відправляє її в свою бібліотеку треків. Потім порівнює «картинку» шуканої мелодії зі спектрограмами інших композицій і вибирає найточніший збіг. При цьому штучний інтелект розпізнає мелодію навіть крізь серйозні перешкоди на зразок дорожнього шуму чи ремонту у сусідній квартирі.
До речі, нейромережа здатна не тільки ідентифікувати виконавця і назву треку, що застряг у голові, а й приблизно визначити його жанр. І тому штучний інтелект вчать знаходити закономірності різних музичних стилів. Такі специфічні характеристики, як правило, недоступні людському зору та слуху. Але завдяки машинному навчанню обчислювати музичні жанри зображення спектрограм стає можливо.
Рекомендувати пісні
Здається, що самостійно знайти «цей» трек під настрій у мільярдах композицій майже так само малоймовірно, як взаємно закохатися з першого погляду. Але завдяки алгоритмам рекомендацій ідеальні метчі трапляються не так рідко. Спочатку штучний інтелект шукає людей зі схожими смаками, а далі підключаються статистичні формули: кількість лайків, дизлайків, прослуховувань та перепусток конкретної композиції.
Рекомендація пісень працює за простою схемою: якщо Васі сподобався трек X, а потім Петя теж його оцінив, то коли Васі сподобається Y, порекомендувати трек Y варто і Петі. Коли алгоритму слід знайти наступну пісню, готова формула застосовується до набору потенційних композицій. Найкраща піднімається нагору.
«Холодний» контент, не помічений у плейлистах масового слухача, поширюється повільніше. Але завдяки нейромережам у невідомих виконавців і нішевої музики все ж таки є невеликий шанс майнути в потоці рекомендацій. Якщо спростити всі технічні нюанси, можна сказати, що у подібних випадках штучний інтелект з’ясовує, як часто конкретний користувач слухає пісні зі схожими спектрограмами, і періодично пропонує йому познайомитися з новими треками.
Іноді я шукаю натхнення у рекомендаціях. Довіряю вибір композиції музичному сервісу, прислухаюся до мелодій, знаходжу цікаві звучання чи тексти. Так справді можна спонтанно закохатися у трек невідомого виконавця. А ще випадково почутий рядок здатна наштовхнути мене створення своїх віршів.
Нейросети також допомагають генерувати збірки музики для фітнесу, прогулянок або сну. Контент-редактори відбирають для алгоритмів треки-орієнтири, і на основі спектрограм штучний інтелект розширює тематичні рекомендації.
Генерувати музику
Раніше створювати мелодії могли лише композитори. Нині це можливо і без участі музикантів. 2020 року в Нідерландах вперше провели «Євробачення» для нейромереж — AI Song Contest. Перемогла в ньому австралійська колаборація штучного інтелекту з коалами, зимородками та тасманськими дияволами. Пісня присвячувалася лісовим пожежам, що бушували на континенті. Звуки тварин записали в короткі семпли – уривки завдовжки 1-2 секунди. Алгоритм поєднав їх із хітами всіх попередніх переможців реального «Євробачення», після чого зібрав семпли у власну мелодію.
Це не єдиний приклад вдалої творчої спілки програмістів та нейромереж. 2019-го на закритті Зимового міжнародного фестивалю мистецтв у Сочі державний оркестр виконав 8-хвилинну п’єсу. Написав її композитор Кузьма Бодров із окремих фрагментів мелодій, згенерованих нейромережами. Сьогодні створення музики — найперспективніша сфера для розвитку штучного інтелекту.
Створювати музику штучний інтелект може трьома шляхами. Перший пов’язаний із конструюванням з готових «цеглинок» звуку — семплів. У такому разі алгоритм просто розставляє їх у потрібному порядку за декількома звуковими доріжками, а електронний аранжувальник зводить готовий трек. Другий спосіб – генерувати нотні записи. Це як писати інструкцію, щоб музикант зіграв по ній готовий твір. І третій шлях – записувати «сирий» аудіосигнал. У цьому випадку нейромережа сама створює звукові хвилі, які схожі, наприклад, на Моцарта чи Beatles.
До речі, писати вірші для пісень нейромережі також можуть. Поки що такі треки звучать досить дивно, тому сонграйтерам не варто переживати про безробіття. До того ж «комп’ютерний розум» непритомний. Він може вникнути в емоційний контекст і передати ті переживання, які змушували авторів творів творити.
Поезія та музика — це насамперед про душу, внутрішній світ, переживання, почуття та емоції людей. Наприклад, новий трек «Не перегори» — моя особиста історія, але вона також і про кожного, хто йде до мрії і намагається розібратися в собі. Я не думаю, що штучний інтелект колись замінить живу людину в музичній індустрії. Але тут може вийде цікавий тандем «людина – нейромережа». Ми вже знаємо десятки прикладів, коли штучний інтелект допомагав композиторам створювати унікальні мелодії. По суті, це новий напрямок у музичному світі, який, я впевнена, у майбутньому матиме свого слухача та свою аудиторію.
Штучний інтелект робить творчість доступною для всіх, а музика допомагає їй розвиватися. Розібратися, як ці два полюси сходяться і впливають один на одного, можна на «Уроці Цифри» від «Яндекса» – «Цифрове мистецтво: музика та IT». Разом із героями коміксів учасники дізнаються, як нейромережі розпізнають та генерують треки та які технології допомагають у роботі знайомих нам музичних сервісів. На занятті учні спробують самі вгадати мелодію за спектрограмою та зберуть плейлист із рекомендаціями.
