В своєму блозі Google зазначив, що тепер можна наспівувати, свистіти чи співати мелодію в Пошуку Google, щоб вирішити проблему нав’язливої пісні. На мобільному пристрої треба відкрити останню версію додатку Google або знайти свій віджет Пошуку Google, торкнуться значка мікрофона і сказати «що це за пісня?» або натиснути кнопку «Шукайте пісню». Потім треба почати наспівувати протягом 10-15 секунд. Наразі ця функція доступна англійською мовою на iOS та більш ніж 20 мовами на Android (зокрема українською).
Після цього алгоритм машинного навчання допоможе визначити потенційні збіги пісень. Google покаже найбільш вірогідні варіанти на основі мелодії. Потім можна вибрати найкращий збіг та дослідити інформацію про пісню та виконавця, переглянути музичні відеокліпи або послухати пісню в музичному додатку, знайти текст та навіть переглянути інші записи пісні, якщо вони є.
Як це працює?
Мелодія пісні схожа на відбиток пальця: кожна з них має свою унікальну ідентичність. Компанія створила моделі машинного навчання, які можуть порівняти наспівування, свист чи спів з потрібним “відбитком пальця”.
Коли мелодію наспівують у Пошуку, моделі машинного навчання перетворюють звук у послідовність на основі чисел, що відповідає мелодії пісні. Моделі навчені ідентифікувати пісні на основі різних джерел, зокрема людей, що співають, свистять чи наспівують, а також студійних записів. Алгоритми також прибирають усі інші деталі, такі як супровідні інструменти, тембр і тон голосу. Залишаєится числова послідовність пісні або відбиток пальця.
Ці послідовності порівнюються з тисячами пісень з усього світу та визначається потенційні збіги в режимі реального часу.