«Левая рука — ударные, правая — синтезатор»: Конструктор музыки, где звуки рисуют руками

Непонятная прозрачная сетка на экране, разноцветные искры и, казалось бы, случайные биты — это не экспериментальная сцена летнего рейва, а конструктор музыки Arma App, где звуки рисуют руками. Нужно лишь открыть приложение для iOS, поставить телефон на расстояние в пару метров, а дальше переставлять ладони по разным квадратам сетки — тут-то и заиграет техно.

Arma App создала пара аудиохудожников из России — Святослав Иванов и Варвара Шилова. Никакой связи с объединением Arma 17 здесь нет: название расшифровывается как Augmented Reality Music Act — то есть музыкальный акт в дополненной реальности. Пару лет назад Шилова уехала учиться в Барселону: оказавшись в разлуке, Святослав и Варвара решили перенести свое творчество в диджитал — так и возникла идея сделать Arma.

Святослав Иванов

создатель Arma App

За год мы много чего перепробовали — очень хотелось превратить движение тела в музыку. Сначала пробовали распознавать все тело и отталкиваться от этого. Были и локти, и наклоны, и прыжки. В итоге остановились на пальцах: нужно больше контроля, иначе не достичь задуманного уровня перформанса. На левой руке мы расположили ударные, а на правой — управление синтезатором.

Нейросети распознают жесты рук пользователя. Мы самостоятельно занялись обучением, чтобы сеть видела нужные знаки. Уловив их, сеть синтезирует заранее подобранные и сформированные звуки. Все возможные звучания, их вариации и сочетания мы писали, подбирали и программировали самостоятельно. Конечно, мы провели исследование и изучили немалое количество музыкальных приложений, чтобы лучше понять взаимодействие пользователя с устройством и звуком. Но при этом ни на что конкретно мы не ориентировались. Кажется, аналогов нашему продукту не существует.

Вообще дополненная реальность на мобильных устройствах появилась очень давно — еще во времена Pokemon Go. Но все об этом подзабыли, хотя я уверен, что вот-вот эта технология снова взорвет мир. Часто бывает так, что появляется какая-то технология (в нашем случае распознавание камерой жестов), но найти применение получается не сразу. Здесь главное — подобрать правильную комбинацию технологий и пользовательского экспириенса.