Смартфон может видеть звуки при помощи эхолокации и машинного обучения

Алгоритм машинного обучения, использующий принцип эхолокации для создания трехмерных изображений, был разработан в Университета Глазго, Шотландия (University of Glasgow).

Алгоритм может определять форму, размер и планировку комнаты, измеряя время, прохождения звуковых импульсов или радиоволнам, чтобы отразиться от стен или предметов и вернуться в микрофон или антенну.

Исследователи говорят, что такой алгоритм можно использовать для создания изображений на любом устройстве, оснащённом микрофоном и динамиком или радиоантенной.

Руководитель проекта, доктор Алекс Терпин (Alex Terpin) из Университета Глазго, говорит:

«Эхолокация — замечательная способность животных ориентироваться а пространстве. Науке удалось воссоздать способность генерировать трёхмерные изображения из отражённых эхосигналов разными способами, такими как радар и лидар. Что отличает это исследование от других систем, так это то, что для создания трёхмерных изображений требуются данные всего с одного входа — микрофона или антенны. Во-вторых, мы считаем, что разработанный нами алгоритм может превратить любое устройство с любой из этих частей в устройство эхолокации. Это означает, что стоимость такого вида 3D-изображений может быть значительно снижена, что откроет множество новых применений. Например, можно отказаться от традиционного системы безопасности с использованием видеокамер. Достаточно улавливать звуковые сигналы, отражённые от злоумышленника. То же самое можно сделать для отслеживания перемещений уязвимых пациентов в домах престарелых. Можно отслеживать подъём и опускание груди пациента в медицинских учреждениях, предупреждая персонал об изменениях дыхания».

Исследователи использовали динамики и микрофон ноутбука для генерации и приёма акустических волн в килогерцовом диапазоне, а также использовали радио-антенну, чтобы делать то же с радиочастотами в диапазоне гигагерц. В каждом случае они собирали данные об отражении волн, сделанные в комнате при перемещении одного человека. В то же время они записали данные с помощью т.н. «камеры времени полета» ToF (time-of-flight camera), чтобы измерить размеры комнаты и обеспечить изображения с низким разрешением.

Объединив данные эхо-сигнала с микрофона и данные изображения с камеры ToF, исследователи обучили свой алгоритм машинного обучения на сотнях повторений, чтобы связать определенные задержки в эхо-сигналах с изображениями. В конце концов, алгоритм научился достаточно хорошо генерировать собственные изображения комнаты и её содержимого только на основе данных эхолокации.

Доктор Турпин также говорит: «Теперь мы смогли продемонстрировать эффективность этого алгоритмического метода машинного обучения, используя свет и звук, что очень интересно. Ясно, что здесь есть большой потенциал для восприятия мира по-новому, и мы стремимся продолжить изучение возможностей создания более высокого разрешения».

Ссылка на исходную статью автора метода:

Нажмите для доступа к PRL-echoes(2021).pdf

Об авторе Алексей Шалагинов

Независимый эксперт
Запись опубликована в рубрике Искусственный интеллект, Компьютерное зрение с метками , , , , . Добавьте в закладки постоянную ссылку.

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход /  Изменить )

Google photo

Для комментария используется ваша учётная запись Google. Выход /  Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход /  Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход /  Изменить )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.