Пранав Лал

Технология 'vOICe': Когда видно звук

Индийский слепой эксперт по кибербезопасности, пользующейся технологией «vOICe» для звукового видения

Пранав Лал (Pranav Lal). Индийский слепой эксперт по кибербезопасности, пользующейся технологией 'vOICe' для звукового видения.

'Если вы сможете собрать конструктор 'Lego', значит, вы в состоянии сконструировать себе электронный глаз', – заявил Пранав Лал, недавно познакомивший со своим уникальным продуктом весь мир.

Лал – эксперт по кибербезопасности из Дели, Индия (Delhi, India). Слепой от рождения, индиец ныне успешно пользуется технологией под названием 'vOICe', которая позволяет воспринимать и видеть мир посредством звука.

Недавно он путешествовал по Гималаям (Himalayas), и аутентичную интерпретацию окружения ему позволяла создать уникальная система 'vOICe', использующая звук для трансляции видения.

Технология была разработана, чтобы помочь слабовидящим людям ориентироваться в пространстве. Пранав зачастую пользуется 'vOICe', ведя фотосъемку в местах, где фиксирует самые приятные для себя звуки.

'Сцены с различными звуковыми элементами – это интересно, – заявил Лал. – К примеру, такой сценой может быть мост с большим количеством кабелей или природное яркое место с потоками и скалами. Это все равно, что представлять оркестр'.

Технология 'vOICe' передает изображение с камеры на компьютер, где специальное программное обеспечение создает визуальную реальность – конвертирует картинку в звук. Пранав пользуется камерой в своем прокачанном смартфоне – с фотообъективом 'рыбий глаз', закрепленным на спортивной повязке для головы.

После конвертации изображения в цветовой режим в оттенках серого цвета, программное обеспечение использует различные характеристики звука, воссоздавая визуальное панорамирование, продвигаясь слева направо. Положение объекта определяется высотой звучания: чем выше позиция объекта на снимке, тем выше высота звука. Яркость объекта на снимке задается громкостью звучания.

Пранав признает, что сложные формы, которые особенно вдохновляют его, могут вызывать проблемы с распознаванием. Как правило, индиец может различить передний план и задний фон изображения путем разделения различных образов на составляющие в своей голове. Испытывая некоторое время систему 'vOICe', Лал постепенно научился создавать мысленные образы, анализируя 'звуковые пейзажи'.

Технология 'vOICe', если так можно выразиться, конвертирует чувства. После некоторого периода обучения мозг начинает обрабатывать 'звуковые полотна', созданные 'vOICe', в зрительной коре. Организм начинает рассматривать звуки как изображения.

Майкл Пру из Университета Бата в Великобритании (University of Bath, UK), в настоящее время работает со слепыми людьми, пользующимися системой 'vOICe'. Он исследует способности активизации визуальных участков мозга при поступлении данных от других органов чувств.

Проводя недавнее исследование, Майкл обнаружил, что использование технологии 'vOICe' может помочь распознавать слепым размытые изображения на том же уровне, что и у человека с нормальным зрением. В то же время известно, что компь

ютерное зрение испытывает трудности с определением таких же объектов.

Работать с технологией 'vOICe', на удивление, просто, что и продемонстрировал Пранав в прошлом месяце на фестивале 'Latitude' в Саутволде, Суффолк (Southwold, Suffolk). Получив данные о нескольких основных линиях и формах посредством сонификации (средствами аудио), вызвавшийся доброволец, чьи глаза были закрыты, сумел прочитать слова, просто вслушиваясь в соответствующие звуки.

В скором времени появится игровая версия системы 'vOICe' как одно из приложений в смартфоне. Эта обучающая программа будет побуждать людей пользоваться полноценной версией технологии 'vOICe' и знакомить с инновацией других.

В продукт постоянно вносятся небольшие изменения. К примеру, недавно конвертор научился работать с изображениями, присылаемыми по электронной почте. Со временем 'vOICe' стала поддерживать наушники с технологией костной проводимости звука.

Делая различные снимки, Пранав Лал использовал систему 'vOICe', чтобы увидеть первые изображения с Плутона, полученные из космоса в прошлом месяце.

'Я мог различить горы, но они были слишком размыты, – сказал Лал. – Пятно в правой части изображения было четче – оно было освещено лучше'.

В настойках технологии 'vOICe' есть функции определения цвета. Несмотря на то, что это не слишком важно для навигации, пользователь может сам выбрать, какие цвета будут преобразованы в звук. Это дает возможность сосредоточиться на определенных объектах на 'звуковом полотне'. К примеру, если вы хотите увидеть через звучание только красные яблоки, игнорируя зеленые, вы можете изменить настройки соответствующим образом.

Различные камеры, которые могут быть подключены к системе 'vOICe', могут расширить границы человеческого зрения. Например, с помощью тепловизионной камеры можно имитировать змеиное зрение через звуки, а камера ночного виденья позволит 'видеть' в темноте.

Во время своих путешествий Пранав хотел больше времени уделить ночной фотографии, но у него не было возможности найти и установить доступную и портативную камеру ночного видения. В октябре он планирует отправиться в Таиланд (Thailand), где повсюду его будет сопровождать система 'vOICe'.

15 февраля 2015-го Лал заявил, что приготовил к запуску набор для видения 'Immersive Vision Kit', который помогает запустить систему 'vOICe'.

Комплект 'Immersive Vision Kit' – компактный, состоящий из модулей, так что можно комбинировать компоненты по своему усмотрению. Вы не почувствуете тепло, генерируемое камерой или иной составляющей. С набором справиться проще, чем с нетбуком или лэптопом с видеоочками.

Вы можете добавлять другие компоненты в комплект. Рабочая камера имеет очень широкий угол обзора, что позволяет получить максимальную информацию об окружении. Разработчик отказался от 'левых' функций 'Immersive Vision Kit', оставив во главе угла задачу по активации технологии 'vOICe'.

В комплект включена плата 'ODROID u3' на базе 'Android' и камера.