AdHawk Microsystems начинает выпуск датчиков отслеживания взгляда для AR / VR
Технология AdHawk MindLink использует микроэлектромеханические системы или МЭМС (англ. MEMS), которые представляют собой крошечные микросхемы, которые выполняют механические функции. По словам генерального директора компании Нила Саркара в эксклюзивном интервью GamesBeat, появление системы MEMS от AdHawk приведет к созданию переносной технологии отслеживания взгляда, которую можно будет интегрировать с очками AR или гарнитурами VR. Исследователи вскоре смогут начать использовать прототип очков со встроенными датчиками компании AdHawk.
Очки-прототипы, с возможностью подключения к Android или ПК, уже доступны для предварительных заказов. Система AdHawk, поставляемая в виде традиционных очков для повседневной носки, быстрее, легче и энергоэффективнее, чем у конкурентов, и при этом предоставляет высокоточные данные медицинского уровня. Это важно, поскольку данные высочайшего качества позволяют ученым изучать такие состояния, как тревожность, когнитивная нагрузка, проблемы с чтением, синдром дефицита внимания и гиперактивности (СДВГ), сотрясения мозга, эпилепсия, а также ранние признаки и прогрессирование болезни Альцгеймера и Паркинсона. Идея состоит в том, чтобы выявить связь между глазами, мозгом и окружающим миром.
Начало
Саркар основал AdHawk Microsystems в 2017 году в Китченере, Онтарио, Канада, на базе Университета Ватерлоо при финансовой поддержке Intel Capital. Он имел образование инженера по микросхемам и изучал МЭМС в аспирантуре. Также он исследовал датчики для сканирования светового луча проходящего через глаз. Это специальные датчики, в которые встроены микроприводы, способные работать с субнанометровым уровнем точности.
«У нас было решение для отслеживания взгляда, которое не требовало каких-либо камер или какой-то сверхмощной обработки», - сказал Саркар. «На самом деле вы можете работать на очень высоких скоростях, с низкими задержками и очень малыми вычислительными ресурсами. Таким образом данное решение очень подходило для продуктов AR и VR.».
В 2019 году компания получила дополнительные деньги от инвесторов, среди которых - Samsung Venture Investment Corp., HP, Essilor International, Sony Innovation Fund, Intel Capital, Brightspark Ventures и Silicon Valley Bank. Компания AdHawk Microsystems предлагает всем испытать захватывающие впечатления от AR и VR, за счет более быстрых игр, эффективного обучение и более удобного пользовательского интерфейса. В настоящее время компания доводит свою технологию отслеживания движения глаз до уровня клинических исследований. Здесь традиционная практика всегда опиралась на качественные измерения движения глаз для определения показателей неврологического здоровья человека. В компании работает 35 человек, которые проектируют компоненты и затем заказывают их производство у подрядчиков.
«Чтобы наши технологии действительно увидели свет, мы не хотели зависеть от производителя в плане сроков поставки некоторых компонентов. Поэтому мы решили просто запустить собственный продукт. Вот что такое MindLink - легкие очки с функцией отслеживания взгляда».
Как это работает
AdHawk заменяет камеры сверхкомпактными МЭМС, которые не требуют больших энергозатрат на обработку изображений, тем самым повышая скорость и энергоэффективность более чем вдвое, чем у ближайшего конкурента.
Когда пациент надевает очки AdHawk MindLink, все что ему требуется это запустить приложение и нажать кнопку «Начать отслеживание». По данным AdHawk, система настолько быстра, что может точно предсказать, куда пользователь будет дальше смотреть, еще за 20 миллисекунд до того, как его взгляд зафиксируется. Захват движения взгляда осуществляется с частотой 500 раз в секунду, что позволяет добиться точности в один градус и выше.
«Каждый раз, когда луч попадает в часть вашего глаза, он отражается на фотодетекторе, и мы получаем импульс», - сказал Саркар. «Одни импульсы мы получаем за счет отражений от поверхности роговицы, а другие импульсы приходят, когда луч пересекает порог между радужной оболочкой и зрачком. Таким образом, с помощью сенсора мы можем измерять и вашу роговицу, и зрачок тысячи раз в секунду».
Помимо повышенной скорости и точности, система MindLink имеет дополнительные преимущества, так как она не связана громоздким оборудованием, которое можно использовать только в лабораторных условиях. Это означает, что врачи и ученые теперь могут проводить оценку отслеживания взгляда в различных ситуациях, в том числе в кабинете врача, в полевых условиях или даже дома у пациента.
Приложения
В играх важно следить за глазами, потому что движение показывает, на что смотрит игрок. Нет необходимости визуализировать изображения, которые пользователь не видит, и, таким образом, можно экономить вычислительную мощность. Конкурирующая компания Tobii, сделала хорошее решение, показывая, в какое место экрана во время игры смотрят профессиональные игроки, чтобы геймеры-любители могли лучше научиться играть в быстрые игры.
«Также можно начать использовать приложения, в которых вы ориентируетесь с помощью глаз вместо мыши или игрового контроллера», - сказал Саркар.
Что касается приложений, Саркар считает, что эта технология позволит провести новые исследования, связывающие движение глаз с неврологическим и глазным здоровьем. Вот почему компания предлагает свои наборы исследователям в области здравоохранения и науки. AdHawk поддерживает ученых из Университета Ватерлоо и Университетской сети здравоохранения.
«Есть много корреляций между сигналами, которые мы измеряем, и тем, что происходит у вас в голове», - сказал Нил Саркар. «Это, наверное, самое захватывающее».
Очки AdHawk удобно носить, а за счет встроенного датчика инерциального измерительного блока (IMU), их можно использовать для точного измерения движения глаз, размера зрачка и движения головы. В результате исследователи могут собирать данные, которые помогут им изучать тревожность, СДВГ, сотрясения мозга и эпилепсию, улучшая при этом возможности оценки когнитивной нагрузки и проблем с чтением. Данные также помогут в исследовании прогрессирования нейродегенеративных состояний, таких как болезнь Альцгеймера и Паркинсона. Устройство также можно использовать для отслеживания внимания водителя в ситуации пробки на дороге.
