ARKit

Наблюдая за прогрессивно растущим появлением новых видео-роликов и пресс-релизов приложений с использованием ARKit, становится очевидным что технология будет иметь очень широкое применение, за счёт своих огромных возможностей.

Напомним, что в июне 2017 Apple анонсировала свою новую библиотеку для работы с дополненной реальностью под названием ARKit. За очень короткий срок с использованием этой технологии появилось множество разработок и приложений которые, однако, смогут быть опубликованы в App Store только после выхода официального обновления iOS 11, запланированного на 19 сентября этого года.

В этой статье мы рассмотрим основные направления применения этой технологии и выделим наиболее интересные приложения. Но сперва пару слов о самой технологии.

Если говорить в целом о дополненной реальности (AR), то надо отметить, что это не абсолютно новое явление. Оно возникло с тех пор, как разработчику стали доступны индивидуальные фреймы полученные от камеры устройства. Если не говорить о нашумевшем развлечении Pokemon GO, то на сегодняшний день появилась масса приложений AR отображающих дополнительную информацию по наведению камеры устройства на QR-код или на изображение-маркер. Это безусловно приложения AR имеющие практическую полезность, но, как заметили некоторые разработчики, корректнее было бы назвать эту технологию «дополненным изображением» или «дополненным QR-кодом» — поскольку речь здесь не ведётся о погружении в реальность окружающего мира, без привязки к маркеру или GPS локации. Другая история – это очки Google Glass, которые хорошо решают проблему удобства погружения в реальный мир, но предполагают не более, чем 2D изображения висящие в воздухе перед глазами пользователя. На практике такие очки хорошо заменяют собой функционал других устройств, яркий пример здесь – это навигация внутри города-мегаполиса. В силу ряда причин Google Glass по сей день не получили широкого распространения среди конечного пользователя. Еще один пример широкого распространения AR – это приложения способные с помощью нейросетей изменять лицо, цвет волос, бэкграунд и проч. на сэлфи-снимке – это крутые штуки, но их практическая применимость в повседневной жизни не велика.

Итак, в чём же инновация ARKit с точки зрения погружаемости в реальный мир, развлечений, практической пользы и удобства пользования? Отвечая на этот вопрос обратим внимание на две основных фичи этой технологии:

• Определение положения камеры девайса в 3D пространстве.
  Это первая и основная фича технологии ARKit. Достигается она при помощи техники визуальной инерционной одометрии VIO (Visual Inertial Odometry), составляющей существенную часть системы SLAM – одновременной локализации и построения карты пространства. Для трекинга положения камеры в 3D пространстве устройство комбинирует фреймы камеры и данные датчиков движения. Трекинг движения происходит при помощи обнаружения «точек отсчёта» – cвоего рода «якорей» или «опорных точек», которыми могут быть края предметов на полученном из фрейма камеры высококонтрастном изображении, например, угол пурпурного ковра на тёмном полу или края лежащего на столе черного предмета. Определяя насколько эти точки сдвинулись относительно друг друга при сопоставлении нового фрейма с предыдущими, устройство легко вычисляет своё расположение в пространстве. Соответственно эта технология не будет работать должным образом на абсолютно белой однородной стене или когда скорость перемещения девайса в пространстве будет высокой, не позволяя камере получать контрастные и не смазанные изображения. Кроме того, для корректной работы технологии необходим и хороший уровень освещенности окружающего пространства.

• Определение плоских горизонтальных поверхностей.
  Эта фича позволяет проецировать виртуальный контент на любую плоскую поверхность расположенную горизонтально. Например, как было продемонстрировано на WWDC 2017 во время презентации ARKit, на горизонтальную поверхность можно разместить виртуальные 3D объекты: чашка кофе, лампа. Причем, при перемещении этих объектов или изменении положения камеры относительно них, эти объекты не только сохраняют пропорции, но и корректно отбрасывают свои тени в зависимости от положения к источнику света.

Далее на горизонтальной поверхности была продемонстрирована целая анимированная 3D сцена, открывающая небывалые возможности для игр.

Используя эти фичи, технология открывает огромные возможности и это при том, что она работает только с использованием камеры, процессора и сенсоров движения. Никаких датчиков глубины, как в случае с Google Tango, здесь не используется.

Читайте наш подробный обзор демоприложений с применением ARKit на Хабрахабре!