Дополненная реальность

Допо́лненная реа́льность (англ. augmented reality, AR^[1] — «дополненная реальность») — результат введения в зрительное поле любых сенсорных данных с целью дополнения сведений об окружении и изменения восприятия окружающей среды.

Дополненная реальность — воспринимаемая смешанная реальность, создаваемая с помощью компьютера с использованием «дополненных» элементов воспринимаемой реальности, когда реальные объекты монтируются в поле восприятия.

Среди наиболее распространенных примеров дополнения воспринимаемой реальности — параллельная лицевой цветная линия, показывающая нахождение ближайшего полевого игрока к воротам при телевизионном показе футбольных матчей, стрелки с указанием расстояния от места штрафного удара до ворот, «нарисованная» траектория полета шайбы во время хоккейного матча, смешение реальных и вымышленных объектов в кинофильмах и компьютерных или гаджетных играх и т. п.

Предположительно, термин «дополненная реальность» был предложен исследователем корпорации Boeing Томом Коделом (англ. Tom Caudell) в 1990 году^[2]. Том Кодел употреблял термин, описывая цифровые дисплеи, которые использовались при постройке самолётов. Сборщики носили с собой портативные компьютеры, могли видеть чертежи и инструкции с помощью шлемов, имеющих полупрозрачные дисплейные панели^[3]

Существует несколько определений дополненной реальности: исследователь Рональд Азума (англ. Ronald Azuma) в 1997 году определил её как систему, которая^[4]:

1. совмещает виртуальное и реальное;
2. взаимодействует в реальном времени;
3. работает в 3D.

В 1994 году Пол Милгром (англ. Paul Milgram) и Фумио Кисино (англ. Fumio Kishino) описали континуум «виртуальность-реальность» (англ. Milgram's Reality-Virtuality Continuum)^[5] — пространство между реальностью и виртуальностью, между которыми расположены дополненная реальность (ближе к реальности) и дополненная виртуальность (ближе к виртуальности). Дополненная реальность — результат добавления к воспринимаемым как элементы реального мира мнимых объектов, обычно в качестве вспомогательной информации.

Иногда в качестве синонимов используют термины «расширенная реальность», «улучшенная реальность», «обогащённая реальность», «увеличенная реальность». Такое использование названных терминов в общем случае неправильно, — термины «расширенная реальность», «увеличенная реальность», «обогащённая реальность» применимы лишь для обозначения определённых форм и аспектов практического применения дополненной реальности, тогда как применимость термина «улучшенная реальность» вовсе сомнительна.

1. Привязка к маркеру — механика, при которой объект в дополненной реальности появляется при наведении камеры на физический оригинал. Контент дополненной реальности запускается, когда в поле зрения камеры появляется определённый триггер. Маркером могут являться: изображения, логотипы, фотографии, звуки.
2. Привязка к плоскости — механика, при которой объект в дополненной реальности появляется в пространстве, привязанный к определённой точке, выбранной устройством в результате сканирования. Распознаются как горизонтальные, так и вертикальные плоскости. Такая механика применяется, когда нет необходимости держать маркер в поле зрения устройства.
3. Привязка к геолокации — механика, при которой объект в дополненной реальности появляется в определённой точке города. Маркером в таком случае является геолокация — координаты.
4. Порталы — механика, при которой в дополненной реальности появляется пространство в режиме 360°. Пространством может служить фото-, видео-материалы, а также отрисованные в графике.
5. Взаимодействие с физическим объектом — механика, при которой на физическом оригинале появляются дополнительные элементы в дополненной реальности. Триггер в такой механике — физический объект. Для этого создается цифровая копия физического объекта в 3D пространстве.
6. Интеграция реалистичных персонажей — механика, при которой реальный объект помещён в дополненную реальность. Такого эффекта можно достичь несколькими способами: • 2D видео — реальный объект снимают на хромакее с ракурса человеческого роста, в графическом редакторе удаляется фон и изображение помещается в AR-среду под прямым углом к зрителю. При попытке зрителя обойти объект, он поворачивается к зрителю одной и той же стороной, сохраняя иллюзию объёма. • 4D съёмка — студийная съёмка с использованием набора специальных камер, захватывающих объект в движении. В результате съёмки получается реалистичная анимированная 3D-модель, готовая для интеграции в AR-среду.
7. Расширенный функционал — механика, которая позволяет добавить интерактив. Возможности: запуск анимации по нажатию, ведение диалога с персонажем, переход на сторонние веб-ресурсы и т.д.
8. Мультиплеер — режим совместной деятельности нескольких устройств. Используется в играх, квестах, массовых презентаций и совместной работы дизайнеров и инженеров.
9. Web AR — просмотр AR-контента в интернет пространстве. Существует два вида: • Просмотр в браузере • Загрузка приложения напрямую на устройство

• Распознавание объектов в реальном времени. Используется совмещение технологий AR и ML для помощи слабовидящим и слепым людям. При наведении смартфона на объект, приложение определяет его и воспроизводит название в звуке.
• 6D ai-окклюзия. Технология построения сетки окружающего пространства, в которой работают не только плоскости, но и глубинная карта окружения, благодаря которой объекты в дополненной реальности могут вести себя относительно положения реальных объектов.
• Реалистичное 3D-сканирование.

«Как и у любой технологии, у AR и VR есть обратная сторона: пока их довольно тяжело использовать. От ношения AR-очков за целый день очень устают глаза, особенно это было заметно в ранних версиях устройств; кроме того человеку поступает значительно больше информации. Но в будущем люди к этому адаптируются — параллельно с развитием технологий», — говорит^[6] футуролог Роберт Скоубл. Другая проблема современной дополненной реальности — неудобство в использовании AR-очков из-за их громоздкого размера, а также высокая цена таких устройств. Очки же для широкой аудитории, которые дешевле и больше распространены (например, Google Glass) — маломощны, поэтому не могут выполнять множество функций^[7]. Подробнее с этим можно ознакомиться в данной статье ^[8].

Первые приёмы дополненной реальности, не получив тогда такого наименования, нашли широкое применение в фантастической литературе и связанном с ней изобразительном искусстве в жанре альтернативная история, а также в продукции телевидения и кинофильмах, где смешаны и взаимодействуют реальные объекты и персонажи с таковыми же, созданными мультипликацией и компьютерной графикой.^[9]

Существует множество программных продуктов для мобильных устройств, которые позволяют при помощи дополненной реальности получить необходимые сведения об окружении: браузеры дополненной реальности^[10] и специализированные программы для отдельных сервисов, компаний или даже единственных моделей. Само распространение дополненной реальности и нарастающая известность технологии среди потребителей связаны с тем, что вычислительная мощность и набор датчиков в аппаратных платформах для смартфонов и планшетов-компьютеров позволяют производить наложение любых цифровых данных на получаемое в реальном времени со встроенных в устройства камер изображение. Часть решений в этой области воплощается в виде нательных компьютеров (в том числе в качестве элементов умной одежды) для постоянного контакта со средой дополненной реальности.

Корпорация Google работает над гарнитурой Project Glass (одна из первых попыток вывести дополненную реальность в потребительский сектор, 2013 год, заморожена разработка в 2015 году. Параллельно шла разработка платформы для дополненной реальности Tango, выпущена в 2016 году^[1]), а Vuzix — над Smart Glasses M100. Microsoft в 2016 году выпустила Hololens для бизнеса и профессионалов. В июне 2017 года Apple анонсировала платформу ARKit^[1]. Аналогичные разработки ведут другие крупные компании, включая Canon с AR-очками для профессиональных дизайнеров MREAL^[11], а также многие начинающие компании. В связи с тем, что мобильные приложения широко распространены и легкодоступны по сравнению с handsfree, технология дополненной реальности рассматривается именно в области мобильной разработки.^[12]

В современных лапароскопических операциях изображение на эндоскопе дополняется изображением, полученным во время интраоперативной ангиографии. Это позволяет хирургу точно знать, где находится опухоль внутри органа, и таким образом минимизировать потери здоровой ткани органа пациента во время операции по удалению опухоли^[13].

В современных боевых самолетах и вертолетах часто используется индикация на лобовом стекле или на шлеме пилота. Она позволяет пилоту получать наиболее важную информацию прямо на фоне наблюдаемой им обстановки, не отвлекаясь на основную приборную панель^[14]. Это позволяет, например, сэкономить драгоценные секунды во время маневренного воздушного боя. Многие подобные системы позволяют осуществлять целеуказание путём поворота головы или движения глазных яблок.

Широкое распространение получают и тактические системы дополненной реальности для экипажей боевых машин, танков, солдат, действующих в пешем порядке. Примером такого рода является американская нашлемная система ARC4. В перспективе для синтеза соответствующих символов дополненной реальности будут использоваться технологии искусственного интеллекта, что позволит оперативно маркировать цели, обеспечивая эффективное целеуказание, координацию и бесконфликтность совместного ведения огня^[15].

Технология дополненной реальности является мощным инструментом оптимизации 3D-топологии хранилищ боеприпасов на местности с выбором совокупности боеприпасов в стеках и расстояний между ними на основе динамической визуализации зон рисков. Распространение информации о таких зонах позволит выбирать безопасные места дислокации и наименее рискованные маршруты передвижения подразделений в условиях угрозы взрыва хранилищ. Кроме того, на очках AR или соответствующих дисплеях могут отображаться сведения о состоянии и предыстории эксплуатации конкретных боеприпасов перед их отправкой в подразделения^[16].

Существуют компьютерные игры, производящие обработку видеосигнала с камеры и накладывающие на изображение окружающего мира дополнительные элементы. Например, в 2004 году была выпущена игра для мобильных телефонов с названием Mosquitos, представлявшая собой обычный видео режим камеры, но с наложенными поверх, прицелом и комарами, растущими в размерах, от которых «отстреливался» игрок. Комары генерировались на большой площади, выходящей за пределы обзора камеры, поэтому нужно было встать в комнате, и крутить телефон вокруг себя, чтобы "отыскать" комаров. ^[17].

В современном мире игры дополненной реальности получили широкое распространение на гаджетах, а также на игровых консолях. К середине 2016 года получила широчайшее распространение по миру и серьёзный общественный резонанс гаджетовая глобальная многопользовательская игра Pokémon Go^[1] для интерактивной ловли покемонов в виртуально дополненном реальном мире — на реальных объектах по всей территории планеты. Американец Абхишек Сингх (англ. Abhishek Singh) перенёс в дополненную реальность целый уровень из Super Mario Bros. Также разработчики перенесли Minecraft в дополненную реальность^[1].

Дополненная реальность активно используется в печатной продукции благодаря распространению так называемых браузеров дополненной реальности^[10] — в частности, Wikitude, JuliviAR, Layar, blippAR, ViliPhoto и других. В газеты, буклеты, проспекты, журналы и даже географические карты^[18] помещаются изображения, служащие метками для последующей визуализации цифровых объектов. В роли дополняющей информации может выступать текст, изображения, видео, звук или трёхмерные объекты^[19], статичные или анимированные — фактически, абсолютно любые цифровые данные. С помощью специальных программ-браузеров, установленных на планшеты и смартфоны, пользователи сканируют метки, получая доступ к дополнительному контенту.

В периодике дополненная реальность чаще всего используется для визуализации рекламы, в качестве привлекающего внимание аудитории маркетингового инструмента. Однако встречаются проекты, направленные на решение социальных задач: показательным примером здесь выступает инициатива японской газеты Tokyo Shimbun, тексты которой при помощи мобильных устройств адаптируются для детского восприятия, что направлено на создание общего информационного поля у детей и их родителей и укрепление связей в семье^[20].

Анимированная дополненная реальность получила распространение в дошкольной обучающей литературе.

В качестве меток дополненной реальности могут использоваться штрих-коды, QR-коды, метки RFID^[21].

Так же дополненная реальность не обошла и тему образования^[22]. Применение технологий дополнительной реальности в образовании^[23] набирает обороты и является перспективной практикой, обладающей разного рода преимуществами и способной улучшить эффективность преподавания различных дисциплин, в том числе иностранных языков^[24]. Чтобы освоить язык, требуется проникнуть в культуру народа, которому этот язык принадлежит, приобрести иноязычные социокультурные компетенции. Дополненная реальность является одной из наиболее перспективных технологий, позволяющих решить этот вопрос.

Внедрение AR-технологий в российских высших учебных заведениях началось в 2015 году в программах Московского института открытого образования, а с 2017 года это направление стало развиваться Департаментом информационных технологий г. Москвы и Дальневосточным федеральным университетом^[25].

Приложений, для создания так называемого green screen без green screen — выделение контура человека и его отделение от фото, созданных с помощью различных технологий, на рынке уже немало. Отделение контура человека от изображения позволяет подставлять новый фон, что может быть полезно для видеозвонков или создания более ярких и красочных изображений. Разработчики приложений вроде Prisma или Paper Artist также опираются на похожие технологии и используют нейронные сети, которые работают прямо на мобильном устройстве.