Давайте посмотрим немного в прошлое истории AR. Датчики отслеживания рук появились на свет в 2018 году, благодаря инженерам из Leap Motion, которые были прототипом приложения, пользователь применял пользователя интерактивные виртуальные носимые устройства на руки. Май 2018 года было выпущено приложение французским программистом, которое копировало объекты реального мира и переносило их в Adobe Photoshop.

В 2020 вышла в свет новая разработка, которая однозначна пригодится в обучении. Преподователи по физики теперь могут наглядно и интересно донести и объяснить разнообразные эффекты по курсу механики. Для любителей спорта тренера могут показать эффективность упражнений. Кроме того, потенциально при помощи этого набора метода можно создавать интерфейсы для сотрудничества с компом, которые состоят из виртуальных и настоящих частей.

Разработчик из Америки разработал прототип мобильной программы для планшетов и смартфонов, с помощью которой можно рисовать в AR интерактивные элементы, взаимодействующие между собой и с объектами реального мира.  

С помощью этой программы можно «оцифровать» подвешенный на потолке маятник и «наклеить» на стену график, который будет в реальном времени отображать угол наклона маятника. Презентация ее будет проходить на октябрьской конференции UIST 2020.

На  Андройд и iOS есть массивные системные фреймворки AR. Они отменно выслеживают поверхности, чтоб «привязывать» виртуальные объекты к одному месту в настоящем мире, могут распознавать перекрытие виртуальных объектов настоящими и даже подстраивать направление виртуального источника света под настоящий. Зачастую в приложении AR  пользователь располагает один объект на плоской поверхности и может следить за ним с различных сторон, а некоторые приложения имеют прямое динамическое взаимодействие. Наглядно можно увидеть это в iOS 12, где разработчики впихнули приложение, распознающее прямоугольные объекты и автоматически подсчитывает их размеры и площадь. 

Невзирая на существование различных алгоритмов компьютерного зрения и AR, которые могут работать в настоящем времени на мобильных устройствах, до настоящего времени AR-приложения достаточно ограничивают пользователя во взаимодействии с виртуальными и физическими объектами.

Боулдерские разработчики во главе с Дэниела Лейтингера (Daniel Leithinger) из Университета штата Колорадо разработали приложение-прототип, где наглядно можно посмотреть типы взаимодействия, связанные с приложениями с дополненной реальности. Разработчики разделили его работу на несколько типов сектора. 

Так как прежде всего создатели отрабатывали взаимодействие с физическими объектами, в первую очередь нужно выделить интересующий предмет. С этой целью переходим в режим выделения, надавить на предмет на дисплее, после этого он отображается белым цветом. Был применен метод отслеживание по цвету (HSV-величинам) при помощи открытого фреймворка OpenCV. На планшете создателей алгоритм работал в настоящем времени с частотой 20-30 кадров за секунду. 2-ой тип операций — это рисование динамических линий. Например, линией можно соединить выделенный объект и с иным статичным. Если потом передвинуть объект в другое место, линия в настоящем времени последует за ним, а отображаемая на ней длина. Программа дает возможность отслеживать и углы, если провести на экране не линию, а дугу. При подобном положении программа тоже будет динамически менять длину дуги и демонстрировать значение угла.

Характеристики виртуальных линий и дуг можно связывать меж собой. К примеру, если нарисовать две полосы из 1-го центра, одна из которых идет к предмету, а 2-ая завершается в пустом месте, то, связав их углы меж собой, можно получить пару линий. Кроме того величины можно визуализировать. Например, можно нарисовать график либо записать движение отслеживаемого объекта, а потом продемонстрировать в пространстве его линию движения в виде точек либо полосы.