Apple в деталях описывает мобильную систему дополненной реальности

Дополненная реальность в айфонеВо вторник, 31 января, компания Apple получила пару патентов, которые вместе описывают мобильную систему дополненной реальности, способную распознавать окружающую обстановку и показывать пользователю сгенерированную виртуальную информацию в режиме реального времени.

Судя по публикации Ведомства по патентам и товарным знакам США, один документ описывает аппаратную платформу дополненной реальности (далее — ДР) с улучшенными возможностями компьютерного зрения, а второй — специальный метод вывода виртуальной информации поверх обозреваемого пространства. Вместе они могут пролить свет на планы Apple в области ДР.

Изначально оба документа были поданы немецкой компанией Metaio, специализирующейся на ДР, незадолго до того, как Apple выкупила ее в 2015 году. Затем в ноябре прошлого года Ведомство назначило Apple владельцем интеллектуальной собственности.

Первый патент — «Носимая информационная система, оснащенная как минимум одной камерой» — описывает собственно устройство с одной или несколькими камерами, экран, пользовательский интерфейс и внутренние компоненты, отвечающие за компьютерное зрение. Наилучшей платформой для этого изобретения является шлем виртуальной реальности, хотя смартфоны тоже могут служить подходящей заменой.

Центральное место в документе больше занимает вопрос потребления мощности при распознавании объектов, чем визуализация или наложение данных ДР. В предыдущих реализациях этот момент, возможно, был главным техническим барьером, мешающим широкому распространению ДР. Решения для поиска изображений, например, распознавание лиц, работающее в системах безопасности, потребляют огромное количество энергии и поэтому используются довольно ограниченно.

Патент Apple описывает больше, чем просто управление устройством; в нём рассматривается энергетически эффективный метод мониторинга окружения пользователя и предоставление информации об обнаруженных объектах. Например, эта технология может быть использована для экскурсионного приложения: пользователь заходит в музей, а система сканирует обстановку и выводит справку об интересных экспонатах.

Чтобы оптимизировать электропитание под мобильные устройства, в изобретении по умолчанию будет включен режим сканирования, требующий минимум мощности. Повышенное потребление энергии будет происходить скачками, например, при загрузке данных для обнаруженного интересного места или системных обновлений.

Документ глубоко изучает вопрос инициализации процесса оптического отслеживания и определения начального положения и ориентации камеры, что является одним из самых важных и сложнореализуемых аспектов технологии ДР.

Apple делит этот процесс на 3 основных части: выделение признаков объекта, их описание и сопоставление. Вместо того, чтобы полагаться на существующие вычислительные методы, Apple предлагает новый способ, задействующий специальное оборудование и заранее сохраненные данные.

Процессом распознавания и сопоставления будет управлять отдельная микросхема, а в дальнейшем он будет опираться на такие параметры изображения, как яркость (количество отраженного света в зависимости от окружающей среды) и глубина, или их комбинацию.

Параметры изображения, полученного с помощью камеры, сопоставляются с содержимым встроенной и удаленной баз данных, которые могут постоянно обновляться. А информация о положении, полученная с сенсоров устройства или других датчиков, позволяет сузить поиск.

Интересно, что для лучшего определения глубины изображения изобретению требуется наличие двух камер. Так совпало, что в прошлом году Apple представили новую модель Iphone 7 Plus, оснащенную как раз двумя камерами.

Apple также встроили функционал определения глубины изображения в флагманский айфон 7 плюс — это режим Portrait Mode, который, используя специальные алгоритмы компьютерного зрения и просчёта глубины сцены, создает серию слоев изображения. Этот режим автоматически повышает четкость слоя, на котором находится предмет съёмки, а остальные выборочно размывает.

Далее в патенте подробно рассматриваются процедуры распознавания, описания и идентификации объектов, а также примеры приложений, в которых это может быть полезно (как в упомянутой ранее программе-гиде). Кроме того, технология может использоваться и для навигации в закрытых пространствах.

Следующий патент под названием «Методы предоставления виртуальной информации в реальных условиях» тоже был разработан Metaio и рассказывает о способах пометки POI (Point Of Interest — дословно «точки интереса»: достопримечательности, магазины, заправки, рестораны и прочее) в условиях ДР. Также принимается во внимание вопрос вывода информации об объектах, которые могут находиться за каким-то барьером, например, внутри дома, за стенами.

Например, пользователь, смотря дополненную карту города на прозрачном дисплее (или на экране смартфона, транслирующем изображение с основной камеры), получает информацию о ближайших зданиях и местах. Стандартные системы ДР могут выводить текстовую и медиаинформацию прямо поверх объектов и таким образом перекрывая их.

Чтобы компенсировать недостатки системы компьютерного зрения, Apple предлагает использование геометрических моделей, чувствительных к глубине и расположению объекта, а также других технологий, которые обычно не рассматриваются в текущих решениях ДР.

Применение 2D и 3D моделей позволяют таким системам оценить точку наблюдения и дистанцию до POI, что помогает правильно визуализировать цифровой контент. Важно, что система также умеет вычислять луч между пользователем и объектом и, в зависимости от числа поверхностей, которые он пересекает, определять, находится ли объект внутри помещения или снаружи.

Опять же, данный патент опирается на двухкамерную систему просчета глубины сцены вокруг наблюдателя. Эта информация используется для создания более точной геометрической модели окружающего пространства, на которую будут накладываться виртуальные данные.

Точно неизвестно, планирует ли Apple встраивать в пользовательские устройства какие-нибудь наработки из указанных патентов, однако есть существенные основания полагать, что компания движется в сторону выпуска некоего вида системы дополненной реальности. Выход iPhone 7 Plus, оснащенного двумя камерами, похоже, является ключом к этой загадке, так как множество прошлых и текущих патентов базировались на технологии измерения глубины сцены для генерирования и показа виртуальных данных.


Подготовлено по материалам сайта www.appleinsider.com