Введение в XR: AR, VR, MR

Apple Vision Pro: 23 миллиона пикселей - больше, чем один 4K-экран на каждый глаз. 12 камер, 5 сенсоров, два чипа M2 и R1 специально для обработки видеопотока. Почему R1 обрабатывает кадры за 12 мс? Потому что motion-to-photon latency выше 20 мс вызывает VR sickness у 40% пользователей. Meta Quest 2 разошёлся тиражом 20+ миллионов единиц. Хирурги в Cedars-Sinai уже выполняют операции с AR-оверлеем МРТ прямо поверх тела пациента. XR - это не будущее. Это инфраструктура, которая строится прямо сейчас.

• **Медицина:** хирурги в Cedars-Sinai (Лос-Анджелес) используют AR-навигацию во время операций на позвоночнике - точность позиционирования инструмента улучшается на 40% по сравнению с традиционной флюороскопией
• **Обучение:** армия США использует HoloLens 2 для тактических тренировок, Boeing - для сборки проводки самолётов (время сборки -25%, ошибки -40%)
• **VR-терапия:** протокол Bravemind (USC Institute) лечит ПТСР у ветеранов через экспозиционную терапию в VR - одобрен FDA для клинического применения
• **Потребительский рынок:** Meta Quest 2 - 20M+ продаж, Beat Saber - первая VR-игра с оборотом свыше 100 миллионов долларов, рынок XR к 2030 году - 1.7 триллиона долларов по прогнозу Goldman Sachs

Augmented Reality: цифровой слой поверх реальности

Июль 2016 года. Нью-Йоркский Центральный парк в 2 часа ночи - сотни людей с фонарями на смартфонах охотятся за редким покемоном. **Pokemon Go** скачали 500 миллионов раз за два месяца. Это стало первым массовым знакомством человечества с Augmented Reality - технологией наложения цифровых объектов на реальный мир.

**Augmented Reality (AR)** добавляет виртуальные элементы (изображения, 3D-модели, текст, звук) в восприятие реального мира. Ключевое слово - «дополняет». Реальность остаётся базовой - цифровые объекты появляются поверх неё, не заменяя её.

**Три обязательных свойства AR** (по определению Рональда Азумы, 1997): 1) Совмещение реального и виртуального. 2) Взаимодействие в реальном времени. 3) Привязка к 3D-пространству (виртуальные объекты «знают» своё место в мире).

Современный AR работает на двух типах устройств: **смартфоны/планшеты** (video see-through AR - камера снимает мир, результат с наложением отображается на экране) и **AR-очки** (optical see-through AR - цифровое изображение проецируется на прозрачные линзы). Смартфонный AR доступен 3+ миллиардам людей уже сейчас. Очки дают более естественный опыт - руки свободны, нет экрана между глазами и миром.

Virtual Reality: полное погружение

AR добавляет цифровое **поверх** реального. **Virtual Reality (VR)** делает радикальный шаг - полностью заменяет реальность на цифровую. Apple Vision Pro: 23 миллиона пикселей, обработка за 12 мс. Надев шлем, перестаёшь видеть комнату. Оказываешься на краю вулкана, в открытом космосе или внутри молекулы ДНК.

**Главная цель VR - presence** (ощущение присутствия). Момент, когда мозг «забывает» о шлеме и реагирует на виртуальный мир как на настоящий. Люди инстинктивно уклоняются от летящих в них виртуальных объектов и боятся виртуальной высоты - это не баг, это маркер того, что presence достигнут.

Два приёма создают иллюзию погружения. **Стереоскопия**: два экрана с чуть разными изображениями имитируют бинокулярное зрение мозга. **Head tracking**: поворот головы - виртуальный мир поворачивается синхронно. Именно поэтому latency обработки кадра критична: Vision Pro держит 12 мс, Meta Quest 3 - ~13 мс. Выше 20 мс - motion sickness у 40% пользователей.

**Разница между 3DoF и 6DoF принципиальна.** 3DoF: только вращение головы - как сидеть в кресле и смотреть вокруг. 6DoF: ещё и перемещение - подойти к виртуальному столу, наклониться, присесть. Именно 6DoF превращает VR из «панорамного просмотра» в полноценную среду, где можно существовать. Google Cardboard дал 3DoF за 15 долларов. Meta Quest 3 даёт 6DoF автономно без PC.

**Motion sickness (укачивание) в VR** - серьёзная проблема. Возникает, когда глаза видят движение, а вестибулярный аппарат его не ощущает. До 40% пользователей испытывают дискомфорт в первых VR-сессиях. Поэтому стабильные 90 FPS - абсолютный минимум для комфортного VR.

Mixed Reality: слияние миров

AR добавляет цифровое поверх реального. VR заменяет реальное цифровым. **Mixed Reality (MR)** - третий путь: виртуальные объекты **взаимодействуют** с реальными. Виртуальный мяч отскакивает от настоящего стола. Цифровой персонаж прячется за настоящим диваном. Хирург видит МРТ-снимок, наложенный на тело пациента с точностью до миллиметра.

**Ключевое отличие MR от AR**: в AR цифровые объекты «парят» поверх реальности. В MR они **понимают** физический мир - знают, где стены, пол, мебель - и реагируют на них физически. MR-объект лежит на столе и остаётся там, даже если обойти стол - потому что устройство отслеживает геометрию комнаты в реальном времени.

Для работы MR устройство строит **spatial map** (пространственную карту) окружения. Камеры и depth-сенсоры сканируют комнату, создавая 3D-mesh поверхностей. HoloLens 2 делает это через time-of-flight камеры, Apple Vision Pro - через LiDAR и структурированный свет. Именно эта карта позволяет виртуальному объекту «лечь» на конкретный реальный стол.

**Spatial anchors** - фундамент MR. Виртуальная «ваза» поставлена на стол, шлем снят, через час надет снова - ваза стоит на том же месте. Устройство распознаёт окружение через feature points и восстанавливает привязки. Именно поэтому хирургический AR-дисплей не смещается при движении головы врача - якорь привязан к маркеру на теле пациента.

XR-спектр: Reality-Virtuality Continuum

Pokemon Go - AR. Apple Vision Pro - одновременно AR, VR и MR в зависимости от режима. VR-тренажёр пилота - чистый VR. Хирургический дисплей AccuVein - ближе к MR. Все эти технологии кажутся разными, но это точки на одном спектре. В 1994 году Пол Милгрэм формализовал это в единый фреймворк: **Reality-Virtuality Continuum**.

**XR (Extended Reality)** - зонтичный термин для всего спектра. AR, VR, MR - подмножества XR. Именно поэтому Apple называет Vision Pro «устройством пространственных вычислений» (spatial computing) - это честнее, чем AR или VR, потому что устройство существует в разных точках спектра одновременно.

**Augmented Virtuality (AV)** - менее известная, но важная точка спектра. Это виртуальный мир, в который добавлены элементы реального. Пример: вы в VR-игре, но видите контуры своих настоящих рук или реальную мебель, чтобы не споткнуться. Passthrough-режим Quest 3 и Vision Pro работает именно так.

Границы между точками спектра **размываются**. Один и тот же Vision Pro - AR (прозрачные окна в реальном мире), VR (полное погружение), MR (виртуальный объект лежит на конкретном столе). Устройство переключается между режимами. Вот почему жёсткая классификация устарела - важнее понять, какую точку спектра решение занимает в конкретный момент.

Pokemon Go из начала урока - чистый AR: реальный мир остаётся базовым, покемоны добавляются поверх. AccuVein ближе к MR: проекция вен должна точно соответствовать анатомии пациента, а значит нужен spatial mapping и якорение к телу. Весь XR-спектр - единая шкала «сколько реальности vs. виртуальности». Технология выбирается под задачу.

Ключевые идеи

• **AR** дополняет реальный мир цифровым (Pokemon Go, AccuVein, IKEA Place) - реальность остаётся базовой, три обязательных свойства по Азуме 1997
• **VR** заменяет реальность цифровой полностью - presence как цель, latency < 20 мс как инженерное требование, 6DoF как условие глубокого погружения
• **MR** = spatial mapping + spatial anchors: виртуальные объекты понимают геометрию комнаты и физически взаимодействуют с реальными поверхностями
• **Reality-Virtuality Continuum** (Милгрэм, 1994) - единый спектр от полностью реального до полностью виртуального; XR - зонтичный термин для всего спектра
• **Технология выбирается под задачу**: обучение в опасных условиях - VR, навигация при операции - MR/AR, примерка мебели - смартфонный AR

Связанные темы

XR-технологии опираются на фундамент из оптики, трекинга и компьютерного зрения:

• Оптика и дисплеи — Как линзы, FoV и разрешение создают визуальную иллюзию в XR-устройствах
• Трекинг: 6DoF — Как устройство определяет положение и движение пользователя в пространстве

Вопросы для размышления

• Представьте, что вам нужно обучить хирурга сложной операции. Какую XR-технологию вы бы выбрали (AR, VR или MR) и почему?
• Почему Apple избегает терминов AR/VR и называет Vision Pro устройством «пространственных вычислений»? Какую проблему классификации это решает?
• Где на спектре Милгрэма находится видеозвонок с AR-фильтрами (например, виртуальный фон в Zoom)?

Связанные уроки

• cg-01 — AR/VR строится на computer graphics: рендеринг, шейдеры, трансформации - обязательный фундамент
• cv-01 — Computer vision в AR отвечает за трекинг, SLAM, распознавание маркеров и plane detection
• dsp-01 — DSP используется в spatial audio (binaural) и обработке данных с IMU/акселерометра