Преимущества отслеживания рук и глаз XR
От присутствия к производительности: как отслеживание рук и глаз XR улучшает виртуальные рабочие пространства
Во всем мире компании осознают преимущества иммерсивных технологий на предприятии. Команды используют цифровых двойников для повышения инноваций и эффективности и обращаются к гарнитурам XR и метавселенной для обучения, совместной работы и улучшения гибридного рабочего места. Технологии отслеживания рук и глаз XR становятся все более ценными для этого последнего варианта использования.
Датчики, отслеживающие движения глаз, рук и тела, а также окружение, не просто упрощают для специалистов взаимодействие с цифровым контентом без контроллеров. Они помогают сделать виртуальное сотрудничество более ярким, реалистичным и невероятным.
Решения для отслеживания пользователей даже помогают компаниям получить доступ к новым идеям о том, как они могут улучшить взаимодействие, трансформировать опыт обучения и оптимизировать процессы в XR. Вот как решения для отслеживания рук и глаз XR меняют рабочее место.
Преимущества технологии отслеживания рук и глаз XR
Поскольку рабочее место становится более «распределенным», устройства XR стали лучшим способом преодоления разрывов между командами. В расширенной реальности люди могут взаимодействовать лицом к лицу (или аватар с аватаром) со своими коллегами, создавать 3D-прототипы и даже погружаться в возможности для сплочения команды.
Это совсем не похоже на простое подключение к собранию в Microsoft Teams или работу над облачным документом одновременно с коллегой. Но в прошлом были препятствия для полного погружения. Использование неуклюжего контроллера для навигации по прототипу или аннотирования документа не кажется естественным.
К счастью, рост пространственных вычислительных решений в сочетании с отслеживанием глаз и рук, отслеживанием движения и даже тактильными датчиками меняет правила игры.
Эти решения позволяют командам по-настоящему работать вместе, как будто они находятся в одном физическом пространстве, повышая точность, эффективность и сплоченность команды.
Вот как технология отслеживания рук и глаз XR меняет ситуацию:
1. Улучшение коммуникации
Большая часть человеческого общения невербальная. Мы полагаемся на язык тела, выражения лица и жесты, чтобы «связаться». Но большинство традиционных инструментов коммуникации для удаленных команд улавливают лишь часть этих сигналов. Решения для отслеживания рук и глаз XR позволяют аватарам виртуально воспроизводить реальные человеческие характеристики, уменьшая недопонимание.
В таких приложениях, как Microsoft Teams Immersive, люди могут общаться с помощью живых реакций, махать коллеге или показывать ему большой палец вверх, не нажимая кнопку контроллера. В сеансах совместной работы датчики отслеживания глаз также могут точно определять, куда смотрит человек, увеличивать детали и повышать ясность.
Решения для отслеживания также могут предоставлять компаниям данные, которые они могут использовать для улучшения рабочих процессов коммуникации. Например, компании могут использовать интеллектуальные инструменты для отслеживания того, когда участники встречи проявляют разочарование или замешательство, выявляя возможные препятствия, которые необходимо преодолеть.
2. Оптимизация совместной работы с помощью отслеживания рук и глаз XR
Одним из самых больших преимуществ улучшенного отслеживания рук и глаз XR в виртуальном рабочем пространстве, а также всех форм отслеживания в этом отношении, является возможность улучшить совместную работу. Например, в обрабатывающей промышленности датчики глубины, инструменты пространственного картирования и решения для отслеживания рук и глаз позволяют компаниям работать вместе в средах «цифровых двойников» над проектами прототипирования.
Конструкторы транспортных средств могут дотягиваться и взаимодействовать с виртуальными чертежами, изменять форму 3D-объекта руками или изменять положение компонентов в реальном времени. Добавьте тактильную обратную связь, и они смогут фактически почувствовать вес этих компонентов в своих руках.
Благодаря расширенному отслеживанию глаз один лишь взгляд пользователя может управлять опциями меню или выделять функцию для группы. Отличным примером является компания Siemens, которая в партнерстве с BILT создала интеллектуальные 3D-инструкции для гарнитуры Vision Pro, которая позволяет работникам вращать, масштабировать и аннотировать цифровых двойников с помощью возможностей отслеживания рук и глаз.
Когда у нескольких удаленных пользователей есть собственные отслеживаемые, реалистичные аватары, проект становится групповым усилием — каждый может одновременно «прикоснуться» к модели и работать вместе над решением проблем и ускорением инноваций.
3. Укрепление командных связей и инклюзивности
Самое замечательное в гибридной и удаленной работе — это то, что она открывает двери для более глобальных и разнообразных команд. Однако многие сотрудники за пределами офиса могут чувствовать себя оторванными от своих коллег и даже клиентов, которых они поддерживают.
Отслеживание глаз и рук в формате XR может помочь. Такая простая вещь, как зрительный контакт между аватарами, может сильно повлиять на то, насколько «реальной» будет виртуальная встреча. Когда ваш аватар смотрит на аватар товарища по команде во время его речи, это способствует возникновению нематериального чувства того, что вас слышат и признают. Жесты рук и поза также становятся на удивление важными. Приветственное помахивание рукой, поворот к кому-то или наклон вперед с любопытством — все это может заставить удаленных сотрудников почувствовать себя по-настоящему «в комнате».
Эксперимент метавселенной Nth floor компании Accenture — отличный пример того, как «отслеживание» помогает объединять пользователей и укреплять связи между командами, помогая сотрудникам более органично взаимодействовать в виртуальной среде. Пространство метавселенной создало более сильное чувство «совместного присутствия» среди работников, разбросанных по континентам, что укрепляет внутренние связи.
4. Повышение эффективности и производительности
Технологии отслеживания рук и глаз XR не просто помогают воспроизводить «реальный» командный опыт — они улучшают наше взаимодействие.
Поскольку все связано в цифровом формате, команды могут получать доступ к глобальным ресурсам, переключаться между задачами или собирать аналитику по взаимодействиям пользователей в режиме реального времени, что приводит к ощутимому повышению эффективности и производительности. За считанные секунды сотрудник, использующий иммерсивные пространства Microsoft Teams с гарнитурой Meta Quest, может загрузить презентацию и начать писать на виртуальной доске с помощью цифрового стилуса.
Поскольку инструменты отслеживания устраняют необходимость в традиционных контроллерах, они также обеспечивают большую точность во взаимодействии. Например, посмотрите на сварочный тренажер WELES, разработанный Flint Systems в партнерстве с HTC VIVE.
Разработанный для эффективного обучения сварщиков в компактном пространстве, симулятор использует высокоточное отслеживание для измерения каждого движения рук пользователя. Обучающиеся отрабатывают задачи с реальной точностью, в то время как данные «на глаз» гарантируют, что они сосредотачивают внимание на важных областях во время процесса сварки. Эта система не только помогла улучшить обучение, но и помогла добиться персоналу большего эффекта и точности.
5. Раскрытие бизнес-информации с помощью отслеживания рук и глаз XR
Помимо предоставления немедленных преимуществ для повседневной работы, отслеживание рук и глаз XR также помогает компаниям получать много полезной информации. Например, мониторинг движений глаз может показать, какие части учебной симуляции привлекают наибольшее внимание, в то время как шаблоны жестов рук могут подчеркнуть мастерство или замешательство пользователя во время сложного процесса.
Для менеджеров и инструкторов эти данные могут быть полезны. Они могут помочь компаниям количественно оценить вовлеченность и производительность на виртуальных встречах и учебных сессиях, помочь компаниям разработать более персонализированный опыт для разных членов команды и многое другое.
Решения для отслеживания могут даже помочь во взаимодействии с клиентами, предоставляя информацию о том, какие функции продукта вызывают наибольший интерес или когда настроения клиентов меняются. Некоторые компании даже экспериментируют с устройствами, которые собирают еще более ценную информацию, например, информацию об уровнях стресса на основе частоты сердечных сокращений человека.
AI и XR-отслеживание рук и глаз
Технологии XR-отслеживания рук и глаз не являются чем-то совершенно новым. Такие компании, как Meta, Apple и HTC VIVE, экспериментируют с этими решениями уже много лет. Еще предстоит проделать большую работу, чтобы сделать эти решения по-настоящему невероятными, но мы уже добиваемся прогресса.
Датчики становятся все более совершенными, и искусственный интеллект вмешивается, чтобы заполнить некоторые из дополнительных пробелов. Например, алгоритмы ИИ, оснащенные инструментами XR, которые обладают возможностями отслеживания, могут предсказать следующее вероятное движение пользователя на основе исторических закономерностей.
Например, если вы начали поднимать руку, предиктивная модель системы может виртуально продолжить это движение, даже если ваша рука ненадолго исчезнет из поля зрения камеры. Это значительно снижает появление задержек или «сбойных» движений аватара. ИИ также может объединять потоки данных с нескольких датчиков, таких как камеры глубины, инерционные измерительные блоки и трекеры глаз, чтобы создать более связное представление о позе и жестах пользователя.
ИИ может помочь интерпретировать данные отслеживания глаз для более глубокого понимания. Модели машинного обучения могут определять закономерности во взгляде пользователя, например, привычный пропуск важных подсказок интерфейса, и генерировать подталкивания в реальном времени, чтобы направлять его. В сценариях обучения ИИ может регулировать уровень сложности на лету в зависимости от того, как быстро глаза человека переключаются между различными задачами.
Улучшение виртуальных рабочих пространств с помощью расширенного отслеживания
Возможности отслеживания рук и глаз XR более эффективны в корпоративной среде, чем вы могли бы подумать. Улавливая нюансы движений глаз, тела и рук, эти технологии улучшают коммуникацию, делая совместные сеансы более естественными и повышая эффективность.
С новыми инновациями, постоянно появляющимися в сенсорных технологиях и аналитических решениях ИИ, потенциал технологии отслеживания рук и глаз будет только расти. Кроме того, решения тактильной обратной связи также помогут улучшить эти технологии, создавая еще более глубокое чувство погружения.
