Google раскрывает спецификации Project Starline и доказывает, что он лучше, чем Zoom

Источник: Google

Когда Google объявил Project Starline Вернувшись на Google I / O 2021 в мае, никто не питал иллюзий, что технология, лежащая в основе этого, проста. Новый белая бумага опубликовано исследованием Google, обнаружено 9to5Google, подробности просто как сложная технология на самом деле.

Все начинается с дизайна будки, которая похожа на привычную ресторанную будку и дает пользователям удобное место, где они могут сидеть, когда они встречаются или общаются с другими людьми удаленно. Google заявляет, что выбрал сидячую конструкцию в первую очередь для этой цели.

Поскольку комфорт был первостепенным для дизайна, Google решил разработать технологию, которая не требовала бы от пользователей ношения чего-либо - как любой из лучшие гарнитуры VR или 3D-очки - и при этом вы сможете максимально реалистично видеть и слышать собеседника.

Google также хотел, чтобы пользователи могли немного двигаться, вытягивать ноги и при этом полностью видеть человека на другом конце с головы до талии.

Google построил кабины Project Starline с возможностью отображения реалистичного трехмерного изображения человека на другом конце провода, в комплекте с возможность рассматривать их под разными углами, поддерживать зрительный контакт и даже слышать звук, как если бы он исходил из чужого рот.

Источник: Google

Для этого Project Starline записывает и отслеживает людей с помощью набора из трех «групп» - две расположены над дисплеем с левой и правой стороны, а одна по центру ниже дисплей - который содержит четыре синхронизированных монохромных камеры с разрешением 1280 × 1024, работающих с частотой 120 Гц, с фильтрами для блокировки ближнего инфракрасного света, чтобы дополнительная отображаемая информация не была выбрана ошибочно вверх.

Подумайте о том, как пульт Wii взбесился бы, когда солнечный свет залил комнату, и вы быстро поймете важность блокировки этого типа света.

Нижний модуль содержит дополнительную камеру RGB, которая фиксирует цвета, необходимые для правильной репликации человека в трехмерном пространстве. В этих модулях также есть четыре кардиоидных микрофона, которые помогают системе точно воспроизвести, откуда исходит звук, когда она в конечном итоге воссоздает человека на другом конце.

Источник: Google

Визуальная и звуковая информация, полученная с этих камер, затем отображается на ПК Lenovo P920 с четырьмя графическими процессорами - это два графических процессора NVIDIA Quadro RTX 6000 и два графических процессора NVIDIA GeForce Titan RTX, которые затем отправляются через Интернет через WebRTC. По сути, составное изображение создается с использованием всех изображений модулей, объединенных в один большой кусок.

3D-рендеринг человека, сидящего в кабине Project Starline, позволяет Google не только отправлять изображение более высокого качества, чем может быть доставлено с помощью 2D-видео. вы найдете в Zoom, Skype или FaceTime, но он также дает возможность перемещать и вращать 3D-модель, чтобы создать иллюзию трехмерного человека, сидящего перед ты.

Этот дисплей представляет собой изготовленную на заказ 65-дюймовую 8K-панель со стереоскопическими линзами, которые, по крайней мере, имеют мимолетное сходство с дисплеем Nintendo 3DS, в котором используется барьер параллакса. В отличие от барьера параллакса, у которого есть небольшая "зона наилучшего восприятия", где создается трехмерное изображение, линзы в Project Starline используются для отправки разных изображений в каждый глаз, воссоздавая трехмерное зрение в совершенно естественном виде. способ.

Можно утверждать, что VR может создать аналогичный опыт во многих отношениях, но Google отмечает, что существующие гарнитуры VR не имеют достаточно широкого поля зрения и имеют проблемы с правильным воссозданием лица, поскольку гарнитура VR блокирует довольно много его при ношении.

Источник: Google

Задержка и другие распространенные проблемы, которые все еще мешают интернет-коммуникациям, также могут повлиять на Starline a. немного, но похоже, что он может работать лучше, чем то, что мы ожидаем от текущего 2D-видео. решения.

Project Starline использовался Google по многим причинам, включая встречи и встречи, но это Неясно, насколько широко будет использоваться Starline в офисах или других коммерческих помещениях в будущем. А пока посмотрите исходное видео-объявление Google ниже, чтобы увидеть его в действии.