Как портретный режим нового iPhone SE пытается превзойти Google Pixel

Источник: Алекс Доби / Android Central

Не секрет что Телефоны Google Pixel у них были одни из лучших камер, которые вы найдете на любом телефоне, хотя у большинства из них только один объектив. Они полагаются на магию программного обеспечения, чтобы превратить то, что видит камера, в отличную фотографию, а такие эффекты, как портретный режим или ночное прицеливание, продвигают это программное обеспечение еще дальше. В этом есть смысл - в конце концов, Google - это прежде всего компания-разработчик программного обеспечения.

Apple производит оборудование и продает его людям. Google в основном создает алгоритмы.

Apple не является в первую очередь компанией-разработчиком программного обеспечения, по крайней мере, не так, как Google. Apple больше похожа на Samsung и создает продукты, которые люди хотят покупать, не думая о программном обеспечении внутри них. Но, как и у Samsung, у Apple сильная камера. Очень сильный. Подборка фотографий с iPhone 11 показывает, насколько хорошими могут быть камеры Apple.

И тогда у нас есть новый iPhone SE. Будем откровенны - это iPhone 8 с лучшим чипсетом. Это неплохо, но это означает, что есть только одна камера для съемки. Так чем же они хороши, особенно портреты? И прежде чем вы это скажете, они хороши. Хотя бы портреты людей, о которых мы немного расскажем. Машинное обучение, вот почему.

Этот новый чип

Источник: iMore

В Процессор A13 Bionic внутри iPhone SE тот же процессор, что и в iPhone 11 серии. Это последняя разработка от Apple, и она действительно хороша во многих вещах - машинное обучение является одной из таких вещей благодаря автономному нейронному движку с собственным микропроцессором.

Благодаря этому оборудованию Apple смогла включить то, что она называет "Оценка глубины монокуляра одиночного изображения"Это очень сложный способ сказать, что он может снимать портретные фотографии только с данными изображения, которые может захватить одна камера. В самом деле. Нет датчика времени полета или LiDAR или любые другие уловки, которые упростят захват глубины, всего лишь один объектив камеры.

Подробнее: Что такое времяпролетная камера и как она работает?

Если это звучит немного знакомо, это потому, что Google уже несколько лет делает что-то очень похожее с «простым» программным обеспечением для своих телефонов Pixel. Как это работает, действительно здорово.

Машинное обучение - это широкий термин, который может охватывать множество вещей. В случае получения данных о глубине с одного объектива он использует нейронную сеть для сбора данных, чтобы знать, как должны выглядеть вещи - в случае с iPhone SE, пока только люди. Вы скармливаете большому компьютеру тысячи и тысячи фотографий людей, и он начинает находить закономерности. Например, как обычно имеют форму глаз или что у волос не идеально ровный контур.

Этот компьютер обрабатывает все данные и теперь «узнал», что такое человек, и может отделить человека от его окружения. Часть программного обеспечения, которое может это сделать, требует некоторого места для жизни, но, что более важно, ему нужна вычислительная мощность для выполнения своей процедуры всякий раз, когда вы просите его об этом.

Машины не могут учиться, но они могут распознавать закономерности, если им передано достаточно данных.

Именно здесь в игру вступает специальный процессор машинного обучения в A13 Bionic. Подобно специализированным движкам камеры Pixel - Pixel Visual Core и новее Google Neural Core - специальный чип для обработки функций машинного обучения уже готов. Когда вы говорите камере iPhone SE сделать портретную фотографию, нейронный процессор срабатывает и находит человека в объектив камеры и передает данные в процессор, который превращает то, что видит камера, в фотография.

В остальном все довольно просто. Части фотографии, на которых не изображен человек, получают небольшое размытие, а части фотографии - немного резкость. Это не идеально, и любой телефон с двумя объективами может передать больше данных в нейронный движок и создать гораздо более качественную фотографию, но в большинстве случаев портретная фотография выглядит действительно хорошо.

Пока только люди

Источник: iMore

Короткий ответ - потому что это все, что Apple «научила» чип обрабатывать прямо сейчас. Очертание человека создается как карта глубины, которая очень детализирована и имеет очень четко очерченные края. Apple могла бы решить обучить нейронный движок кактусам, бутылкам или собакам, но люди - это то, что мы делаем больше всего, так что с этого все и начинается.

«Научить» нейронную сеть тому, как выглядит человек, лучше, чем научить ее, как выглядит золотая рыбка, если фотография является конечной целью.

Но Apple также представила карту глубины (как фоновые данные, так и данные о людях) в качестве API для разработчиков. Это означает, что сторонние приложения для камеры могут использовать портретный режим так же, как камера Pixel. Просто выберите точку фокусировки и сделайте снимок, и камера постарается получить информацию о глубине, основываясь на контуре того, что она может видеть.

Он будет хорош в одних вещах и не очень хорош в других, потому что не существует выученного алгоритма, подобного тому, который используется для людей. Но он по-прежнему должен быть достаточно способным снимать аккуратные портретные эффекты других вещей и делать их хорошо. Мы видели, как телефоны Pixel становились все лучше и лучше с каждой итерацией, поэтому знаем, что это возможно.

Apple, вероятно, не собирается выпускать еще один телефон с одним объективом камеры, как и Google. Но дайте алгоритмам Apple несколько лет, и iPhone SE сможет делать портретные фотографии так же хорошо или лучше, чем любой телефон Pixel с одной камерой когда-либо. И, как и Pixel, он может использовать полученные знания в сочетании с удвоением данных от двойного объектива камеры и дать этой камере Pixel серьезный шанс за свои деньги.

Что дальше у Apple и Google?

Источник: Рене Ричи / iMore

Все больше и больше тех же программных инноваций, вот что.

В Пиксель 4 и iPhone 11 Pro показывают нам, на что способна каждая компания, используя эти сверхсложные алгоритмы в тандем с мультиобъективной камерой, и это огромное улучшение по сравнению с тем, что каждая компания предлагала в мимо. Когда у вас вдвое больше данных для работы и вы научились собирать верно data, вы можете по-настоящему здорово поработать, когда дело доходит до создания камеры.

Но это не значит, что ни одна из компаний перестанет заботиться об однообъективной камере. Мы знаем Pixel 4a приближается, и у него будет только одна камера сзади, и если слухи о iPhone SE + 2020 действительно появятся, ожидайте, что это будет переработка iPhone 8+ только с одним объективом. Не говоря уже о миллионах и миллионах селфи, сделанных каждый день с помощью однообъективной камеры.

Инженеры-программисты и специалисты по машинному зрению в обеих компаниях постараются извлечь все, что они могут, из двойных данных. объективы могут собирать и видеть, как это может быть преобразовано в алгоритмы, которые делают камеры iPhone SE и Pixel 4a (предположительно) так чертовски хорошо. И они узнают новое о сборе света со всеми этими данными.

Каждое обновление ОС будет делать камеры лучше, а также улучшать фронтальные камеры. Не ждите настоящих чудес, но через три года результаты должны быть отличными!