Есть причина, по которой Пиксель 3 был признан лучшим телефоном с камерой. Google использует программные алгоритмы внутри своего пакета HDR + для обработки пикселей, а в сочетании с небольшим количеством машинного обучения, некоторые действительно впечатляющие фотографии могут быть получены с телефона, который может иметь стандартную оборудование.
Чтобы обработать эти алгоритмы, Google использовал специализированный процессор под названием Pixel Visual Core, чип, который мы впервые увидели в 2017 году с Pixel 2. В этом году похоже, что Google заменил Pixel VIsual Core на что-то, называемое Pixel Neural Core.
Google может использовать методы нейронной сети, чтобы делать фотографии на Pixel 4 еще лучше.
Оригинал Пиксельное визуальное ядро был разработан для поддержки алгоритмов обработки изображений Google HDR +, благодаря которым фотографии, сделанные на Pixel 2 и Pixel 3, выглядят великолепно. Он использовал машинное обучение и так называемую вычислительную фотографию, чтобы грамотно заполнить части фотографии, которые были не совсем идеальными. Эффект был действительно хорош; он позволяет телефону со стандартным сенсором камеры делать снимки так же хорошо или лучше, чем любой другой доступный телефон.
Verizon предлагает Pixel 4a всего за 10 долларов в месяц на новых безлимитных линиях
Если пиксельное нейронное ядро - это то, что мы считаем, Пиксель 4 снова будет бороться за первое место в области фотографии на смартфоны. Вот почему.
Нейронные сети
Похоже, что Google использует чип, смоделированный на основе технологии нейронной сети, для улучшения обработки изображений в своем телефоне Pixel на 2019 год. Нейронная сеть - это то, о чем вы, возможно, упоминали раз или два, но концепция не очень часто объясняется. Вместо этого это может показаться какой-то компьютерной чепухой уровня Google, напоминающей волшебство. Это не так, и идея нейронной сети на самом деле довольно проста для понимания.
Нейронные сети собирают и обрабатывают информацию так, как это делает человеческий мозг.
Нейронные сети - это группы алгоритмов, смоделированные по образцу человеческого мозга. Не то, как мозг выглядит или даже работает, а как он обрабатывает информацию. Нейронная сеть принимает сенсорные данные через так называемое машинное восприятие - данные, собираемые и передаваемые через внешние датчики, такие как датчик камеры, - и распознает закономерности.
Эти шаблоны представляют собой числа, называемые векторами. Все внешние данные из «реального» мира, включая изображения, звуки и текст, переводятся в вектор, классифицируются и каталогизируются как наборы данных. Думайте о нейронной сети как о дополнительном слое поверх вещей, хранящихся на компьютере или телефоне, и о том слое. содержит данные о том, что все это значит - как это выглядит, как звучит, о чем говорится и когда произошло. После создания каталога новые данные можно классифицировать и сравнивать с ними.
Пример из реальной жизни помогает понять все это. NVIDIA производит процессоры, которые очень хорошо работают с нейронными сетями. Компания потратила много времени сканирование и копирование фотографий кошек в сеть, и после завершения кластер компьютеров через нейронную сеть мог идентифицировать кошку на любой фотографии, на которой она была. Маленькие кошки, большие кошки, белые кошки, ситцевые кошки, даже горные львы или тигры были кошками, потому что в нейронной сети было так много данных о том, что «такое» кошка.
Имея в виду этот пример, нетрудно понять, почему Google захотел использовать эту мощь внутри телефона. Нейронное ядро, способное взаимодействовать с большим каталогом данных, сможет определить, что видит объектив вашей камеры, а затем решить, что делать. Возможно, данные о том, что он видит и чего ожидает, можно передать в алгоритм обработки изображений. Или, может быть, те же данные могут быть переданы Ассистенту для идентификации свитера или яблока. Или, может быть, вы могли бы переводить письменный текст даже быстрее и точнее, чем это делает сейчас Google.
Нетрудно предположить, что Google может разработать небольшой чип, который может взаимодействовать с нейронной сетью и процессором изображений внутри телефона, и легко понять, почему он хотел бы это сделать. Мы не совсем уверены, что такое пиксельное нейронное ядро и для чего оно может использоваться, но мы определенно узнаем больше, когда увидим телефон и фактические подробности, когда он будет «официально» объявлен.