Cómo el modo retrato del nuevo iPhone SE intenta superar a Google el Pixel

Fuente: Alex Dobie / Android Central

No es ningún secreto que Teléfonos Pixel de Google he tenido algunas de las mejores cámaras que encontrarás en cualquier teléfono, aunque la mayoría de ellas solo tienen una lente de cámara. Dependen de la magia del software para convertir lo que ve la cámara en una gran foto, y los efectos como el modo retrato o la vista nocturna llevan ese software aún más lejos. Tiene sentido: después de todo, Google es principalmente una empresa de software.

Apple fabrica hardware y lo vende a la gente. Google principalmente hace algoritmos.

Apple no es principalmente una empresa de software, al menos no de la misma forma que lo es Google. Apple se parece más a Samsung y crea productos que la gente quiere comprar sin pensar en el software que contienen. Pero al igual que Samsung, el juego de cámara de Apple es fuerte. Muy fuerte. Una muestra de fotos desde el iPhone 11 muestra lo buenas que pueden ser las cámaras de Apple.

Y luego tenemos el nuevo iPhone SE. Seamos francos, es un iPhone 8 con un mejor chipset. Eso no es malo, pero significa que solo hay una cámara para tomar fotografías. Entonces, ¿por qué son tan buenos, especialmente los retratos? Y antes de que lo digas, están bien. Al menos retratos de personas, que explicaremos a continuación. Aprendizaje automático, por eso.

Ese nuevo chip

Fuente: iMore

los Procesador A13 Bionic dentro del iPhone SE es el mismo procesador que encontrarás en la serie iPhone 11. Es lo último de Apple y es realmente bueno en muchas cosas; el aprendizaje automático es una de esas cosas gracias a un motor neuronal independiente completo con su propio microprocesador.

Gracias a este hardware, Apple pudo incluir lo que llama "Estimación de la profundidad monocular de una sola imagen"que es una forma muy compleja de decir que puede tomar fotografías de retratos con solo los datos de imagen que una cámara puede capturar. De Verdad. No hay sensor de tiempo de vuelo o LiDAR o cualquiera de los otros trucos que facilitarían la captura de profundidad, solo el objetivo de una cámara.

Más: ¿Qué es una cámara Time-of-Flight y cómo funciona?

Si esto suena un poco familiar, es porque Google ha estado haciendo algo muy similar con "solo" software durante algunos años en sus teléfonos Pixel. Cómo funciona es realmente genial.

El aprendizaje automático es un término amplio que puede abarcar muchas cosas. En el caso de obtener datos de profundidad de una sola lente, se usa una red neuronal para recopilar datos, de modo que sepa cómo deberían verse las cosas, en el caso del iPhone SE, solo las personas por ahora. Alimenta a una gran computadora con miles y miles de fotos de personas y comienza a encontrar patrones. Cosas como la forma general de los ojos o cómo el cabello no tiene un contorno perfectamente liso.

Esa computadora procesa todos los datos y ahora ha "aprendido" lo que es una persona y puede separar a una persona de sus antecedentes. La parte del software que puede hacer esto necesita algo de espacio para vivir, pero lo que es más importante, necesita poder de procesamiento para ejecutar su rutina cada vez que le pida que lo haga.

Las máquinas no pueden aprender, pero pueden reconocer patrones si reciben suficientes datos.

Ahí es donde entra en juego el procesador de aprendizaje automático dedicado en el A13 Bionic. Al igual que los motores de cámara dedicados de Pixel: Pixel Visual Core y el más nuevo Núcleo neuronal de Google - un chip dedicado para procesar funciones de aprendizaje automático está ahí y listo. Cuando le dice a la cámara del iPhone SE que tome una foto de retrato, el procesador neuronal se activa y encuentra la persona en la lente de la cámara y alimenta datos al procesador que convierte lo que ve la cámara en un fotografía.

El resto es bastante sencillo. Las partes de la foto que no son una persona se difuminan ligeramente y las partes que son una persona se afilan ligeramente. No es perfecto, y cualquier teléfono con dos lentes podría enviar más datos al motor neuronal y crear una foto mucho mejor, pero la mayoría de las veces la foto de retrato se ve realmente bien.

Solo gente por ahora

Fuente: iMore

Respuesta corta: porque eso es todo lo que Apple ha "enseñado" al chip a procesar en este momento. El contorno de una persona se crea como un mapa de profundidad muy detallado y con un borde muy bien definido. Apple podría haber decidido enseñarle al motor neuronal sobre cactus, botellas o perros, pero las personas son a quienes tomamos más fotos, así que ahí es donde comienzan las cosas.

"Enseñar" a una red neuronal cómo se ve una persona es mejor que enseñarle cómo se ve un pez dorado si la fotografía es el objetivo final.

Pero Apple también expuso el mapa de profundidad (tanto datos de fondo como datos de "personas") como una API para desarrolladores. Eso significa que las aplicaciones de cámara de terceros pueden usar el modo retrato al igual que la cámara Pixel. Simplemente elija un punto focal y tome una foto, y la cámara hará todo lo posible para obtener información de profundidad basada en el contorno de lo que puede ver.

Va a ser bueno en algunas cosas y no tan bueno en otras porque no hay un algoritmo aprendido como el que se usa para las personas. Pero aún debería ser bastante capaz de tomar efectos de retrato prolijos de otras cosas y hacer que salgan bien. Hemos visto cómo los teléfonos Pixel mejoraron cada vez más con cada iteración, por lo que sabemos que es posible.

Apple probablemente no lanzará otro teléfono con una sola lente de cámara y tampoco lo hará Google. Pero si se dan unos años a los algoritmos de Apple, el iPhone SE podría tomar fotografías de retratos tan buenas o mejores que cualquier teléfono Pixel con una sola cámara. Y al igual que el Pixel, puede usar lo que ha aprendido combinado con el doble de datos del doble de las lentes de la cámara y darle a esa cámara Pixel una carrera seria por su dinero.

¿Qué sigue para Apple y Google?

Fuente: Rene Ritchie / iMore

Más y más de las mismas innovaciones de software, eso es.

los Pixel 4 y el iPhone 11 Pro nos muestran lo que cada empresa puede hacer cuando utiliza estos algoritmos súper complicados en tándem con una cámara de lentes múltiples, y es una gran mejora en comparación con lo que cada empresa ha ofrecido en el pasado. Cuando tenga el doble de datos para trabajar y haya perfeccionado cómo recopilar Correcto datos, puede hacer un gran trabajo cuando se trata de construir una cámara.

Pero eso no significa que ninguna de las empresas vaya a dejar de preocuparse por una cámara de un solo objetivo. Conocemos el Pixel 4a está por llegar y solo tendrá una cámara en la parte posterior, y si el rumoreado iPhone SE + 2020 realmente sucede, espere que sea un refrito de iPhone 8+ con solo una lente. Sin mencionar los millones y millones de selfies que se toman todos los días con un sistema de cámara de un solo objetivo.

Los ingenieros de software y los especialistas en visión artificial de ambas empresas intentarán aprender todo lo que puedan de los dos "datos dobles" Los lentes pueden recopilar y ver cómo se puede trabajar en los algoritmos que hacen que las cámaras iPhone SE y Pixel 4a (presumiblemente) malditamente bueno. Y descubrirán cosas nuevas sobre la recolección de luz con todos esos datos.

Cada actualización del sistema operativo mejorará las cámaras y también traerá mejoras a las cámaras frontales. No espere milagros reales, ¡pero los resultados dentro de tres años deberían ser bastante buenos!