Así es como Qualcomm planea cambiar la fotografía móvil para siempre

La fotografía con teléfonos inteligentes realmente ha recorrido un largo camino en los últimos años, pero el video no necesariamente ha avanzado tanto. Tenemos video de 8K, por ejemplo, lo cual es genial, pero la tasa de bits aún es bastante limitada, por supuesto, porque estamos trabajando con hardware limitado. ¿Hay algún tipo de gran paso adelante que podamos esperar en el lado del video en particular?

Heape: El video es mucho más desafiante debido a las velocidades de datos y las resoluciones que pasan por el ISP (procesador de señal de imagen). Para Instantánea, por supuesto, siempre puede procesar cosas en segundo plano o tener un poco de latencia hasta que la foto aparece en la galería, pero con el video tienes plazos de tiempo realmente estrictos que debes cumplir para cada cuadro. Es importante que el video se haga en hardware y que esté optimizado para la energía para que el teléfono no se derrita en tu mano cuando intentas grabar un video 8K30, por ejemplo.

Anteriormente hablé sobre la fusión de tres cámaras, donde puede hacer zoom sin problemas de ultra gran angular a gran angular y telefoto. Eso se mejorará para que sea mucho más suave y fácil de controlar en futuras revisiones. Por supuesto, también queremos hacer mucho trabajo para mejorar la experiencia HDR en video para que todo el sistema pueda utilizar la innovaciones que están surgiendo en los sensores de imagen para hacer HDR cuádruple basado en CFA (matriz de filtros de color), HDR escalonado, fotograma múltiple HDR... esas son características realmente agradables que no solo afectan la calidad de las instantáneas, sino también la transmisión de video grabado y el visor.

En términos de procesamiento de píxeles, también dedicaremos más hardware al video en el futuro. En el pasado, hemos hecho cosas como la compensación de movimiento local para que pueda manejar el ruido, no solo con paneo y objetos en movimiento global, pero también con objetos que se mueven localmente dentro del cuadro. También estamos aprovechando nuestros motores de profundidad y movimiento para hacer cosas como bokeh en video, que se pueden hacer en cualquier resolución, y en un futuro más lejano, buscaremos comprender el contenido de un video y lo que cada pixel es.

Mencioné esto antes cuando Morpho hablaba de segmentación semántica; cuando la cámara comprende los píxeles, ya sea piel, tela, hierba, cielo, etc., estos son los tipos de comprensión que ayudan a procesar esos diferentes píxeles para factores como el color, la textura y ruido. En el futuro, haremos esto no solo para Snapshot, sino también para video.

Creo que el primer efecto bokeh de video que vi fue en el LG G8 el año pasado. Puede que no estuviera al nivel de tomar una foto en modo retrato, pero aún así fue impresionante. Por supuesto, la línea Pixel de Google también puede hacer cosas increíbles como la segmentación semántica y sus diversos modos nocturnos.

Queremos trasladar muchas de esas funciones al video; es el siguiente paso lógico. Pero el video ya es un problema de energía, especialmente si está filmando en, digamos, 8K30 o 4K120, así que agregue esos características además de un presupuesto térmico ya bastante saturado es un desafío, pero eso es en lo que estamos trabajando en el futuro.

Y por otro lado, ¿en qué tipo de avances está trabajando Qualcomm en el El lado de la fotografía de las cosas en términos de características como el modo retrato y otros tipos de creatividad. modos de disparo?

Realmente estamos buscando ahora expandir nuestro alcance de la cámara a la computación heterogénea, y asegurándose de que la cámara realmente interactúe y se comunique sin problemas con el motor de IA en Boca de dragón. Para fotografías, lo que nos verá haciendo más en el futuro es usar IA para cosas como eliminar ruido, y podemos obtener un rendimiento realmente bueno para deshacernos de ruido, pero conservando los detalles en condiciones de poca luz, más allá de lo que puede hacer con técnicas tradicionales como con tipos estándar de filtros que todos usos.

"No tendrá que preocuparse por retocar sus fotos, el motor de IA se asegurará de que estén completamente optimizadas en el futuro".

Otra área que mencioné con el video es HDR. Usaremos el motor de IA junto con las fotografías capturadas para elegir las mejores partes de la escena. Entonces, algo que podríamos hacer en IA para ajustar automáticamente la imagen es un retoque inteligente, donde estamos haciendo un procesamiento consciente del contenido para el contenido tonal, el contenido de sombras, las luces y el color.

Eso es algo que creemos que será realmente poderoso; no tendrá que preocuparse por retocar sus teléfonos, el motor de inteligencia artificial se asegurará de que estén completamente optimizados en todas esas áreas en el futuro.

Una tercera área en la que la gente no piensa necesariamente es la detección de rostros. En el pasado, usamos técnicas más tradicionales cuando la cámara está activa para detectar rostros, y en realidad está controlando cómo funciona la cámara. Cuando la cámara ve que hay un rostro en la imagen, usa ese rostro para administrar algunos de los elementos del proceso 3A. Puede usar la cara para determinar si tiene la exposición correcta, o puede usar la cara para que sea el punto automático de enfoque automático.

En el futuro, creo que utilizaremos un enfoque de aprendizaje profundo, donde podemos usar nuestro motor de inteligencia artificial para detectar rostros con mayor precisión y con menos falsos positivos. Podremos ser mucho más flexibles al determinar si las caras son detectables en diferentes orientaciones, distancias, etc.

En mi Sony a7 III, hay una función que te permite tomar una foto de un rostro en particular y decirle al cámara para priorizar a esa persona de interés para cosas como el enfoque automático, incluso cuando hay otras caras en la Disparo. ¿Es eso algo que potencialmente podríamos ver en un teléfono en el futuro?

Puede hacerlo con bastante facilidad con IA sin profundizar en la seguridad y las cosas que tiene que hacer para reconocer caras para cosas como pagos y desbloquear su teléfono. Básicamente, puede hacer esto solo en la cámara y saber si es la cara A o la cara B, no necesariamente si es la cara que se supone que desbloquea el teléfono, sino solo una cara de interés. Todo eso es posible, y será posible con ese motor actualizado que estaremos haciendo para la detección de rostros de aprendizaje profundo.

Y solo tengo que preguntar. La EOS R5 recientemente anunciada por Canon obviamente puede grabar videos de 8K, pero lo más interesante para mí es su capacidad para disparar 4K con sobremuestreo en la cámara, que condensa información de material de archivo fuente de 8K para lograr un video 4K más nítido sin necesidad de hacerlo usted mismo en la publicación y lidiar con los tamaños de archivo masivos de 8K. ¿Es eso algo que podríamos ver en los teléfonos en algún momento, o esto vuelve a las limitaciones con respecto a la calefacción y la tasa de bits?

Buena pregunta. Eso es algo que podrían hacer nuestros OEM; Por supuesto, ofrecemos modos nativos para disparar en 4K y 8K, pero debido a que 8K también consume mucha energía, es ciertamente viable realizar una conversión ascendente o descendente. Una de las cosas, tal vez el problema al revés, que también estamos buscando hacer es la ampliación inteligente de video.

Hoy en día, en el lado de la foto, puede usar múltiples marcos para crear más píxeles y obtener una imagen de resolución más densa, pero lo mismo en el video también es posible. Puede disparar a una resolución más baja y utilizar los leves movimientos de la cámara de un fotograma a otro para hacer una conversión ascendente incluso hasta 3x sin ninguna degradación perceptible.

También quería preguntar sobre los gastos generales cuando se trata de que Qualcomm sea compatible con tantos tipos diferentes de teléfonos inteligentes de diferentes fabricantes y satisfaciendo las diversas demandas de cada uno a medida que las empresas intentan diferenciarse a través de características de cámara únicas. Especialmente ahora que vemos varias cámaras en casi todos los teléfonos, independientemente del precio, eso debe ser mucho de qué preocuparse.

¡Está! Debido a que la cámara es una característica tan importante, todos los OEM quieren diferenciarse en sus cámaras. Entonces, Qualcomm lanzará la plataforma de hardware y el software de la cámara, que tiene una gran cantidad de capacidades, pero luego, por supuesto, un OEM quiere ser diferente de otro OEM. Entonces eligen diferentes lentes, diferentes sensores de imagen, están organizando los sensores de manera diferente en la parte delantera y trasera, están agregando cosas como sensores de profundidad o enfoque asistido por láser o macro cámaras ...

Muchos clientes también quieren diferenciarse en el software. Quizás quieran hacer su propio algoritmo; hacer una función específica en la cámara por su cuenta; quieren mejorar ligeramente la forma en que se hace algo como Demosaic.

"Tenemos una red realmente sólida de proveedores externos que realmente fomentamos".

Entonces, el desafío que tenemos es atender todas esas personalizaciones y diferenciaciones, pero tenemos un equipo de sistemas realmente bueno y el equipo de ingeniería del cliente cuyo trabajo las 24 horas del día, los 7 días de la semana es asegurarse de que los clientes tengan éxito y puedan integrar sus propios caracteristicas.

Una cosa que realmente distingue a Qualcomm de otros proveedores que brindan cámaras IP es que tenemos una red realmente sólida de proveedores externos que Realmente nos nutrimos y queremos asegurarnos de que cuando tengamos un proveedor externo que pueda estar trabajando con un cliente, estemos todos trabajando juntos.

Cuando nos relacionamos con un OEM y ellos están comprometidos con un tercero como Morpho o ArcSoft, el tercero también se comunica directamente con nosotros. Entonces, si quieren hacer algo con cámaras triples o IA, trabajaremos con ese tercero para asegurarnos de que tengan lo último y lo mejor plataformas de desarrollo, software de línea base y API, y que tienen la capacidad de aprovechar nuestros bloques de hardware, tanto dentro como fuera del cámara.

Podcast de Android Central # 452: una conversación con Qualcomm

Algo que el tercero podría hacer en la CPU, es posible que descubra que puede hacerlo con menor potencia si aprovechan algún bloqueo en nuestro ISP o en nuestra visión por computadora: nuestro motor EVA. Quizás si mueven el algoritmo de la CPU al DSP, como el motor HVX (Hexagon Vector Extensions), podrían obtener un mejor rendimiento y una menor potencia. Estamos muy en contacto con cada ISV (proveedor de software independiente) en nuestra red de terceros para asegurarnos que las soluciones que se nos ocurran para ayudar al OEM a personalizar son tan optimizadas y de bajo consumo como posible.

Una especie de derivación de esa pregunta, ¿cómo se equilibra el conjunto de funciones propias de Qualcomm y las de un cliente determinado? Volviendo a Google, me encantaría ver que el modo de astrofotografía del Pixel 4 llegue a otros teléfonos, pero ¿dónde traza la línea y deja ese tipo de desarrollo en manos del OEM?

Es algo en lo que pensamos constantemente. ¿Cómo equilibramos eso? ¿Cómo dejamos que nuestros OEM e ISV se diferencien, frente a qué características vamos a ofrecer como líneas de base que pueden llegar a todo el mundo y, a su vez, eliminar esa diferenciación de algunos OEM? Creo que nuestra fuerza impulsora es... son dos cosas. Cualquier cosa que consideremos que mejorará la experiencia de la cámara e impulsará todo el ecosistema hacia adelante, queremos abordar eso desde la perspectiva de la experiencia del usuario en toda la industria.

Entonces, si hay una característica que creemos que beneficiará a todos y realmente empujará todo el sistema de cámara móvil hacia algo así como una cámara sin espejo, la integraremos. La otra cosa que miramos es la calidad de la imagen. Si es algo que afectará específicamente los puntajes de calidad de imagen de, digamos, una casa de evaluación comparativa de terceros como DxOMark, por ejemplo, queremos tener esa capacidad internamente. Para cosas como el zoom o la reducción de ruido, una mejor detección de rostros, procesamiento segmentado, HDR, etc., todas estas cosas son medidos en la industria, por lo que queremos asegurarnos de que la oferta que brindamos a todos nuestros clientes tenga esas áreas tan optimizadas como puede ser.

Entonces esos son los dos factores impulsores; no queremos pisar los dedos de nuestros clientes y nuestra red de terceros que podrían querer innovar, pero por otro lado, si realmente impulsa todo el ecosistema hacia adelante o si impacta algo como una puntuación DxOMark, realmente queremos intentar ofrecer eso a todos para que muevan todo adelante.

Mencionaste anteriormente cómo Qualcomm busca mejorar la transición perfecta entre lentes a medida que acercas y alejas el zoom. Acabo de hacer una revisión retrospectiva del Galaxy Note 10 del año pasado y todavía me impresionó la consistencia de las imágenes en cada lente. Hay ligeras diferencias, por supuesto; el ultra ancho en particular es más rápido para eliminar los reflejos, pero los colores son realmente precisos, y aunque hay una fracción de segundo de retraso durante la transición entre lentes, es muy impresionante. Estoy emocionado de ver que eso mejora aún más.

Eso no es facil. Tiene tres sensores de imagen diferentes y, por lo general, ni siquiera son el mismo tipo de sensor de imagen. Tienes múltiples lentes, tienes que ajustar esas cámaras para que el color sea perfecto; que la transición de enfoque y la exposición son las mismas; el balance de blancos es el mismo; el color es el mismo; la textura básica y el ajuste de ruido es el mismo... de lo contrario, su ojo lo verá. Es realmente bueno para detectar estas discontinuidades.

Estamos tratando de construir más y más ganchos en el hardware para que se pueda hacer fácilmente a medida que realiza la transición, y cuando pasa de ancho a ultra ancho, no se trata solo de igualar esos parámetros. También se trata de cuándo estás en ese punto de transición, donde dijiste que había un ligero retraso; También hay una fusión entre esas dos imágenes para asegurarse de que la orientación y la alineación de esas imágenes sean correctas, y eso es Realizado en tiempo real con un bloque de hardware en el ISP que gestiona la orientación y la deformación para alinear esas dos imágenes. perfectamente.

Hay mucho en eso, especialmente en esas regiones de transición realmente pequeñas en las que desea que sea ultra suave; hay mucho hardware detrás que lo está haciendo realidad.