Ecco come Qualcomm intende cambiare per sempre la fotografia mobile

La fotografia da smartphone ha fatto davvero molta strada negli ultimi anni, ma il video non ha necessariamente fatto tanti passi avanti. Abbiamo video 8K, ad esempio, che è fantastico, ma il bitrate è ancora abbastanza limitato, ovviamente, perché stiamo lavorando con hardware limitato. C'è qualche tipo di grande passo avanti che possiamo aspettarci in particolare dal lato video?

Heape: Il video è molto più impegnativo a causa della velocità dei dati e delle risoluzioni che passano attraverso l'ISP (processore del segnale di immagine). Per Snapshot, ovviamente, puoi sempre elaborare le cose in background o avere un po 'di latenza fino alla foto appare nella galleria, ma con il video hai delle scadenze molto rigide che devi rispettare per ogni singolo telaio. È importante che il video venga eseguito nell'hardware e che sia ottimizzato dal punto di vista energetico in modo che il telefono non si sciolga tra le tue mani quando, ad esempio, provi a girare un video 8K30.

Ho parlato in precedenza della fusione di tre fotocamere, in cui è possibile eseguire lo zoom senza interruzioni dall'ultra grandangolo al grandangolo fino al teleobiettivo. Sarà migliorato per essere molto più agevole e più facile da controllare nelle revisioni future. Ovviamente, vogliamo anche fare molto lavoro per migliorare l'esperienza HDR nei video in modo che l'intero sistema possa utilizzare innovazioni che stanno emergendo nei sensori di immagine per eseguire HDR quad CFA (array di filtri colore), HDR sfalsato, multi-frame HDR... quelle sono caratteristiche davvero interessanti che non solo influenzano la qualità delle istantanee, ma anche lo streaming video registrato e il mirino.

In termini di elaborazione dei pixel, in futuro dedicheremo anche più hardware al video. In passato, abbiamo fatto cose come la compensazione del movimento locale in modo che tu possa gestire il rumore, non solo con panning e oggetti in movimento globale, ma anche con oggetti che si muovono localmente all'interno di telaio. Stiamo anche sfruttando i nostri motori di profondità e movimento per fare cose come il bokeh nei video, che può essere fatto in qualsiasi momento risoluzione, e in un futuro più lontano, cercheremo di comprendere il contenuto di un video e cosa ciascuno pixel è.

Ho accennato a questo prima quando Morpho parlava di segmentazione semantica; quando i pixel vengono compresi dalla fotocamera, che si tratti di pelle, tessuto, erba, cielo, ecc., questi sono i file tipi di intese che aiutano a elaborare questi diversi pixel per fattori come colore, consistenza e rumore. In futuro, lo faremo non solo per Snapshot, ma anche per i video.

Penso che il primo effetto bokeh video che ho visto sia stato sull'LG G8 l'anno scorso. Potrebbe non essere stato abbastanza al livello di scattare una foto in modalità ritratto, ma è stato comunque impressionante. Ovviamente, la linea Pixel di Google è in grado di fare cose incredibili come la segmentazione semantica e anche le sue varie modalità notturne.

Vogliamo trasferire molte di queste funzionalità al video; è il passaggio logico successivo. Ma il video è già un problema di alimentazione, soprattutto se stai girando, ad esempio, in 8K30 o 4K120, quindi aggiungi quelli caratteristiche oltre a un budget termico già abbastanza saturo è una sfida, ma è su questo che stiamo lavorando futuro.

E il rovescio della medaglia, a che tipo di progressi sta lavorando Qualcomm sul lato fotografia delle cose in termini di funzionalità come la modalità ritratto e altri tipi di creatività modalità di scatto?

Stiamo davvero cercando di espandere la nostra portata per la fotocamera in un computing eterogeneo e assicurandoti che la fotocamera si interfacci davvero e comunichi perfettamente con il motore AI acceso Snapdragon. Per le fotografie, quello che ci vedrai fare di più in futuro è usare l'IA per cose come il denoising e possiamo ottenere prestazioni davvero buone per sbarazzarci di rumore ma preservando i dettagli in condizioni di scarsa illuminazione, al di là di quello che puoi fare con le tecniche tradizionali come con i tipi di filtri standard che tutti usi.

"Non dovrai preoccuparti di ritoccare le tue foto, il motore AI farà in modo che siano completamente ottimizzate in futuro."

Un'altra area che ho toccato con il video è l'HDR. Useremo il motore AI insieme alle fotografie catturate per scegliere le parti migliori della scena. Quindi una cosa che potremmo fare in AI per regolare automaticamente l'immagine è un ritocco intelligente, in cui stiamo eseguendo un'elaborazione in base al contenuto per il contenuto tonale, il contenuto delle ombre, le luci e il colore.

È qualcosa che pensiamo sarà davvero potente; non dovrai preoccuparti di ritoccare i tuoi telefoni, il motore AI farà in modo che siano completamente ottimizzati in tutte queste aree in futuro.

Una terza area a cui le persone non pensano necessariamente è il rilevamento dei volti. In passato, abbiamo utilizzato tecniche più tradizionali quando la fotocamera è attiva per rilevare i volti e in realtà sta guidando il funzionamento della fotocamera. Quando la telecamera vede che c'è un volto nell'immagine, usa quel volto per gestire alcuni degli elementi nel processo 3A. Può usare il viso per determinare se hai la giusta esposizione, oppure può usare il viso per essere il punto automatico dell'autofocus.

In futuro, penso che utilizzeremo più approccio di apprendimento profondo, in cui possiamo utilizzare il nostro motore di intelligenza artificiale per rilevare i volti in modo più accurato e con meno falsi positivi. Saremo in grado di essere molto più flessibili nel determinare se i volti sono rilevabili in diversi orientamenti, distanze, ecc.

Sulla mia Sony a7 III, c'è una funzione che ti consente di scattare una foto di un viso in particolare e dirlo fotocamera per dare la priorità a quella persona di interesse per cose come l'autofocus, anche quando altri volti sono in tiro. È qualcosa che potremmo potenzialmente vedere in un telefono in futuro?

Puoi farlo abbastanza facilmente con l'intelligenza artificiale senza approfondire la sicurezza e le cose che devi fare per riconoscere i volti per cose come i pagamenti e lo sblocco del telefono. Puoi fondamentalmente farlo solo nella fotocamera e sapere se è la faccia A o B, non necessariamente se è la faccia che dovrebbe sbloccare il telefono, ma solo una faccia di interesse. È tutto possibile e sarà possibile con quel motore aggiornato che faremo per il rilevamento dei volti di deep learning.

E devo solo chiedere. La EOS R5 recentemente annunciata da Canon può ovviamente girare video 8K, ma più interessante per me è la sua capacità di riprendere in-camera 4K sovracampionato, che condensa le informazioni dal metraggio sorgente 8K per ottenere video 4K più nitidi senza bisogno di farlo da solo in post e gestire le enormi dimensioni dei file di 8K. È qualcosa che potremmo vedere a un certo punto nei telefoni o questo richiama alle limitazioni relative al riscaldamento e ai bitrate?

Questa è una buona domanda. Questo è qualcosa che i nostri OEM potrebbero fare; Ovviamente, offriamo modalità native per le riprese in 4K e 8K, ma poiché l'8K è anche piuttosto assetato di energia, è sicuramente praticabile effettuare una conversione verso l'alto o verso il basso. Una delle cose - forse il problema al contrario - che stiamo anche cercando di fare è l'upscaling intelligente per i video.

Oggi sul lato foto, puoi usare più fotogrammi per creare più pixel e ottenere un'immagine con una risoluzione più densa, ma la stessa cosa è possibile anche nel video. È possibile scattare a una risoluzione inferiore e utilizzare i leggeri movimenti della fotocamera da un fotogramma all'altro per eseguire anche l'upconversion fino a 3x senza alcuna degradazione percettibile.

Volevo anche chiedere informazioni sul sovraccarico quando si tratta di Qualcomm che supporta così tanti tipi diversi di smartphone da diversi produttori e soddisfacendo le varie esigenze di ciascuno mentre le aziende cercano di differenziarsi attraverso caratteristiche uniche della fotocamera. Soprattutto ora che vediamo più fotocamere praticamente su tutti i telefoni, indipendentemente dal prezzo: deve essere molto di cui preoccuparsi.

È! Poiché la fotocamera è una caratteristica così importante, ogni OEM desidera differenziarsi sulle proprie fotocamere. Quindi Qualcomm rilascerà la piattaforma hardware e il software della fotocamera, che ha una pletora di funzionalità, ma ovviamente un OEM vuole essere diverso da un altro OEM. Quindi stanno scegliendo obiettivi diversi, sensori di immagine diversi, stanno organizzando i sensori in modo diverso sulla parte anteriore e posteriore, aggiungono elementi come sensori di profondità o messa a fuoco o macro assistita da laser macchine fotografiche...

Molti clienti vogliono differenziarsi anche nel software. Forse vogliono fare il proprio algoritmo; svolgere autonomamente una funzione specifica nella fotocamera; vogliono migliorare leggermente il modo in cui viene fatto qualcosa come Demosaic.

"Abbiamo una rete molto forte di fornitori di terze parti che sosteniamo davvero".

Quindi la sfida che abbiamo è servire tutte quelle personalizzazioni e differenziazioni, ma abbiamo un ottimo team di sistemi e il team di ingegneri del cliente il cui compito è garantire che i clienti abbiano successo 24 ore su 24, 7 giorni su 7 e possano integrare i propri Caratteristiche.

Una cosa che distingue davvero Qualcomm dagli altri fornitori che forniscono l'IP della telecamera è che abbiamo una rete molto forte di fornitori di terze parti che ci nutriamo davvero e vogliamo assicurarci che quando abbiamo un fornitore di terze parti che potrebbe lavorare con un cliente, lavoriamo tutti insieme.

Quando ci impegniamo con un OEM e questi sono impegnati con una terza parte come Morpho o ArcSoft, anche la terza parte è direttamente in contatto con noi. Quindi, se vogliono fare qualcosa con la tripla fotocamera o l'intelligenza artificiale, lavoreremo con quella terza parte per assicurarci che abbiano l'ultima e la migliore piattaforme di sviluppo, software di base e API e che hanno la capacità di sfruttare i nostri blocchi hardware, sia all'interno che all'esterno del telecamera.

Podcast Android Central n. 452: una conversazione con Qualcomm

Qualcosa che la terza parte potrebbe fare nella CPU, potrebbero scoprire di poterlo fare con una potenza inferiore se sfruttano un blocco nel nostro ISP o nella nostra visione artificiale - il nostro motore EVA. Forse se spostano l'algoritmo dalla CPU al DSP, come il motore HVX (Hexagon Vector Extensions), potrebbero ottenere prestazioni migliori e una potenza inferiore. Siamo in stretto contatto con ogni ISV (fornitore di software indipendente) nella nostra rete di terze parti per esserne sicuri che qualunque soluzione stiamo mettendo a punto per aiutare la personalizzazione dell'OEM è snella e a basso consumo come possibile.

Una sorta di derivazione di questa domanda, come bilanci i set di funzionalità di Qualcomm e quelli di un dato cliente? Tornando a Google, mi piacerebbe vedere la modalità astrofotografia di Pixel 4 arrivare su altri telefoni, ma dove tracci il confine e lasci questo tipo di sviluppo all'OEM?

È una cosa a cui pensiamo costantemente. Come lo bilanciamo? In che modo permettiamo ai nostri OEM e ISV di differenziarsi rispetto a quali caratteristiche ne usciremo linee di base che possono andare a tutti e, a loro volta, rimuovere quella differenziazione da alcune specifiche OEM? Penso che la nostra forza trainante sia: sono due cose. Tutto ciò che riteniamo migliorerà l'esperienza della videocamera e spingerà in avanti l'intero ecosistema, vogliamo affrontarlo da una prospettiva di esperienza utente in tutto il settore.

Quindi, se c'è una certa funzionalità che crediamo andrà a beneficio di tutti e spingerà davvero l'intero sistema di telecamere mobili verso qualcosa come una fotocamera mirrorless, la integreremo. L'altra cosa che guardiamo è la qualità dell'immagine. Se è qualcosa che avrà un impatto specifico sui punteggi di qualità dell'immagine, ad esempio, da una società di benchmarking di terze parti come DxOMark, ad esempio, vogliamo avere quella capacità in casa. Per cose come zoom o riduzione del rumore, migliore rilevamento dei volti, elaborazione segmentata, HDR e così via, queste sono tutte cose che sono misurata nel settore, quindi vogliamo assicurarci che l'offerta che forniamo a tutti i nostri clienti abbia quelle aree ottimizzate come loro può essere.

Quindi questi sono i due fattori trainanti; non vogliamo calpestare i nostri clienti e la nostra rete di terze parti che potrebbero voler innovare, ma d'altra parte, se davvero spinge in avanti l'intero ecosistema o se ha un impatto su qualcosa come un punteggio DxOMark, vogliamo davvero provare a offrirlo a tutti per spostare tutto inoltrare.

Hai menzionato in precedenza come Qualcomm sta cercando di migliorare la transizione senza interruzioni tra gli obiettivi mentre esegui lo zoom avanti e indietro. Ho appena fatto una revisione retrospettiva del Galaxy Note 10 dello scorso anno e sono rimasto comunque impressionato dalla coerenza dell'immagine con ogni obiettivo. Ci sono delle piccole differenze, ovviamente; l'ultra-ampio in particolare è più veloce per eliminare le alte luci, ma i colori sono davvero azzeccati e anche se c'è una frazione di secondo di ritardo durante la transizione tra le lenti, è davvero impressionante. Sono entusiasta di vederlo migliorare ulteriormente.

Non è facile. Hai tre diversi sensori di immagine e di solito non sono nemmeno lo stesso tipo di sensore di immagine. Hai più obiettivi, devi regolare quelle fotocamere in modo che il colore sia perfetto; che la transizione del focus e l'esposizione sono le stesse; il bilanciamento del bianco è lo stesso; il colore è lo stesso; la struttura di base e la sintonizzazione del rumore sono le stesse... altrimenti, il tuo occhio lo vedrà. È davvero bravo a cogliere queste discontinuità.

Stiamo cercando di costruire sempre più hook nell'hardware in modo che possa essere fatto facilmente durante la transizione, e quando passi da wide a ultra-wide, non si tratta solo di abbinare quei parametri. Riguarda anche quando sei in quel punto di transizione, dove hai detto che c'è un leggero ritardo; c'è anche una fusione in corso tra queste due immagini per assicurarsi che l'orientamento e l'allineamento di quelle immagini siano esatti, e questo è effettivamente fatto in tempo reale con un blocco hardware nell'ISP che gestisce l'orientamento e la deformazione per allineare quelle due immagini perfettamente.

C'è molto da fare, specialmente in quelle minuscole regioni di transizione in cui vuoi che sia ultra-fluido; c'è molto hardware dietro che lo sta facendo accadere.