Iată cum intenționează Qualcomm să schimbe pentru totdeauna fotografia mobilă

Fotografia cu smartphone-uri a parcurs un drum lung în ultimii ani, dar videoclipurile nu au făcut neapărat atât de mulți pași. De exemplu, avem videoclipuri de 8K, ceea ce este grozav, dar rata de biți este încă destul de limitată, desigur, pentru că lucrăm cu hardware limitat. Există vreun fel de mare pas înainte la care ne putem aștepta în special pe partea video?

Heape: Video-ul este mult mai provocator din cauza ratelor de date și a rezoluțiilor care trec prin ISP (procesor de semnal de imagine). Pentru Instantaneu, desigur, puteți procesa întotdeauna lucrurile în fundal sau puteți avea un pic de latență până la fotografie apare în galerie, dar cu videoclipuri aveți termene de timp foarte stricte pe care trebuie să le respectați pentru fiecare cadru. Este important ca videoclipul să fie realizat în hardware și să fie optimizat pentru putere, astfel încât telefonul să nu se topească în mână atunci când încercați să înregistrați videoclipuri 8K30, de exemplu.

Am vorbit anterior despre fuzionarea a trei camere, în care puteți zoom fără probleme de la ultra-larg la larg la teleobiectiv. Acest lucru va fi îmbunătățit pentru a fi mult mai ușor și mai ușor de controlat în viitoarele revizuiri. Desigur, dorim să facem multă muncă pentru a îmbunătăți experiența HDR în video, astfel încât întregul sistem să poată utiliza inovații care apar în senzorii de imagine pentru a face HDR bazat pe quad CFA (matrice de filtre de culoare), HDR eșalonat, multi-cadru HDR... acestea sunt caracteristici foarte drăguțe care nu afectează doar calitatea instantaneelor, ci și fluxul înregistrat video și vizorul.

În ceea ce privește procesarea pixelilor, vom dedica și mai mult hardware video pentru viitor. În trecut, am făcut lucruri precum compensarea mișcării locale, astfel încât să puteți face față zgomotului, nu doar cu panoramare și obiecte în mișcare globală, dar și cu obiecte care se deplasează local în interiorul cadru. De asemenea, valorificăm motoarele noastre de adâncime și mișcare pentru a face lucruri precum bokeh în video, care se pot face oricând rezoluție și, într-un viitor mai îndepărtat, vom căuta să înțelegem conținutul dintr-un videoclip și ce este fiecare pixel este.

Am făcut aluzie la asta înainte, când Morpho vorbea despre segmentarea semantică; atunci când pixelii sunt înțelese de cameră, indiferent dacă este vorba de piele, țesătură, iarbă, cer etc., acestea sunt tipuri de înțelegeri care ajută la procesarea acestor pixeli diferiți pentru factori precum culoarea, textura și zgomot. În viitor, vom face acest lucru nu doar pentru Instantaneu, ci și pentru videoclipuri.

Cred că primul efect de bokeh video pe care l-am văzut a fost pe LG G8 anul trecut. Poate că nu a fost chiar la nivelul de a face o fotografie în modul portret, dar a fost totuși impresionant. Desigur, linia Google Pixel este capabilă să facă lucruri incredibile, cum ar fi segmentarea semantică și diversele sale moduri de noapte.

Vrem să mutăm multe dintre aceste funcții în video; este următorul pas logic. Dar videoclipul este deja o problemă de alimentare, mai ales dacă fotografiați în, să zicem, 8K30 sau 4K120, deci adăugându-le caracteristicile pe lângă un buget termic destul de saturat este o provocare, dar la asta lucrăm viitor.

Și, pe de altă parte, ce fel de progrese lucrează Qualcomm în ceea ce privește partea fotografică a lucrurilor în ceea ce privește caracteristici precum modul portret și alte tipuri de materiale creative moduri de fotografiere?

Ne uităm cu adevărat acum să ne extindem aria de acoperire a camerei în computere eterogene și asigurându-vă că camera se interfață într-adevăr și comunică fără probleme cu motorul AI pornit Snapdragon. Pentru fotografii, ceea ce ne veți vedea făcând mai mult în viitor este utilizarea AI pentru lucruri precum deznodarea și putem obține performanțe foarte bune pentru a scăpa de zgomot, dar păstrând detaliile în condiții de lumină slabă, dincolo de ceea ce puteți face cu tehnici tradiționale, cum ar fi cu tipuri standard de filtre pe care toată lumea utilizări.

„Nu va trebui să vă faceți griji cu privire la retușarea fotografiilor, motorul AI se va asigura că sunt complet optimizate în viitor”.

Un alt domeniu pe care l-am atins cu video este HDR. Vom folosi motorul AI împreună cu fotografiile capturate pentru a alege cele mai bune părți ale scenei. Așadar, un lucru pe care l-am putea face în AI pentru a regla automat imaginea este o retușare inteligentă, în care facem procesări conștiente de conținut pentru conținut tonal, conținut umbră, evidențiere și culoare.

Este ceva ce credem că va fi cu adevărat puternic; nu va trebui să vă faceți griji cu privire la retușarea telefoanelor dvs., motorul AI se va asigura că acestea sunt complet optimizate în toate aceste zone în viitor.

O a treia zonă la care oamenii nu se gândesc neapărat este detectarea feței. În trecut, am folosit tehnici mai tradiționale atunci când camera este activă pentru a detecta fețele și, de fapt, conduce modul în care funcționează camera. Când camera vede că există o față în imagine, aceasta o folosește pentru a gestiona unele dintre elementele din procesul 3A. Poate folosi fața pentru a determina dacă aveți expunerea corectă sau poate folosi fața pentru a fi punctul automat de focalizare automată.

În viitor, cred că vom folosi mai mult o abordare de învățare profundă, în care putem folosi motorul nostru de AI pentru a detecta fețele cu mai multă precizie și cu mai puține pozitive false. Vom putea fi mult mai flexibili în a determina dacă fețele sunt detectabile în diferite orientări, distanțe etc.

Pe Sony a7 III, există o funcție care vă permite să fotografiați o anumită față și să spuneți camera pentru a acorda prioritate acelei persoane de interes pentru lucruri precum focalizarea automată, chiar și atunci când alte fețe sunt în lovitură. Este ceva ce am putea vedea în viitor pe un telefon?

Puteți face acest lucru destul de ușor cu AI fără a intra adânc în securitate și în lucrurile pe care trebuie să le faceți pentru a recunoaște fețele pentru lucruri precum plăți și deblocarea telefonului. Practic, puteți face acest lucru doar în cameră și să știți dacă este fața A sau fața B - nu neapărat dacă este fața care ar trebui să deblocheze telefonul, ci doar o față de interes. Asta este tot posibil și va fi posibil cu acel motor modernizat pe care îl vom face pentru detectarea profundă a feței.

Și trebuie doar să întreb. EOS R5, anunțat recent de Canon, poate în mod evident să înregistreze videoclipuri de 8K, dar mai interesant pentru mine este capacitatea sa de a filma supra-eșantionat 4K în cameră, care condensează informații din imagini sursă de 8K pentru a obține videoclipuri 4K mai clare, fără a fi nevoie să le faceți singur în postare și să faceți față dimensiunilor masive de fișiere de 8K. Este ceva ce s-ar putea să vedem la telefoane la un moment dat sau acest lucru revine la limitările privind încălzirea și ratele de biți?

Asta este o întrebare bună. Asta ar putea face OEM-urile noastre; desigur, oferim moduri native pentru fotografiere în 4K și 8K, dar pentru că 8K este, de asemenea, destul de înfometat de energie, este cu siguranță viabil să faceți conversii în sus sau în jos. Unul dintre lucruri - poate problema inversă - căutăm, de asemenea, să facem este schimbarea inteligentă a videoclipurilor.

Astăzi, pe partea foto, puteți utiliza mai multe cadre pentru a crea mai mulți pixeli și pentru a obține o imagine cu rezoluție mai densă, dar același lucru în video este, de asemenea, posibil. Puteți fotografia la o rezoluție mai mică și puteți utiliza mișcările ușoare ale camerei de la cadru la cadru pentru a converti chiar și până la 3x, fără nici o degradare perceptibilă.

De asemenea, am vrut să întreb despre cheltuielile generale atunci când vine vorba de Qualcomm care acceptă atât de multe tipuri de smartphone-uri de la diferite producătorilor și îndeplinind diversele cerințe ale fiecăruia, pe măsură ce companiile încearcă să se diferențieze prin caracteristici unice ale camerei. Mai ales acum, când vedem mai multe camere pe aproape toate telefoanele, indiferent de preț - trebuie să ne facem griji.

Este! Deoarece camera este o caracteristică atât de importantă, fiecare OEM vrea să facă diferența între camerele sale. Așadar, Qualcomm va lansa platforma hardware și software-ul camerei, care are o mulțime de capabilități, dar, desigur, un OEM vrea să fie diferit de un alt OEM. Deci, aleg diferite lentile, diferiți senzori de imagine, aranjează senzorii diferit în față și în spate, adaugă lucruri precum senzori de adâncime sau focalizare asistată cu laser sau macro camere ...

Mulți clienți doresc să se diferențieze și în software. Poate vor să își facă propriul algoritm; să facă singuri o funcție specifică în cameră; vor să se îmbunătățească ușor în modul în care se face ceva de genul Demosaic.

„Avem o rețea cu adevărat puternică de furnizori terți pe care îi hrănim cu adevărat.”

Deci, provocarea pe care o avem este să deservim toate aceste personalizări și diferențieri, dar avem o echipă de sisteme foarte bună și echipa de ingineri ai clienților a căror sarcină 24/7 este să se asigure că clienții au succes și se pot integra pe ai lor caracteristici.

Un lucru care diferențiază cu adevărat Qualcomm de alți furnizori care furnizează IP-ul camerei este că avem o rețea foarte puternică de furnizori terți care chiar hrănim și vrem să ne asigurăm că, atunci când avem un furnizor terță parte care ar putea lucra cu un client, lucrăm cu toții împreună.

Atunci când colaborăm cu un OEM și sunt angajați cu o terță parte, cum ar fi Morpho sau ArcSoft, partea terță este în contact direct și cu noi. Deci, dacă vor să facă ceva cu camere triple sau AI, vom colabora cu acea terță parte pentru a ne asigura că au cele mai recente și mai bune platforme de dezvoltare, software de bază și API-uri și că au capacitatea de a utiliza blocurile noastre hardware, atât în ​​interiorul, cât și în afara aparat foto.

Android Central Podcast # 452: o conversație cu Qualcomm

Ceva pe care terții l-ar putea face în procesor, ar putea descoperi că îl pot face cu o putere mai mică dacă utilizează un blocaj în ISP-ul nostru sau în viziunea noastră computerizată - motorul nostru EVA. Poate dacă mută algoritmul de la CPU la DSP, cum ar fi motorul HVX (Hexagon Vector Extensions), ar putea obține performanțe mai bune și o putere mai mică. Suntem în strânsă legătură cu fiecare ISV (furnizor independent de software) din rețeaua noastră terță parte pentru a ne asigura că orice soluții pe care le propunem pentru a ajuta la personalizarea OEM sunt la fel de simplificate și cu consum redus de energie posibil.

Un fel de ramură a acestei întrebări, cum echilibrați seturile de caracteristici ale Qualcomm și cele ale unui anumit client? Revenind la Google, mi-ar plăcea să văd modul astrofotografic al Pixel 4 pe alte telefoane, dar unde trageți linia și lăsați acest tip de dezvoltare până la OEM?

Este un fel constant de lucruri la care ne gândim. Cum echilibrăm asta? Cum să lăsăm OEM-urile și ISV-urile noastre să se diferențieze, în comparație cu ce caracteristici vom lansa linii de bază care pot ajunge la toată lumea și, la rândul lor, elimină diferențierea de unele specifice OEM-uri? Cred că forța noastră motrice este - sunt două lucruri. Orice simțim că va îmbunătăți experiența camerei și va împinge întregul ecosistem înainte, vrem să abordăm acest lucru din perspectiva experienței utilizatorilor din întreaga industrie.

Deci, dacă există o anumită caracteristică despre care credem că va aduce beneficii tuturor și va împinge cu adevărat întregul sistem de camere mobile mai mult spre ceva de genul unei camere fără oglindă, o vom integra. Celălalt lucru pe care îl privim este calitatea imaginii. Dacă este ceva care va avea un impact specific asupra scorurilor de calitate a imaginii, de exemplu, dintr-o casă de evaluare terță parte, cum ar fi DxOMark, de exemplu, vrem să avem acea capacitate internă. Pentru lucruri precum zoom-ul sau reducerea zgomotului, o detecție mai bună a fețelor, procesare segmentată, HDR și așa mai departe, toate acestea sunt măsurate în industrie, așa că dorim să ne asigurăm că oferta pe care o oferim tuturor clienților noștri are acele domenii la fel de optimizate ca și ele poate fi.

Deci aceștia sunt cei doi factori motori; nu vrem să pășim pe degetele clienților noștri și ale rețelei noastre terțe care ar putea dori să inoveze, dar pe de altă parte, dacă este cu adevărat împinge întregul ecosistem înainte sau dacă afectează ceva de genul unui scor DxOMark, vrem cu adevărat să încercăm să oferim asta tuturor pentru a muta totul redirecţiona.

Ați menționat mai devreme cum Qualcomm caută să îmbunătățească tranziția perfectă între lentile în timp ce măriți și micșorați. Tocmai am făcut o recenzie retrospectivă a Galaxy Note 10 de anul trecut și am fost încă impresionat de cât de consistentă este imagistica pe fiecare obiectiv. Desigur, există mici diferențe; ultra-latul, în special, este mai rapid să scoată în evidență, dar culorile sunt cu adevărat clare și, deși există o fracțiune de secundă de întârziere în timpul tranziției între lentile, este foarte impresionant. Sunt încântat să văd că se îmbunătățesc și mai mult.

Nu este ușor. Aveți trei senzori de imagine diferiți și, de obicei, nu sunt nici măcar același tip de senzor de imagine. Aveți mai multe obiective, trebuie să reglați acele camere, astfel încât culoarea să fie clară; că tranziția de focalizare și expunerea sunt aceleași; balansul de alb este același; culoarea este aceeași; textura de bază și reglarea zgomotului sunt aceleași... altfel, ochiul tău o va vedea. Este foarte bun la reluarea acestor discontinuități.

Încercăm să construim din ce în ce mai multe cârlige în hardware, astfel încât să poată fi realizat cu ușurință pe măsură ce treceți, iar când treceți de la larg la ultra-lat, nu este vorba doar de potrivirea acestor parametri. Este vorba și despre momentul în care vă aflați în acel punct de tranziție, unde ați spus că există o ușoară întârziere; există, de asemenea, fuziune între aceste două imagini pentru a vă asigura că orientarea și linia acestor imagini este inactivă și asta este de fapt realizat în timp real cu un bloc hardware în ISP care gestionează orientarea și deformarea pentru a face ca aceste două imagini să se alinieze perfect.

Există multe lucruri în acest sens, mai ales în acele regiuni de tranziție foarte mici, în care doriți să fie ultra-netedă; există o mulțime de hardware în spate care o fac să se întâmple.