Sådan planlægger Qualcomm at ændre mobilfotografering for evigt

Smartphonefotografering er virkelig kommet langt de sidste par år, men video har ikke nødvendigvis gjort så mange fremskridt. Vi har for eksempel 8K-video, hvilket er fantastisk, men bithastigheden er naturligvis stadig ret begrænset, fordi vi arbejder med begrænset hardware. Er der nogen form for stort skridt fremad, vi især kan forvente på videosiden?

Heape: Video er meget mere udfordrende på grund af datahastighederne og de opløsninger, der går gennem internetudbyderen (billedsignalprocessor). For Snapshot kan du selvfølgelig altid behandle ting i baggrunden eller have en smule latenstid indtil billedet vises i galleriet, men med video har du virkelig strenge tidsfrister, som du skal overholde for hver enkelt ramme. Det er vigtigt, at video laves i hardware, og at den er strømoptimeret, så telefonen ikke smelter i din hånd, når du f.eks. Prøver at optage 8K30-video.

Jeg har tidligere talt om sammensmeltning af tre kameraer, hvor du problemfrit kan zoome fra ultrabred til bred til telefoto. Dette vil blive forbedret for at være meget glattere og lettere at kontrollere i fremtidige revisioner. Selvfølgelig ønsker vi også at gøre en masse arbejde for at forbedre HDR-oplevelsen i video, så hele systemet kan bruge innovationer, der kommer ud i billedsensorer for at gøre quad CFA-baseret (farvefilter array) HDR, forskudt HDR, multi-frame HDR... det er virkelig gode funktioner, der ikke kun påvirker kvaliteten af ​​snapshots, men også den videooptagede stream og søgeren.

Med hensyn til pixelbehandling vil vi også afsætte mere hardware til video i fremtiden. Tidligere har vi gjort ting som lokal bevægelseskompensation, så du kan håndtere støj, ikke kun med panorering og globale bevægelige objekter, men også med objekter, der bevæger sig lokalt inden i ramme. Vi udnytter også vores dybde- og bevægelsesmotorer til at gøre ting som bokeh i video, hvilket kan gøres når som helst opløsning, og i en fjernere fremtid vil vi se på at forstå indholdet i en video og hvad hver pixel er.

Jeg hentydede til dette før, da Morpho talte om semantisk segmentering; når pixel forstås af kameraet, hvad enten det er hud, stof, græs, himmel osv., er det disse typer forståelser, der hjælper med at behandle disse forskellige pixels for faktorer som farve, struktur og støj. I fremtiden vil vi gøre dette ikke kun for Snapshot, men også for video.

Jeg tror, ​​at den første video bokeh-effekt, jeg så, var på LG G8 sidste år. Det var måske ikke helt på niveau med at tage et billede i portrættilstand, men det var stadig imponerende. Selvfølgelig er Googles Pixel-linje i stand til at gøre utrolige ting som semantisk segmentering og dens forskellige nattilstande også.

Vi vil flytte mange af disse funktioner til video; det er det logiske næste trin. Men video er allerede et strømproblem, især hvis du skyder i f.eks. 8K30 eller 4K120, så tilføj dem funktioner oven på allerede et ganske mættet termisk budget er en udfordring, men det er det, vi arbejder på i fremtid.

Og på bagsiden af ​​det, hvilken slags fremskridt arbejder Qualcomm mod på fotografering side af ting med hensyn til funktioner som portrættilstand og andre typer kreativitet optagefunktioner?

Vi ser virkelig nu på at udvide vores rækkevidde for kameraet til heterogen computing, og sørg for, at kameraet virkelig grænseflader og kommunikerer problemfrit med AI-motoren tændt Snapdragon. Til fotografier, hvad du ser os gøre mere i fremtiden, bruger AI til ting som denoising, og vi kan få virkelig gode resultater for at slippe af med støj, men bevare detaljer i svagt lys, ud over hvad du kan gøre med traditionelle teknikker som med standardtyper af filtre, som alle kan bruge anvendelser.

"Du behøver ikke bekymre dig om retouchering af dine fotos, AI-motoren sørger for, at de er helt optimerede fremover."

Et andet område, som jeg berørte med video, er HDR. Vi bruger AI-motoren sammen med de fangede fotografier til at vælge de bedste dele af scenen. Så en ting, vi måske gør i AI for automatisk at justere billedet, er en intelligent retouchering, hvor vi laver indholdsbevidst behandling af tonalt indhold, skyggeindhold, højdepunkter og farve.

Det er noget, som vi tror vil være virkelig stærkt; du behøver ikke bekymre dig om retouchering af dine telefoner, AI-motoren sørger for, at de er optimeret i alle disse områder fremover.

Et tredje område, som folk ikke nødvendigvis tænker på, er ansigtsgenkendelse. Tidligere har vi brugt mere traditionelle teknikker, når kameraet er aktivt til at registrere ansigter, og det kører faktisk, hvordan kameraet fungerer. Når kameraet ser, at der er et ansigt i billedet, bruger det ansigtet til at styre nogle af elementerne i 3A-processen. Det kan bruge ansigtet til at afgøre, om du har den rigtige eksponering, eller det kan bruge ansigtet til at være det automatiske punkt for autofokus.

I fremtiden tror jeg, at vi vil bruge mere af dyb læringsmetode, hvor vi kan bruge vores AI-motor til at registrere ansigter mere præcist og med færre falske positive. Vi kan være meget mere fleksible til at bestemme, om ansigter kan detekteres i forskellige retninger, afstande osv.

På min Sony a7 III er der en funktion, der lader dig tage et billede af et bestemt ansigt og fortælle det kamera til at prioritere den person af interesse for ting som autofokus, selv når andre ansigter er i skud. Er det noget, vi potentielt kunne se i en telefon i fremtiden?

Du kan gøre det ret nemt med AI uden at gå dybt ind i sikkerhed og de ting, du skal gøre for at genkende ansigter til ting som betalinger og låse din telefon op. Du kan grundlæggende gøre dette bare i kameraet og vide, om det er ansigt A eller ansigt B - ikke nødvendigvis hvis det er ansigtet, der skal låse telefonen op, men bare et ansigt af interesse. Det er alt muligt og vil være muligt med den opgraderede motor, som vi vil gøre for dyb læring ansigtsgenkendelse.

Og jeg skal bare spørge. Canons nyligt annoncerede EOS R5 kan naturligvis skyde 8K-video, men mere interessant for mig er dens evne til at skyde oversamplede 4K-kameraer, som kondenserer information fra 8K kildeoptagelser for at opnå skarpere 4K-video uden at skulle gøre det selv i posten og håndtere de massive filstørrelser af 8K. Er det noget, vi kan se på telefoner på et eller andet tidspunkt, eller kalder dette tilbage til begrænsninger med hensyn til opvarmning og bitrate?

Det er et godt spørgsmål. Det er noget, vores OEM'er måske gør; selvfølgelig tilbyder vi native tilstande til optagelse i 4K og 8K, men fordi 8K også er ret strøm-sulten, er det bestemt levedygtigt at lave enten op- eller nedkonvertering. En af tingene - måske problemet omvendt - vi ser også på at gøre er intelligent opskalering til video.

I dag på fotosiden kan du bruge flere rammer til at oprette flere pixels og få et mere tæt billede, men det samme i video er også muligt. Du kan skyde med en lavere opløsning og bruge de små bevægelser i kameraet fra ramme til ramme for endda at opkonvertere måske så højt som 3x uden nogen mærkbar nedbrydning.

Jeg ville også spørge om omkostningerne, når det kommer til Qualcomm, der understøtter så mange forskellige slags smartphones fra forskellige producenter og imødekomme de forskellige krav fra hver, da virksomheder forsøger at differentiere sig gennem unikke kamerafunktioner. Især nu hvor vi ser flere kameraer på stort set alle telefoner, uanset pris - det skal være meget at bekymre sig om.

Det er! Fordi kameraet er en så vigtig funktion, ønsker enhver OEM at differentiere på sine kameraer. Så Qualcomm frigiver hardwareplatformen og kamerasoftwaren, som har en overflod af muligheder, men så vil selvfølgelig en OEM være forskellig fra en anden OEM. Så de vælger forskellige linser, forskellige billedsensorer, de arrangerer sensorerne forskelligt på forsiden og bagsiden tilføjer de ting som dybdesensorer eller laserassisteret fokus eller makro kameraer ...

Mange kunder ønsker også at differentiere i softwaren. Måske vil de lave deres egen algoritme; at udføre en bestemt funktion i kameraet alene de vil forbedre sig lidt på den måde, som noget som demosaik udføres.

"Vi har et rigtig stærkt netværk af tredjepartsudbydere, som vi virkelig plejer."

Så den udfordring, vi har, er at servicere alle disse tilpasninger og differentieringer, men vi har et rigtig godt systemteam og kundeteknik, hvis opgave 24/7 er at sikre, at kunderne har succes og kan integrere deres egne funktioner.

En ting, der virkelig adskiller Qualcomm fra andre leverandører, der leverer kamera-IP, er at vi har et rigtig stærkt netværk af tredjepartsudbydere, der vi plejer virkelig, og vi vil sikre os, at når vi har en tredjepartsudbyder, der muligvis arbejder sammen med en kunde, arbejder vi alle sammen.

Når vi arbejder med en OEM, og de er involveret med en tredjepart som Morpho eller ArcSoft, er tredjeparten også direkte i kontakt med os. Så hvis de vil gøre noget med tredobbelt kameraer eller AI, arbejder vi sammen med den tredje part for at sikre, at de har det nyeste og bedste udviklingsplatforme, baseline-software og API'er, og at de har evnen til at udnytte vores hardwareblokke, både inden for og uden for kamera.

Android Central Podcast # 452: En samtale med Qualcomm

Noget, som tredjepart muligvis gør i CPU'en, finder de måske ud af, at de kan gøre det med lavere strøm, hvis de udnytter en blok i vores internetudbyder eller i vores computersyn - vores EVA-motor. Måske hvis de flytter algoritmen fra CPU til DSP, som HVX (Hexagon Vector Extensions) -motoren, kan de muligvis få bedre ydelse og lavere effekt. Vi er meget tæt i kontakt med hver ISV (uafhængig softwareleverandør) i vores tredjepartsnetværk for at sikre os at uanset hvilke løsninger vi kommer med for at hjælpe OEM med at tilpasse, er så strømlinet og lavt strømforbrug som muligt.

En slags udløber af dette spørgsmål, hvordan balancerer du Qualcomms egne funktionssæt og en given klients? Når jeg kommer tilbage til Google, vil jeg meget gerne se Pixel 4s astrofotografitilstand komme til andre telefoner, men hvor trækker du linjen og overlader den slags udvikling til OEM?

Det er en konstant slags ting, vi tænker på. Hvordan balancerer vi det? Hvordan laver vi vores OEM'er og ISV'er differentieret i forhold til hvilke funktioner vi kommer ud med som basislinjer, der kan gå ud til alle, og til gengæld fjerne denne differentiering fra nogle specifikke OEM'er? Jeg tror, ​​at vores drivkraft er - det er to ting. Alt, hvad vi føler, vil forbedre kameraoplevelsen og skubbe hele økosystemet fremad, vi vil nærme os det fra et brugeroplevelsesperspektiv i hele branchen.

Så hvis der er en bestemt funktion, som vi tror vil være til gavn for alle og virkelig skubber hele mobilkamera-systemet mere mod noget som et spejlfrit kamera, integrerer vi det. Den anden ting, vi ser på, er billedkvalitet. Hvis det er noget, der specifikt vil påvirke billedkvalitetsresultater fra f.eks. Et tredjeparts benchmarkinghus som DxOMark, for eksempel, vil vi have den kapacitet internt. For ting som zoom eller støjreduktion, bedre detektering af ansigter, segmenteret behandling, HDR osv. Er alt dette ting, der er målt i branchen, så vi vil sikre os, at det tilbud, vi leverer til alle vores kunder, har disse områder så optimerede som de måske.

Så det er de to drivende faktorer; vi ønsker ikke at træde på tæerne på vores kunder og vores tredjepartsnetværk, der måske ønsker at innovere, men på den anden side, hvis det virkelig skubber hele økosystemet fremad, eller hvis det påvirker noget som en DxOMark-score, vil vi virkelig prøve at tilbyde det til alle at flytte alt frem.

Du nævnte tidligere, hvordan Qualcomm søger at forbedre den problemfri overgang mellem linser, når du zoomer ind og ud. Jeg har lige foretaget en retrospektiv gennemgang af sidste års Galaxy Note 10, og jeg var stadig imponeret over, hvor ensartet billeddannelsen er på tværs af hver linse. Der er selvfølgelig små forskelle; Især det ultrabrede er hurtigere at sprænge højdepunkter ud, men farverne er virkelig spot-on, og mens der er et splitsekund forsinkelse under overgangen mellem linser, er det meget imponerende. Jeg er begejstret for at se, at det forbedres yderligere.

Det er ikke let. Du har tre forskellige billedsensorer, og normalt er de ikke engang den samme type billedsensor. Du har flere linser, du skal indstille disse kameraer, så farven er perfekt; at fokusovergangen og eksponeringen er den samme; hvidbalancen er den samme; farven er den samme; den grundlæggende struktur og støjindstilling er den samme... Ellers vil dit øje se det. Det er virkelig godt til at samle disse diskontinuiteter.

Vi forsøger at bygge flere og flere kroge i hardware, så det kan gøres let, når du overgår, og når du går fra bred til ultrabred, handler det ikke kun om at matche disse parametre. Det handler også om, når du er ved det overgangssted, hvor du sagde, at der er en lille forsinkelse; der foregår også fusion mellem disse to billeder for at sikre, at orienteringen og opstillingen af ​​disse billeder er død-på, og det er det faktisk gjort i realtid med en hardwareblok i internetudbyderen, der styrer orienteringen og vridningen for at få disse to billeder til at stille sig perfekt.

Der er meget ved det, især i de virkelig bittesmå overgangsregioner, hvor du vil have det meget glat; der er en masse hardware bag, der får det til at ske.