Näin Qualcomm aikoo muuttaa mobiilivalokuvauksen ikuisesti

Älypuhelimien valokuvaus on todella mennyt pitkälle viime vuosina, mutta video ei ole välttämättä edennyt niin monta edistystä. Meillä on esimerkiksi 8K-video, mikä on hienoa, mutta bittinopeus on silti melko rajallinen, tietysti, koska työskentelemme rajoitetun laitteiston kanssa. Onko olemassa mitään suurta askelta eteenpäin, mitä voimme odottaa erityisesti videopuolella?

Heape: Video on paljon haastavampi tiedonsiirtonopeuksien ja ISP: n (kuvasignaaliprosessorin) läpi menevien resoluutioiden takia. Snapshotissa voit tietysti aina käsitellä asioita taustalla tai sinulla on vähän viivettä valokuvaan asti näkyy galleriassa, mutta videon kanssa sinulla on todella tiukat aikataulut, jotka sinun on noudatettava jokaiselle yksittäiselle runko. On tärkeää, että video tehdään laitteistolla ja että se on optimoitu teholle, jotta puhelin ei sulaa kädessäsi, kun yrität kuvata esimerkiksi 8K30-videota.

Olen aiemmin puhunut kolmen kameran yhdistämisestä, jossa voit zoomata saumattomasti ultralaajasta laajaan teleobjektiiviin. Tätä parannetaan huomattavasti sujuvammaksi ja helpommaksi hallita tulevissa versioissa. Tietysti haluamme myös tehdä paljon työtä videoiden HDR-kokemuksen parantamiseksi, jotta koko järjestelmä voi hyödyntää innovaatiot, jotka ovat tulossa kuvakennoissa tekemään CFA-pohjainen (värisuodatinryhmä) HDR, porrastettu HDR, monikehys HDR... nämä ovat todella hienoja ominaisuuksia, jotka eivät vaikuta vain tilannevedosten laatuun, vaan myös videotallennetun virran ja etsimen.

Pikselikäsittelyn suhteen aiomme myös tulevaisuudessa käyttää enemmän laitteita videoihin. Aiemmin olemme tehneet esimerkiksi paikallista liikekorjausta, jotta voit käsitellä melua, ei vain panoroinnin ja globaalisti liikkuvien kohteiden kanssa, mutta myös kohteiden kanssa, jotka liikkuvat paikallisesti runko. Hyödynnämme myös syvyys- ja liikekoneitamme tekemään asioita, kuten bokeh videoissa, joka voidaan tehdä milloin tahansa päätöslauselmassa, ja lähempänä tulevaisuudessa tarkastelemme videon sisällön ja kunkin sisällön ymmärtämistä pikseli On.

Viittasin tähän aikaisemmin, kun Morpho puhui semanttisesta segmentoinnista; kun kamera ymmärtää pikselit, olipa kyseessä sitten iho, kangas, ruoho, taivas jne., nämä ovat tyypit ymmärryksistä, jotka auttavat käsittelemään näitä erilaisia ​​pikseleitä tekijöille, kuten väri, rakenne ja melua. Tulevaisuudessa teemme tämän paitsi Snapshotille myös videolle.

Mielestäni ensimmäinen videobokeh-vaikutus, jonka näin, oli LG G8: lla viime vuonna. Se ei ehkä ole ollut aivan tasalla, kun otat valokuvan muotokuva-tilassa, mutta se oli silti vaikuttava. Tietysti Googlen Pixel-linja pystyy tekemään uskomattomia asioita, kuten semanttisen segmentoinnin ja sen erilaiset yötilat.

Haluamme siirtää monet näistä ominaisuuksista videoihin; se on looginen seuraava askel. Mutta video on jo virtaongelma, varsinkin jos kuvaat esimerkiksi 8K30 tai 4K120, joten lisää ne ominaisuudet jo melko kyllästetyn lämpöbudjetin lisäksi on haaste, mutta sen parissa työskentelemme tulevaisuudessa.

Ja sen kääntöpuolella, minkälaisia ​​parannuksia Qualcomm työskentelee valokuvien puoli asioista ominaisuuksien, kuten muotokuvatilan ja muun tyyppisen luovan, suhteen kuvaustilat?

Etsimme nyt kameran ulottuvuuden laajentamista heterogeeniseen tietojenkäsittelyyn ja Varmista, että kamera todella toimii ja kommunikoi saumattomasti päällä olevan AI-moottorin kanssa Snapdragon. Valokuville, mitä näet tekevämme tulevaisuudessa enemmän, on tekoälyn käyttö esimerkiksi denoisingiin, ja voimme saada todella hyvää suorituskykyä päästä eroon melu, mutta säilyttää yksityiskohdat hämärässä, paitsi mitä voit tehdä perinteisillä tekniikoilla, kuten kaikkien tavallisten suodattimien kanssa käyttää.

"Sinun ei tarvitse huolehtia valokuviesi retusoinnista, tekoälymoottori varmistaa, että ne on optimoitu jatkossa."

Toinen alue, johon kosketin videota, on HDR. Käytämme AI-moottoria yhdessä otettujen valokuvien kanssa parhaille kohtauksille. Joten asia, jonka voimme tehdä tekoälyssä kuvan automaattiseen säätämiseen, on älykäs retusointi, jossa teemme sisällöntietoista käsittelyä sävylliselle sisällölle, varjosisällölle, korostuksille ja väreille.

Se on jotain, jonka uskomme olevan todella voimakas; sinun ei tarvitse huolehtia puhelimesi retusoinnista, tekoälymoottori varmistaa, että ne ovat täysin optimoituja kaikilla näillä alueilla tulevaisuudessa.

Kolmas alue, josta ihmiset eivät välttämättä ajattele, on kasvojentunnistus. Aiemmin olemme käyttäneet perinteisempiä tekniikoita, kun kamera on aktiivinen kasvojen havaitsemiseen, ja se todella ajaa kameran toimintaa. Kun kamera näkee, että kuvassa on kasvot, se käyttää kyseisiä kasvoja joidenkin 3A-prosessin kohteiden hallintaan. Se voi käyttää kasvoja määrittämään, onko sinulla oikea valotus, tai se voi käyttää kasvoja automaattisen tarkennuksen automaattiseksi pisteeksi.

Tulevaisuudessa luulen, että käytämme enemmän syvällistä oppimista, jossa voimme käyttää tekoälymoottoria havaitsemaan kasvot tarkemmin ja vähemmän vääriä positiivisia. Pystymme olemaan paljon joustavampia määritettäessä, voidaanko kasvot havaita eri suunnissa, etäisyyksillä jne.

Sony a7 III -laitteessani on ominaisuus, jonka avulla voit ottaa kuvan tietyistä kasvoista ja kertoa kamera priorisoimaan kiinnostavan henkilön esimerkiksi automaattitarkennuksen suhteen, vaikka muut kasvot olisivatkin ammuttu. Voisimmeko nähdä jotain tulevaisuudessa puhelimessa?

Voit tehdä sen melko helposti tekoälyn avulla menemättä syvälle turvallisuuteen ja asioihin, jotka sinun on tehtävä tunnistaaksesi kasvot esimerkiksi maksuista ja avaamalla puhelimesi lukituksen. Voit tehdä tämän periaatteessa vain kameran sisällä ja tietää, ovatko kasvot A vai B-kasvot - ei välttämättä, jos puhelimen lukituksen pitäisi olla kasvot, vaan vain kiinnostavat kasvot. Se on kaikki mahdollista, ja se on mahdollista sillä päivitetyllä moottorilla, jonka teemme syvälliseen kasvojen tunnistamiseen.

Ja minun on vain kysyttävä. Canonin äskettäin julkistama EOS R5 pystyy tietysti kuvaamaan 8K-videota, mutta mielenkiintoisempi minulle on sen kyky kuvata yli näytteistettyä 4K-kameraa, joka tiivistää tietoja 8K-lähdemateriaalista terävämmän 4K-videon saamiseksi ilman, että sinun tarvitsee tehdä sitä itse postitse ja käsitellä massiivisia tiedostokokoja 8K: sta. Voisimmeko nähdä jotain puhelimissa jossain vaiheessa, vai palauttaako tämä takaisin lämmitykseen ja bittinopeuteen liittyviä rajoituksia?

Se on hyvä kysymys. Se on jotain, mitä OEM-valmistajat saattavat tehdä; tietysti tarjoamme natiivimoodit 4K- ja 8K-kuvaamiseen, mutta koska 8K on myös melko nälkäinen, on varmasti kannattavaa tehdä joko ylös- tai alas-muunnos. Yksi asioista - ehkä ongelma päinvastaisessa järjestyksessä -, jota myös tarkastelemme, on älykäs videoiden skaalaaminen.

Tänään valokuvapuolella voit käyttää useita kehyksiä luoda enemmän pikseleitä ja saada tiheämmän tarkkuuden kuva, mutta sama asia on myös videossa. Voit kuvata pienemmällä tarkkuudella ja käyttää kameran pieniä liikkeitä kehyksestä kehykseen jopa jopa kolminkertaiseksi muuntamiseksi ilman havaittavaa heikkenemistä.

Halusin kysyä myös yleiskustannuksista, kun Qualcomm tukee niin monia erilaisia ​​älypuhelimia eri tavoin valmistajien kanssa ja täyttävät kunkin erilaiset vaatimukset, kun yritykset yrittävät erottaa itsensä ainutlaatuisten kameran ominaisuuksien avulla. Varsinkin nyt, kun näemme useita kameroita melkein jokaisessa puhelimessa hinnasta riippumatta - siitä on oltava paljon huolta.

Se on! Koska kamera on niin tärkeä ominaisuus, jokainen OEM haluaa erottaa kameransa. Joten Qualcomm julkaisee laitteistoalustan ja kameran ohjelmiston, jolla on lukuisia ominaisuuksia, mutta tietysti yksi OEM haluaa olla erilainen kuin toinen OEM. Joten he valitsevat erilaisia ​​linssejä, erilaisia ​​kuvakennoja ja järjestävät anturit eri tavalla edessä ja takana he lisäävät esimerkiksi syvyysantureita tai laseravusteista tarkennusta tai makroa kamerat ...

Monet asiakkaat haluavat myös tehdä eron ohjelmistossa. Ehkä he haluavat tehdä oman algoritminsa; tehdä tietty toiminto kamerassa yksin; he haluavat hieman parantaa tapaa, jolla jotain Demosaicia tehdään.

"Meillä on todella vahva kolmansien osapuolten palveluntarjoajien verkosto, jota todella vaalimme."

Joten haasteena on kaikkien näiden mukautusten ja erilaistumisten huolto, mutta meillä on todella hyvä järjestelmäryhmä ja asiakassuunnittelutiimi, jonka tehtävänä on varmistaa, että asiakkaat menestyvät ja voivat integroida omansa ominaisuudet.

Yksi asia, joka todella erottaa Qualcommin muista kameran IP-osoitteita tarjoavista toimittajista, on se, että meillä on todella vahva verkosto kolmansien osapuolten tarjoajia, jotka vaalimme todella ja haluamme varmistaa, että kun meillä on kolmannen osapuolen palveluntarjoaja, joka saattaa työskennellä asiakkaan kanssa, työskentelemme kaikki yhdessä.

Kun olemme tekemisissä OEM-valmistajan kanssa ja he ovat tekemisissä kolmannen osapuolen, kuten Morphon tai ArcSoftin kanssa, kolmas osapuoli on suoraan yhteydessä myös meihin. Joten jos he haluavat tehdä jotain kolmikameroilla tai tekoälyllä, teemme yhteistyötä kolmannen osapuolen kanssa varmistaaksemme, että heillä on uusin ja paras kehitysalustat, perusohjelmistot ja sovellusliittymät ja että heillä on kyky hyödyntää laitteistolohkojamme sekä sisä- että ulkopuolella kamera.

Android Central Podcast # 452: Keskustelu Qualcommin kanssa

Jotain, mitä kolmas osapuoli saattaa tehdä prosessorissa, he saattavat huomata, että he voivat tehdä sen pienemmällä teholla, jos he käyttävät jotakin Internet-palveluntarjoajamme tai tietokoneemme näkemystä - EVA-moottoria. Ehkä jos he siirtävät algoritmin prosessorista DSP: hen, kuten HVX (Hexagon Vector Extensions) -moottori, he saattavat saada paremman suorituskyvyn ja pienemmän tehon. Olemme erittäin tiiviissä yhteydessä jokaisen kolmannen osapuolen verkon ISV: n (riippumaton ohjelmistotoimittaja) kanssa varmistaaksemme Kaikki ratkaisut, joita keksimme auttaaksemme OEM: n räätälöintiä, ovat yhtä virtaviivaisia ​​ja pienitehoisia kuin mahdollista.

Eräänlainen osa tästä kysymyksestä, miten tasapainotat Qualcommin omat ja tietyn asiakkaan ominaisuusjoukot? Palatakseni Googleen, haluaisin nähdä, että Pixel 4: n astrofotografiatila tulee muihin puhelimiin, mutta mihin vedät rajan ja jätät tällaisen kehityksen OEM-valmistajalle?

Se on jatkuva asia, mistä ajattelemme. Kuinka tasapainotamme sitä? Kuinka annamme OEM- ja ISV-laitteidemme erottaa toisistaan ​​verrattuna ominaisuuksiin, joiden kanssa aiomme tulla esiin perusviivat, jotka saattavat mennä kaikille, ja puolestaan ​​poistaa erottelun joistakin erityisistä OEM-valmistajat? Mielestäni liikkeellepaneva voimamme on - se on kaksi asiaa. Kaikki mielestämme parantaa kamerakokemusta ja työntää koko ekosysteemiä eteenpäin, haluamme lähestyä sitä käyttäjäkokemuksen näkökulmasta koko toimialalla.

Joten jos on olemassa tietty ominaisuus, jonka uskomme hyödyttävän kaikkia ja todella työntävän koko mobiilikamerajärjestelmän enemmän kohti peilittömän kameran tapaa, integroimme sen. Toinen asia, jota tarkastelemme, on kuvanlaatu. Jos se vaikuttaa nimenomaan kuvanlaatupisteisiin esimerkiksi DxOMarkin kaltaisesta kolmannen osapuolen vertailuanalyysitalosta, haluamme, että tämä ominaisuus on talossa. Tällaisia ​​asioita ovat esimerkiksi zoomaus tai kohinanvaimennus, kasvojen parempi tunnistus, segmentoitu käsittely, HDR ja niin edelleen. mitattuna alalla, joten haluamme varmistaa, että tarjoamme kaikille asiakkaillemme nämä alueet yhtä optimoidusti kuin ne voi olla.

Joten nämä ovat kaksi ajotekijää; emme halua astua asiakkaidemme ja kolmansien osapuolten verkoston varpaille, jotka saattavat haluta innovaatioita, mutta toisaalta, jos se todella työntää koko ekosysteemiä eteenpäin tai jos se vaikuttaa johonkin DxOMark-pisteeseen, haluamme todella yrittää tarjota sitä kaikille liikkua kaikessa eteenpäin.

Mainitsit aiemmin, kuinka Qualcomm haluaa parantaa saumattomaa siirtymistä linssien välillä lähennettäessä ja loitonettaessa. Tein juuri takautuvan katsauksen viime vuoden Galaxy Note 10: stä, ja minuun vaikutti silti, kuinka johdonmukainen kuva on jokaisessa linssissä. Tietysti on pieniä eroja; Erityisesti erittäin leveä on nopeampi puhaltaa kohokohtia, mutta värit ovat todella paikalla, ja vaikka linssien välillä siirtymisessä on sekunnin viive, se on erittäin vaikuttava. Olen innoissani siitä, että se paranee entisestään.

Se ei ole helppoa. Sinulla on kolme erilaista kuvakennoa, ja yleensä ne eivät ole edes saman tyyppisiä kuvakennoja. Sinulla on useita linssejä, sinun on viritettävä nämä kamerat siten, että väri on täynnä; että tarkennuksen siirtymä ja valotus ovat samat; valkotasapaino on sama; väri on sama; perusrakenne ja melun viritys on sama... muuten silmäsi näkee sen. On todella hyvä poimia nämä epäjatkuvuudet.

Yritämme rakentaa yhä useampia koukkuja laitteistoihin, jotka voidaan tehdä helposti siirtyessäsi, ja kun siirryt laajasta ultralaajaan, kyse ei ole vain näiden parametrien sovittamisesta. Kyse on myös siitä, kun olet siinä siirtymävaiheessa, jossa sanoit olevan pieni viive; näiden kahden kuvan välillä on myös fuusio, jotta voidaan varmistaa, että näiden kuvien suunta ja kokoonpano on kuollut. tosiasiallisesti tehty reaaliajassa Internet-palveluntarjoajan laitteistolohkolla, joka hallitsee suuntaa ja vääntymistä saadakseen nämä kaksi kuvaa riviin täydellisesti.

Siinä on paljon, varsinkin niillä todella pienillä siirtymäalueilla, joilla haluat sen olevan erittäin sileä; sen takana on paljon laitteistoa.