Siit saate teada, kuidas Qualcomm kavatseb mobiilset fotograafiat igaveseks muuta

Nutitelefonide fotograafia on viimase paari aasta jooksul tõesti kaugele jõudnud, kuid video pole tingimata nii palju edusamme teinud. Meil on näiteks 8K video, mis on suurepärane, kuid bitikiirus on muidugi siiski üsna piiratud, kuna töötame piiratud riistvaraga. Kas on mingit suurt sammu edasi, mida võime oodata eelkõige videopoolel?

Heape: Video on palju keerukam tänu andmeedastuskiirusele ja eraldusvõimetele, mis läbivad ISP-d (pildisignaali protsessor). Muidugi saate hetktõmmise jaoks alati alati asju taustal töödelda või on foto viivituseks natuke aega ilmub galeriis, kuid videote puhul on teil väga ranged ajastustähtajad, millest peate kinni pidama iga singli puhul raam. On oluline, et videot tehakse riistvaraliselt ja see on optimeeritud toite jaoks, nii et telefon ei sulaks teie käes, kui proovite näiteks 8K30 videot filmida.

Olen varem rääkinud kolme kaamera ühendamisest, kus saate sujuvalt suumida ülilaiult laiele teleobjektiivini. Seda parandatakse, et see oleks tulevastes versioonides palju sujuvam ja hõlpsamini kontrollitav. Muidugi tahame teha palju tööd ka HDR-videokogemuse parandamiseks, et kogu süsteem saaks pildiandurites ilmuvad uuendused nelja CFA-põhise (värvifiltri massiivi) HDR, järk-järgult HDR, mitme kaadri jaoks HDR... need on tõesti toredad funktsioonid, mis mõjutavad mitte ainult hetktõmmiste kvaliteeti, vaid ka videosalvestatud voogu ja pildiotsijat.

Pikslitöötluse osas pühendame ka edaspidi videole rohkem riistvara. Varem oleme teinud selliseid asju nagu kohalik liikumiskompensatsioon, et saaksite müra käsitseda, mitte ainult koos liikumisobjektide ja globaalsete liikuvate objektidega, aga ka objektidega, mis liiguvad kohapeal raam. Samuti kasutame ära oma sügavus- ja liikumismootoreid, et teha videos näiteks bokehi, mida saab teha igal ajal eraldusvõimega ja kaugemas tulevikus uurime video sisu mõistmist ja seda, millest igaüks neist aru saab pikslit on.

Ma vihjasin sellele varem, kui Morpho rääkis semantilisest segmenteerimisest; kui kaamera saab pikslitest aru, olgu see siis nahk, kangas, rohi, taevas jne, on need tüüpi arusaamad, mis aitavad neid erinevaid piksleid töödelda selliste tegurite jaoks nagu värv, tekstuur ja müra. Tulevikus teeme seda mitte ainult hetktõmmise, vaid ka video jaoks.

Ma arvan, et esimene video bokeh-efekt, mida nägin, oli eelmisel aastal LG G8-l. Võib-olla pole see olnud päris portreerežiimis foto tegemise tasemel, kuid siiski muljetavaldav. Muidugi suudab Google'i Pixeli liin teha ka uskumatuid asju, näiteks semantilist segmenteerimist ja erinevaid öiseid režiime.

Soovime paljud neist funktsioonidest videotele teisaldada; see on järgmine loogiline samm. Kuid video on juba toiteprobleem, eriti kui pildistate näiteks 8K30 või 4K120, nii et lisage need funktsioonid peale juba küllastunud termilise eelarve on väljakutse, kuid sellega me ka tegeleme tulevik.

Ja selle tagaküljel, milliseid edusamme Qualcomm töötab asjade fotograafiline külg selliste funktsioonide osas nagu portreerežiim ja muud tüüpi looming pildistusrežiimid?

Otsime nüüd kaamera laiendamise heterogeenseks arvutamiseks laiendamist ja veendumaks, et kaamera tõepoolest töötab AI-mootoriga ja suhtleb sujuvalt Snapdragon. Fotode jaoks, mida näete meid tulevikus rohkem tegemas, on tehisintellekti kasutamine näiteks denoosimiseks ja võime vabanemiseks tõeliselt hea tulemuse saada müra, kuid säilitades detailid hämaras, lisaks sellele, mida saate teha traditsiooniliste tehnikatega, näiteks standardsete filtritüüpidega, mida kõik saavad kasutada kasutab.

"Te ei pea oma fotode retušeerimise pärast muretsema, tehisintellekti mootor tagab, et need on edaspidigi täielikult optimeeritud."

Teine valdkond, mida ma videoga puudutasin, on HDR. Stseeni parimate osade valimiseks kasutame tehisintellekti mootorit koos jäädvustatud fotodega. Nii et asi, mida võime tehisintellekti abil pildi automaatseks kohandamiseks teha, on intelligentne retušeerimine, kus me töötleme sisuteadlikku toonisisu, varjusisu, esiletõstude ja värvide töötlemist.

See on midagi, mis meie arvates on tõeliselt võimas; te ei pea oma telefonide viimistlemise pärast muretsema, tehisintellekti mootor tagab, et need on kõigis nendes valdkondades tulevikus optimeeritud.

Kolmas valdkond, millele inimesed tingimata ei mõtle, on näotuvastus. Varem oleme kasutanud tavapärasemaid tehnikaid, kui kaamera on nägude tuvastamiseks aktiivne, ja see juhib tegelikult kaamera toimimist. Kui kaamera näeb, et pildil on nägu, kasutab ta seda nägu 3A protsessi mõne üksuse haldamiseks. See võib kasutada nägu, et teha kindlaks, kas teil on õige säritus, või kasutada nägu automaatse teravustamise automaatseks punktiks.

Tulevikus arvan, et kasutame rohkem süvaõppimise lähenemisviisi, kus saame kasutada oma tehisintellekti mootorit, et nägusid täpsemini ja vähem valepositiivsusega tuvastada. Saame olla palju paindlikumad, kui otsustame, kas nägusid on võimalik tuvastada erinevates suundades, kaugustel jne.

Minu Sony a7 III-s on funktsioon, mis võimaldab teil konkreetsest näost pilti teha ja seda öelda kaamera, et eelistada huvipakkuvat inimest näiteks autofookuse jaoks, isegi kui teised näod on pildil maha lastud. Kas see on midagi, mida võime tulevikus telefonis näha?

Tehisintellektiga saate seda teha üsna lihtsalt, ilma et läheksite sügavamale turvalisusele ja asjadele, mida peate nägude tuvastamiseks tegema näiteks maksete ja telefoni avamiseks. Põhimõtteliselt saate seda teha lihtsalt kaamerasiseselt ja teada, kas see on nägu A või nägu B - mitte tingimata, kui see nägu peaks telefoni avama, vaid lihtsalt huvi pakkuv nägu. See on kõik võimalik ja saab võimalikuks selle uuendatud mootori abil, mida teeme näo sügavaks õppimiseks.

Ja ma lihtsalt pean küsima. Canoni hiljuti välja kuulutatud EOS R5 suudab ilmselgelt 8K videot filmida, kuid minu jaoks on huvitavam võime kaadrisiseselt üle võtta 4K valimit, mis koondab teavet 8K allikamaterjalilt, et saavutada teravam 4K video, ilma et peaksite seda ise postituses tegema ja tohutute failisuurustega tegelema 8K-st. Kas see on midagi, mida me võime telefonidel mingil hetkel näha, või kas see kutsub tagasi kütte ja bitikiirusega seotud piirangutele?

See on hea küsimus. Seda võivad meie originaalseadmete tootjad teha; loomulikult pakume 4K- ja 8K-formaadis pildistamiseks natiivrežiime, kuid kuna ka 8K on üsna energianäljane, on kindlasti mõistlik kas üles- või allapoole teisendada. Üks asi - võib-olla on probleem vastupidine - mida me ka vaatame, on video arukas suurendamine.

Täna saate foto küljel kasutada mitu kaadrit, et luua rohkem piksleid ja saada tihedama eraldusvõimega pilt, kuid sama on võimalik ka videos. Võite pildistada väiksema eraldusvõimega ja kasutada kaameras olevaid kergeid liigutusi kaaderilt kaadrile, et isegi üles teisendada, võib-olla isegi 3x, ilma et see oleks märgatavalt halvenenud.

Tahtsin küsida ka üldkulude kohta, kui Qualcomm toetab nii palju erinevaid nutitelefone erinevatest tootjad ja vastates igaühe erinevatele nõudmistele, kui ettevõtted üritavad kaamera ainulaadsete funktsioonide abil eristuda. Eriti nüüd, kui näeme mitu kaamerat peaaegu igas telefonis, olenemata hinnast - see peab olema palju muret.

See on! Kuna kaamera on nii oluline funktsioon, soovib iga originaalseadmete tootja oma kaameratel vahet teha. Nii et Qualcomm vabastab riistvaraplatvormi ja kaameratarkvara, millel on hulgaliselt võimalusi, kuid siis tahab muidugi üks OEM erineda teisest OEM-ist. Nii et nad valivad erinevad objektiivid, erinevad pildiandurid, nad korraldavad andureid erinevalt eest ja tagant lisavad nad selliseid asju nagu sügavusandurid või laseriga fokuseeritud või makro kaamerad ...

Paljud kliendid soovivad ka tarkvaras eristada. Võib-olla tahavad nad ise oma algoritmi teha; iseseisvalt kaameras konkreetset funktsiooni teha; nad tahavad veidi parandada seda, kuidas midagi sellist nagu Demosaic tehakse.

"Meil on tõeliselt tugev kolmandate osapoolte pakkujate võrgustik, mida me tegelikult hooldame."

Seega on meie väljakutseks kõigi nende kohanduste ja eristuste teenindamine, kuid meil on tõeliselt hea süsteemimeeskond ja klienditehnika meeskond, kelle ülesanne on ööpäevaringselt tagada klientide edukus ja oma integreerimine Funktsioonid.

Üks asi, mis eristab Qualcommi teistest kaamera IP-d pakkuvatest müüjatest, on see, et meil on tõesti tugev kolmandate osapoolte pakkujate võrk, mis me tõesti kasvatame ja tahame veenduda, et kui meil on mõni kolmas osapool pakkuja, kes võib-olla töötab kliendiga, töötame kõik koos.

Kui me tegeleme OEM-iga ja nad on seotud kolmanda osapoolega, nagu Morpho või ArcSoft, on kolmas osapool ka meiega otse ühenduses. Nii et kui nad tahavad midagi teha kolmekordse kaamera või tehisintellektiga, teeme selle kolmanda osapoolega koostööd veendumaks, et neil on uusim ja parim arendusplatvormid, baastarkvara ja API-d ning et neil on võimalus kasutada meie riistvaraplokke nii siseruumides kui ka väljaspool kaamera.

Android Central Podcast # 452: Vestlus Qualcommiga

Midagi, mida kolmas isik võib protsessoris teha, võivad nad leida, et nad saavad seda teha väiksema võimsusega, kui nad kasutavad mõnda meie Interneti-teenuse pakkuja või meie arvuti visiooni - meie EVA-mootori plokki. Võib-olla, kui nad liigutavad algoritmi protsessorilt DSP-le, nagu HVX (Hexagon Vector Extensions) mootor, võivad nad saavutada parema jõudluse ja väiksema võimsuse. Oleme selles veendumiseks väga tihedalt seotud kõigi ISV-dega (sõltumatu tarkvaramüüja) meie kolmanda osapoole võrgus et mis tahes lahendused, mille me OEM-i kohandamiseks välja pakume, on sama sujuv ja vähese energiatarbega kui võimalik.

Omamoodi selle küsimuse osa, kuidas tasakaalustada Qualcommi enda ja konkreetse kliendi omadusi? Google'i juurde tagasi tulles näeksin hea meelega, et Pixel 4 astrofotograafia režiim jõuaks teiste telefonide juurde, aga kuhu tõmmata piir ja jätta selline areng OEM-le?

See on pidev asi, millele mõtleme. Kuidas seda tasakaalustada? Kuidas laseme oma originaalseadmetel ja ISV-del eristuda, võrreldes milliste funktsioonidega me välja tuleme lähtejooned, mis võivad kõigile välja minna ja mis omakorda eemaldavad selle eristamise mõnest konkreetsest Originaalseadmete tootjad? Ma arvan, et meie liikumapanev jõud on - see on kaks asja. Kõik, mis meie arvates aitab kaamerakogemust parandada ja kogu ökosüsteemi edasi lükata, tahame sellele läheneda kogu tööstuse kasutajakogemuse vaatenurgast.

Nii et kui on olemas teatud funktsioon, mis meie arvates on kasulik kõigile ja tõepoolest kogu mobiilse kaamerasüsteemi pigem peeglita kaamera sarnase poole, integreerime selle. Teine asi, mida me vaatame, on pildikvaliteet. Kui see mõjutab midagi, mis mõjutab näiteks näiteks kolmanda osapoole võrdlusuuringute maja, näiteks DxOMark, pildikvaliteedi skoori, siis soovime, et see võime oleks majas. Suumi või müra vähendamise, nägude parema tuvastamise, segmenteeritud töötlemise, HDR-i jms puhul on need kõik asjad, mida valdkonnas mõõdetuna, seega tahame olla kindel, et kõigile klientidele pakutav pakkumine on neid alasid sama optimeeritud kui nad võib olla.

Nii et need on kaks juhtivat tegurit; me ei taha astuda oma klientide ja kolmandate osapoolte võrgustiku varvastele, kes võivad soovida uuendusi, kuid teisest küljest, kui see tõesti lükkab kogu ökosüsteemi edasi või kui see mõjutab midagi DxOMarki skoori sarnast, tahame tõesti proovida seda kõigile pakkuda, et kõik liigutada edasi.

Mainisite varem, kuidas Qualcomm soovib suumimisel objektiivide vahel sujuvat üleminekut parandada. Tegin just eelmise aasta Galaxy Note 10 retrospektiivse ülevaate ja mulle avaldas endiselt muljet, kui järjepidev on pildistamine igas objektiivis. Loomulikult on väikseid erinevusi; eriti ülilaius on kiiremini esiletõstetud kohti välja puhunud, kuid värvid on tõesti täpilised ja kuigi läätsede vahel üleminekul on sekundi murdosa, on see väga muljetavaldav. Mul on hea meel näha, et see veelgi paraneb.

See pole lihtne. Teil on kolm erinevat pildisensorit ja tavaliselt pole need isegi sama tüüpi pildisensorid. Teil on mitu objektiivi, peate need kaamerad häälestama nii, et nende värv oleks täpne; et fookuse üleminek ja säritus on samad; valge tasakaal on sama; värv on sama; põhiline tekstuur ja müra häälestamine on sama... muidu näeb su silm seda. See on tõepoolest hea, et neid katkestusi üles korjata.

Püüame riistvarasse ehitada üha rohkem konksusid, mida saab üleminekul hõlpsasti teha, ja kui lähete laielt ülilaiale, ei tähenda see ainult nende parameetrite sobitamist. See on ka umbes siis, kui olete selles üleminekupunktis, kus ütlesite, et on väike viivitus; nende kahe pildi vahel toimub ka sulandumine, et veenduda, et nende piltide suund ja järjestus on surnud, ja see on tegelikult reaalajas tehtud Interneti-teenuse pakkuja riistvaraplokiga, mis haldab nende kahe pildi suunda ja painutamist täiuslikult.

Selles on palju, eriti nendes tõeliselt väikestes üleminekupiirkondades, kus soovite, et see oleks eriti sujuv; selle taga on palju riistvara, mis selle teoks teeb.