Így tervezi a Qualcomm a mobil fotózás örök megváltoztatását

Az okostelefonos fotózás valóban hosszú utat tett meg az elmúlt években, de a videó nem feltétlenül tett annyi lépést. Van például 8K videónk, ami remek, de a bitráta természetesen még mindig meglehetősen korlátozott, mert korlátozott hardverrel dolgozunk. Van valami nagy előrelépés, amire számíthatunk különösen a videó oldalon?

Heape: A videó sokkal nagyobb kihívást jelent az adatátviteli sebesség és az ISP-n (képjelfeldolgozó) átmenő felbontások miatt. A Pillanatfelvételhez természetesen mindig feldolgozhatja a dolgokat a háttérben, vagy egy kis késéssel rendelkezhet a fényképig megjelenik a galériában, de a videóval valóban szigorú időzítési határidőket kell megadnod, amelyeket minden egyes egyesnél be kell tartanod keret. Fontos, hogy a videofelvételek hardveresen készüljenek, és hogy energiára optimalizáltak legyenek, hogy a telefon ne olvadjon meg a kezedben, amikor például 8K30 videofelvételt próbálsz készíteni.

Korábban beszéltem három kamera egyesítéséről, ahol zökkenőmentesen nagyíthat az ultraszélestől a széles és a teleobjektív között. Ez tovább fog javulni, hogy sokkal gördülékenyebb és könnyebben ellenőrizhető legyen a jövőbeni felülvizsgálatok során. Természetesen sok munkát szeretnénk tenni a videók HDR-élményének javítása érdekében, hogy az egész rendszer a képérzékelőkben megjelenő újítások a négy CFA-alapú (színes szűrő tömb) HDR, lépcsőzetes HDR, több képkocka elkészítéséhez HDR... ezek nagyon szép funkciók, amelyek nemcsak a Pillanatfelvételek minőségét, hanem a rögzített videofolyamot és a keresőt is befolyásolják.

A pixelfeldolgozás tekintetében a jövőben is több hardvert fordítunk a videókra. Korábban olyan dolgokat hajtottunk végre, mint a helyi mozgáskompenzáció, hogy ne csak a zajokat kezelhesse panorámával és globálisan mozgó objektumokkal, de olyan objektumokkal is, amelyek lokálisan mozognak a keret. Kihasználjuk a mélység és mozgás motorjainkat is, hogy olyan dolgokat hajtsunk végre, mint például a bokeh a videóban, ami bármikor elvégezhető felbontás, és a távoli jövőben megvizsgáljuk a videó tartalmának megértését és az egyes tartalmakat pixel van.

Erre már korábban utaltam, amikor Morpho szemantikai szegmentálódásról beszélt; amikor a pixeleket megérti a kamera, legyen az bőr, szövet, fű, ég stb., akkor ezek a típusú megértések, amelyek segítik a különböző pixelek feldolgozását olyan tényezőknél, mint a szín, a textúra és a zaj. A jövőben ezt nem csak a Pillanatkép, hanem a videó számára is meg fogjuk tenni.

Azt hiszem, az első videó bokeh effektust tavaly az LG G8-on láttam. Lehet, hogy nem volt egészen olyan, mintha portré módban fotózna, de mégis lenyűgöző volt. Természetesen a Google Pixel vonala hihetetlen dolgokra képes, mint például a szemantikus szegmentálás és a különféle éjszakai módok.

Sok ilyen funkciót szeretnénk videóba helyezni; ez a logikus következő lépés. De a videó már áramellátási probléma, főleg, ha mondjuk 8K30 vagy 4K120 videofelvételeket készít, tehát adja hozzá ezeket A már amúgy is meglehetősen telített hőköltségvetésen felüli funkciók kihívást jelentenek, de ezen dolgozunk a jövő.

És ennek a másik oldalán milyen előrelépésekkel dolgozik a Qualcomm a a dolgok fényképészeti oldala olyan jellemzők tekintetében, mint a portré mód és más típusú kreatív felvételi módok?

Most azt várjuk, hogy kibővítsük a kamera elérhetőségét heterogén számítástechnikára, és győződjön meg arról, hogy a kamera valóban kapcsolódik-e és zökkenőmentesen kommunikál-e a bekapcsolt AI motorral Tátika. Fényképekhez, amire a jövőben többet fogunk látni, az AI-t használja például denoisingra, és nagyon jó teljesítményt nyerhetünk a megszabaduláshoz zaj, de megőrzi a részleteket gyenge fényviszonyok mellett, azon túl, amit hagyományos technikákkal megtehet, például a mindenki számára szokásos típusú szűrőkkel használ.

"Nem kell aggódnia a fényképek retusálása miatt, az AI motor gondoskodik arról, hogy a jövőben teljesen optimalizálódjanak."

Egy másik terület, amelyet videóval érintettem, a HDR. Az AI motort a rögzített fényképekkel együtt a jelenet legjobb részeinek kiválasztásához használjuk. Tehát az AI segítségével a kép automatikus beállításához intelligens retusálás szolgál, ahol tartalomtudatos feldolgozást végzünk a tonális tartalom, az árnyéktartalom, a kiemelések és a színek szempontjából.

Úgy gondoljuk, hogy ez valóban hatalmas lesz; nem kell aggódnia a telefonok retusálása miatt, az AI motor gondoskodik arról, hogy a jövőben ezeken a területeken teljesen optimalizáltak legyenek.

A harmadik terület, amelyre az emberek nem feltétlenül gondolnak, az arcfelismerés. Korábban hagyományosabb technikákat alkalmaztunk, amikor a kamera aktív az arcok észlelésére, és valójában ez vezérli a kamera működését. Amikor a kamera látja, hogy van egy arc a képen, akkor ezt az arcot használja a 3A folyamat néhány elemének kezelésére. Az arc segítségével meghatározhatja, hogy megfelelő-e az expozíció, vagy használhatja az arcot az automatikus élességállítás automatikus pontjául.

A jövőben úgy gondolom, hogy inkább a mélytanulási megközelítést alkalmazzuk, ahol AI-motorunkkal pontosabban és kevesebb hamis pozitív eredménnyel ismerhetjük fel az arcokat. Sokkal rugalmasabban tudunk dönteni arról, hogy az arcok különböző irányokban, távolságokban stb. Észlelhetők-e.

A Sony a7 III-omon van egy olyan funkció, amely lehetővé teszi, hogy fényképet készítsen egy adott arcról, és elmondja az kamera, hogy prioritásként kezelje az érdeklődőt például autofókusz esetén, akkor is, ha más arcok vannak a kamerában lövés. Lehetséges, hogy ezt láthatjuk a jövőben egy telefonban?

Ezt nagyon egyszerűen megteheti az AI-vel anélkül, hogy elmélyülne a biztonságban és azokban a dolgokban, amelyeket meg kell tennie, hogy felismerje az arcokat például a fizetések és a telefon feloldása érdekében. Alapvetően ezt csak a kamerán belül teheti meg, és tudja, hogy A vagy B arcról van-e szó - nem feltétlenül, ha a telefon feloldásához állítólag az arcról van szó, hanem csak egy érdeklődésre számot tartó arcról. Ez minden lehetséges és lehetséges lesz azzal a továbbfejlesztett motorral, amelyet a mély tanulási arcfelismeréshez fogunk használni.

És csak kérdeznem kell. A Canon nemrégiben bejelentett EOS R5-je nyilvánvalóan képes 8K-s videók készítésére, de számomra érdekesebb, hogy képes túlmintás 4K-s fényképezésre, sűríti az információkat a 8K-s forrásanyagból, hogy élesebb 4K videót érjen el, anélkül, hogy önnek kellene ezt postán elvégeznie és kezelnie a hatalmas fájlméretet 8K-ból. Valamit láthatunk valamikor a telefonokban, vagy ez visszahívja a fűtésre és a bitrátára vonatkozó korlátozásokat?

Ez egy jó kérdés. Ezt tehetnék az OEM-ek; Természetesen natív módokat kínálunk 4K és 8K felbontású felvételek készítéséhez, de mivel a 8K is elég energiaigényes, mindenképpen életképes akár fel-, akár lefelé átalakítani. Az egyik dolog - talán a probléma fordítva - azt is vizsgáljuk, hogy a videók intelligens feljavítása.

Ma a fotóoldalon több képkockával több képpontot hozhat létre, és sűrűbb felbontású képet kaphat, de ugyanez a videóban is lehetséges. Alacsonyabb felbontással készíthet felvételeket, és a fényképezőgép enyhe mozdulatait képkocka-képkocka mellett akár 3-szoros felkonvertálásig is használhatja, észrevehető romlás nélkül.

Azt is meg akartam kérdezni a rezsiről, amikor a Qualcomm nagyon sokféle okostelefont támogat, különbözőekből gyártók, és megfelelnek a különféle igényeknek, miközben a cégek egyedi fényképezőgép-tulajdonságokkal próbálnak megkülönböztetni magukat. Különösen most, amikor nagyjából minden telefonon több kamerát látunk, ártól függetlenül - ez sok aggodalomra ad okot.

Ez! Mivel a kamera olyan fontos funkció, minden OEM meg akarja különböztetni kameráit. Tehát a Qualcomm kiadja a hardverplatformot és a kamera szoftvert, amely rengeteg képességgel rendelkezik, de akkor természetesen az egyik OEM különbözni akar egy másik OEM-től. Tehát különböző lencséket, különböző képérzékelőket választanak, az érzékelőket másképp rendezik elöl és hátul olyan dolgokat adnak hozzá, mint mélységérzékelők vagy lézeres fókusz vagy makró kamerák ...

Sok ügyfél különbséget akar tenni a szoftverben is. Talán saját algoritmust akarnak csinálni; önállóan elvégezni egy adott funkciót a kamerában; némileg szeretnének javítani azon, hogy valami hasonlót csinálnak, mint a Demosaic.

"Nagyon erős harmadik fél szolgáltatók hálózata van, amelyeket valóban ápolunk."

Tehát a kihívás az összes testreszabás és differenciálás kiszolgálása, de nagyon jó rendszercsoportunk van és az ügyfélmérnöki csapat, amelynek napi 24 órában az a feladata, hogy megbizonyosodjon arról, hogy az ügyfelek sikeresek és integrálni tudják sajátjaikat jellemzők.

Az egyik dolog, ami igazán megkülönbözteti a Qualcommot a kamera IP-t biztosító többi gyártótól, az az, hogy valóban erős a harmadik féltől származó szolgáltatók hálózata, valóban ápoljuk, és szeretnénk megbizonyosodni arról, hogy ha van egy külső szolgáltatónk, amely esetleg egy ügyféllel dolgozik, akkor mindannyian együtt dolgozunk.

Amikor OEM-szel állunk kapcsolatban, és olyan harmadik féllel van kapcsolatban, mint a Morpho vagy az ArcSoft, akkor a harmadik fél velünk is közvetlen kapcsolatban áll. Tehát, ha hármas kamerákkal vagy AI-vel akarnak valamit csinálni, akkor együtt fogunk működni azzal a harmadik féllel, hogy megbizonyosodjunk arról, hogy a legfrissebb és a legjobb fejlesztési platformok, alapszintű szoftverek és API-k, és képesek kihasználni hardverblokkjainkat, mind a kamera.

Android Central Podcast # 452: Beszélgetés a Qualcomm-tal

Valami, amit a harmadik fél tehet a CPU-ban, azt tapasztalhatja, hogy alacsonyabb energiával képes megtenni, ha az internetszolgáltatónkban vagy a számítógépes látásmódunkban - az EVA motorunkban - valamilyen blokkot kihasználnak. Talán, ha az algoritmust CPU-ról DSP-re helyezik át, mint például a HVX (Hexagon Vector Extensions) motor, jobb teljesítményt és alacsonyabb teljesítményt érhetnek el. Nagyon szoros kapcsolatban vagyunk harmadik fél hálózatának minden ISV-jével (független szoftvergyártóval), hogy megbizonyosodjunk róla hogy bármilyen megoldást kínálunk az OEM testreszabásának elősegítésére, ugyanolyan korszerű és alacsony fogyasztású, mint lehetséges.

A kérdés egyfajta elágazása, hogyan lehet egyensúlyban tartani a Qualcomm saját és egy adott ügyfél szolgáltatásait? Visszatérve a Google-hoz, szeretném látni, hogy a Pixel 4 asztrofotográfiai módja más telefonokhoz érkezik, de hol húzza meg a határt, és hagyja az OEM fejlesztését?

Ez egy állandó jellegű dolog, amin gondolkodunk. Hogyan tudjuk ezt egyensúlyba hozni? Hogyan hagyjuk, hogy az OEM-ek és az ISV-k megkülönböztessék, milyen funkciókkal fogunk megjelenni alapvonalak, amelyek mindenkinek kijuthatnak, és ezzel eltávolíthatják ezt a megkülönböztetést bizonyos sajátosságoktól OEM gyártók? Szerintem a mozgatórugónk - ez két dolog. Bármi, amiről úgy érezzük, hogy javítja a fényképezőgép élményét és előrelendíti az egész ökoszisztémát, ezt az egész iparág felhasználói élményének szemszögéből szeretnénk megközelíteni.

Tehát, ha van egy bizonyos funkció, amelyről úgy gondoljuk, hogy mindenki hasznára válik, és valóban az egész mobilkamerarendszert inkább egy tükör nélküli kamera felé tolja, akkor ezt integráljuk. A másik dolog, amit nézünk, a képminőség. Ha ez kifejezetten befolyásolja a képminőségi pontszámokat például egy harmadik fél benchmarking házától, például a DxOMark-tól, akkor ezt a képességet a házban szeretnénk elérni. A nagyítás vagy a zajcsökkentés, az arcok jobb felismerése, a szegmentált feldolgozás, a HDR stb. az iparban mérve, ezért szeretnénk megbizonyosodni arról, hogy az összes ügyfelünknek nyújtott ajánlat a lehető legoptimalizáltabb területeket lehet.

Tehát ez a két mozgató tényező; nem akarunk ügyfeleink és harmadik fél hálózatunk lábujjára lépni, akik esetleg újítani szeretnének, de másrészt, ha valóban az egész ökoszisztémát előremozdítja, vagy ha ez valami DxOMark-ponthoz hasonló hatást gyakorol, akkor nagyon szeretnénk megkínálni ezt mindenkinek, hogy mindent mozgasson előre.

Korábban említetted, hogy a Qualcomm hogyan kívánja javítani a zökkenőmentes átmenetet a lencsék között, miközben nagyít és kicsinyít. Most utólag készítettem egy áttekintést a tavalyi Galaxy Note 10-ről, és továbbra is lenyűgözött, hogy a képalkotás mennyire következetes az egyes objektíveken. Természetesen vannak kisebb különbségek; Különösen az ultraszélesség gyorsabban fújja ki a fénypontokat, de a színek valóban foltosak, és bár a lencsék közötti átmenet során a másodperc töredéke késik, nagyon lenyűgöző. Örülök, hogy ez még jobban javul.

Ez nem könnyű. Három különböző képérzékelője van, és általában nem is azonos típusú képérzékelők. Több objektívje van, ezeket a fényképezőgépeket úgy kell beállítania, hogy a színe rajta legyen; hogy a fókuszátmenet és az expozíció ugyanaz; a fehéregyensúly megegyezik; a szín ugyanaz; az alap textúra és a zajhangolás ugyanaz... különben a szemed látni fogja. Nagyon jó felveszi ezeket a folytonosságokat.

Egyre több horgot próbálunk beépíteni a hardverbe, hogy az áttéréskor könnyen meg lehessen csinálni, és amikor szélesről ultraszélesre áll, nem csak ezeknek a paramétereknek kell megfelelnie. Arról is szól, amikor abban az átmeneti pontban tartózkodsz, ahol azt mondtad, hogy van egy kis késés; a két kép között fúzió is zajlik, hogy megbizonyosodjon arról, hogy a képek tájolása és felépítése halott-e, és ez valójában valós időben történik az internetszolgáltató hardverblokkjával, amely kezeli a tájolást és a vetemedést, hogy ez a két kép felsorakozzon tökéletesen.

Sok minden van, különösen azokon az igazán apró átmeneti régiókban, ahol azt szeretné, hogy rendkívül sima legyen; rengeteg hardver áll mögötte, ami ezt megvalósítja.