Hogyan próbálja az új iPhone SE álló módja kiszűrni a Google-ról a Pixelt

Forrás: Alex Dobie / Android Central

Nem titok A Google Pixel telefonjai rendelkezett a legjobb fényképezőgépekkel, amelyeket bármilyen telefonon megtalál, annak ellenére, hogy legtöbbjüknek csak egy fényképezőgép lencséje van. A szoftveres varázslatra támaszkodnak, hogy a fényképezőgép látott képeit nagyszerű fotóvá alakítsák, és az effektusok, például a portré mód vagy az éjszakai látás még tovább viszik ezt a szoftvert. Van értelme - a Google végül is egy szoftvercég.

Az Apple gyárt hardvereket és eladja az embereknek. A Google többnyire algoritmusokat készít.

Az Apple elsősorban nem szoftvercég, legalábbis nem ugyanúgy, mint a Google. Az Apple inkább hasonlít a Samsungra, és olyan termékeket épít, amelyeket az emberek meg akarnak vásárolni, anélkül, hogy a bennük lévő szoftverre gondolnának. De csakúgy, mint a Samsung, az Apple kamerajátéka is erős. Nagyon erős. Fotóminta az iPhone 11-ből megmutatja, milyen jók lehetnek az Apple kamerái.

És akkor megvan a új iPhone SE. Legyünk őszinték - ez az egy jobb chipsettel rendelkező iPhone 8. Ez nem rossz, de azt jelenti, hogy csak egyetlen kamera képes képek készítésére. Miért olyan jók, főleg a portrék? És mielőtt kimondanád, jók. Legalább portrék az emberekről, amit egy kicsit elmagyarázunk. Gépi tanulás, ezért.

Az az új chip

Forrás: iMore

Az A13 Bionic processzor az iPhone SE belsejében ugyanaz a processzor, amelyet az iPhone 11 sorozatban talál. Ez az Apple legújabb, és nagyon sok mindenben jó - a gépi tanulás egyike ezeknek a dolgoknak, köszönhetően a külön mikroprocesszorral kiegészített önálló idegmotornak.

Ezen hardver miatt az Apple be tudta foglalni azt, amit hív "Egy kép monokuláris mélységének becslése"ami nagyon összetett módszer azt mondani, hogy portréfotókat készíthet csak olyan képadatokkal, amelyeket az egyetlen kamera képes rögzíteni. Igazán. Nincs repülési érzékelő ideje ill LiDAR vagy bármely más trükk, amely megkönnyítené a mélység rögzítését, csak az egyetlen kamera lencséje.

Bővebben: Mi az a Time-of-Flight kamera és hogyan működik?

Ha ez kissé ismerősnek hangzik, az azért van, mert a Google már néhány éve nagyon hasonlót csinál a "csak" szoftverrel a Pixel telefonjaiban. Hogy működik, nagyon-nagyon klassz.

A gépi tanulás egy tág kifejezés, amely sok mindenre kiterjedhet. Abban az esetben, ha mélységi adatokat kapunk egyetlen objektívről, neurális hálózatot használunk az adatok összegyűjtésére, hogy tudja, milyen dolgoknak kell kinézniük - az iPhone SE esetében, csak egyelőre az embereknek. Táplál egy nagy számítógépet ezer és ezer fotóval az emberekről, és az már kezd találni mintákat. Olyan dolgok, mint például a szem általános formája vagy a haj nem tökéletesen sima körvonallal.

Ez a számítógép összegyűjti az összes adatot, és most "megtanulta", mi az a személy, és el tudja választani az embert a hátterétől. Az erre képes szoftvercsomagnak némi helyre van szüksége az élethez, de ami még ennél is fontosabb, hogy feldolgozási erőre van szüksége ahhoz, hogy a rutinjain keresztül fusson, amikor csak erre kéri.

A gépek nem tudnak megtanulni, de elegendő adattal ellátva felismerhetik a mintákat.

Itt játszik szerepet az A13 Bionic dedikált gépi tanulási processzora. Csakúgy, mint a Pixel dedikált kameramotorjai - a Pixel Visual Core és az újabb Google Neural Core - dedikált chip a gépi tanulási funkciók feldolgozásához készen áll. Amikor felszólítja az iPhone SE kameráját, hogy készítsen portréképet, az idegprocesszor beindul és megtalálja a személy a kamera lencséjében, és adatokat szolgáltat a processzornak, amely a kamera látottját a fénykép.

A többi elég egyszerű. A fénykép olyan részei, amelyek nem személyek, enyhén elmosódnak, a személyek pedig kissé élesebbek. Nem tökéletes, és bármely, két objektívvel ellátott telefon több adatot juttathat az idegmotorhoz, és sokkal jobb fényképet hozhat létre, de a portréfotó legtöbbször nagyon jól néz ki.

Egyelőre csak emberek

Forrás: iMore

Rövid válasz - mert az Apple csak ennyit "tanított" a chip feldolgozására. A személy körvonala mélységtérképként készül, amely nagyon részletes és nagyon jól körülírt éllel rendelkezik. Az Apple dönthetett úgy, hogy megtanítja az idegmotort kaktuszokról, palackokról vagy kutyákról, de az emberekről készítünk legtöbb fényképet, így ott kezdődnek a dolgok.

Az ideghálózat "megtanítása" az ember kinézetére jobb, mint annak megtanítása, hogy néz ki egy aranyhal, ha a fényképezés a végcél.

De az Apple a mélységi térképet (a háttéradatokat és az "emberek" adatait is) felfedte API-ként a fejlesztők számára. Ez azt jelenti, hogy harmadik féltől származó kameraalkalmazások ugyanúgy használhatják portré módot, mint a Pixel kamera. Csak válasszon egy fókuszpontot, és készítsen egy fényképet, és a kamera megpróbálja a legjobbat kapni a mélységre vonatkozó információk alapján, amit lát.

Bizonyos dolgokban jó lesz, másokban pedig nem olyan jó, mert nincs olyan megtanult algoritmus, mint az emberek számára. De még mindig képesnek kell lennie arra, hogy más dolgok szép portréeffektusait készítse el, és hogy azok jól sikerüljenek. Láttuk, hogy a Pixel telefonok egyre jobbak lettek minden iterációval, így tudjuk, hogy ez lehetséges.

Az Apple valószínűleg nem fog kiadni egy másik telefont egyetlen kamera lencsével, és a Google sem. Adjon néhány évet az Apple algoritmusainak, és az iPhone SE olyan jó vagy jobb portréfotókat készíthet, mint bármelyik egykamerás Pixel telefon valaha. És a Pixelhez hasonlóan a dupla kamera lencséjéből származó adatok duplájával együtt felhasználhatja a tanultakat, és komoly futamot adhat a Pixel kamerának a pénzéért.

Mi következik az Apple és a Google számára?

Forrás: Rene Ritchie / iMore

Egyre több ugyanazon szoftverinnováció, ez az.

Az Pixel 4 és az iPhone 11 Pro bemutatja, hogy az egyes vállalatok mit tehetnek, amikor ezeket a rendkívül bonyolult algoritmusokat használják tandem több objektíves fényképezőgéppel, és ez hatalmas előrelépés ahhoz képest, amit az egyes vállalatok kínáltak a múlt. Amikor kétszer van adatod, amellyel dolgozhatsz, és tökéletesítetted az adatgyűjtés módját jobb adatokkal, akkor igazán nagyszerű munkát végezhet, ha kamera épül.

De ez nem azt jelenti, hogy egyik vállalat sem fogja abbahagyni az egylencsés fényképezőgép iránti törődést. Tudjuk a Pixel 4a jön, és csak egy kamera lesz hátul, és ha a pletykák szerint az iPhone SE + 2020 valóban megtörténik, akkor számítson rá, hogy csak egy objektívvel rendelkező iPhone 8+ lesz. Nem is beszélve az egylencsés kamerarendszerrel naponta készített milliókról és milliókról.

Mindkét vállalat szoftvermérnökei és géplátás-szakemberei megpróbálnak mindent megtanulni a kettős adatból a lencsék összegyűjthetik és megnézhetik, hogyan lehet azokat beépíteni az algoritmusokba, amelyek az iPhone SE és a Pixel 4a kamerákat (feltehetően) rohadtul jó. És új dolgokat fognak megtudni a fény összegyűjtéséről az összes ilyen adattal együtt.

Minden operációs rendszer frissítés javítja a kamerákat, és javítja az előlapi kamerákat is. Ne számíts tényleges csodákra, de az eredmények három év múlva elég nagyok legyenek!