Hur den nya iPhone SE: s porträttläge försöker ut-Google Pixel

Källa: Alex Dobie / Android Central

Det är ingen hemlighet Googles Pixel-telefoner har haft några av de bästa kamerorna du hittar på vilken telefon som helst, även om de flesta bara har en kameralins. De förlitar sig på programvarumagi för att förvandla det som kameran ser till ett fantastiskt foto, och effekter som porträttläge eller nattsyn tar programvaran ännu längre. Det är vettigt - Google är trots allt främst ett mjukvaruföretag.

Apple tillverkar hårdvara och säljer den till människor. Google skapar oftast algoritmer.

Apple är inte främst ett programvaruföretag, åtminstone inte på samma sätt som Google är. Apple är mer som Samsung och bygger produkter som folk vill köpa utan att tänka på programvaran inuti dem. Men precis som Samsung är Apples kameraspel starkt. Väldigt stark. Ett urval av foton från iPhone 11 visar hur bra Apples kameror kan vara.

Och sedan har vi nya iPhone SE. Låt oss vara uppriktiga - det är det

Det nya chipet

Källa: iMore

De A13 Bionic-processor inuti iPhone SE är samma processor som du hittar i iPhone 11-serien. Det är Apples senaste, och det är riktigt bra på många saker - Machine Learning är en av dessa saker tack vare en fristående neuralmotor komplett med sin egen mikroprocessor.

På grund av den här hårdvaran kunde Apple inkludera vad det kallar "Enbilds monokulär djupberäkning"vilket är ett mycket komplext sätt att säga att det kan ta porträttfoton med bara de bilddata som en kamera kan fånga. Verkligen. Det finns ingen tid för flygsensorn eller LiDAR eller något av de andra knep som skulle göra det lättare att fånga djupet, bara en kameralins.

Mer: Vad är en Time-of-Flight-kamera och hur fungerar den?

Om detta låter lite bekant beror det på att Google har gjort något mycket liknande med "bara" programvara i några år nu i sina Pixel-telefoner. Hur det fungerar är riktigt, riktigt coolt.

Maskininlärning är en bred term som kan täcka en hel del saker. När det gäller att få djupdata från en enda lins använder den ett neuralt nätverk för att samla in data så att det vet vilka saker - i fallet med iPhone SE, bara människor för tillfället - ska se ut. Du matar en stor dator tusentals och tusentals bilder av människor och det börjar hitta mönster. Saker som hur ögon i allmänhet är formade eller hur hår inte har en helt jämn kontur.

Den datorn kramar alla data och den har nu "lärt sig" vad en person är och kan skilja en person från dess bakgrund. En bit programvara som kan göra detta behöver lite utrymme att leva, men ännu viktigare, det behöver processorkraft för att gå igenom sin rutin när du ber den att göra det.

Maskiner kan inte lära sig, men de kan känna igen mönster om de får tillräckligt med data.

Det är där den dedikerade maskininlärningsprocessorn i A13 Bionic spelar in. Precis som Pixel's dedikerade kameramotorer - Pixel Visual Core och den nyare Google Neural Core - ett dedikerat chip för bearbetning av maskininlärningsfunktioner är där och klart. När du säger till iPhone SE: s kamera att ta ett porträttfoto, sparkar den neurala processorn in och hittar den person i kameralinsen och matar data till processorn som förvandlar vad kameran ser till a fotografera.

Resten är ganska enkel. Delar av fotot som inte är en person får en liten suddighet och delar som är en person skärps något. Det är inte perfekt, och alla telefoner med två linser kan mata mer data till neuralmotorn och skapa ett mycket bättre foto, men för det mesta ser porträttbilden riktigt bra ut.

Bara människor för tillfället

Källa: iMore

Kort svar - för det är allt som Apple har "lärt" chipet att bearbeta just nu. En persons konturer skapas som en djupkarta som är mycket detaljerad och har en väldefinierad kant. Apple kunde ha bestämt sig för att lära ut neuralmotorn om kaktusar eller flaskor eller hundar, men människor är det vi tar flest bilder av så det är där saker börjar.

"Undervisa" ett neuralt nätverk hur en person ser ut är bättre än att lära det hur en guldfisk ser ut om fotografering är slutmålet.

Men Apple exponerade också djupkartan (både bakgrundsdata och "människor") som ett API för utvecklare. Det betyder att tredjepartsappar kan använda porträttläge precis som Pixel-kameran kan. Välj bara en kontaktpunkt och ta ett foto, så försöker kameran att det är bäst att få djupinformation baserat på konturen av vad den kan se.

Det kommer att bli bra på vissa saker och inte så bra på andra saker eftersom det inte finns någon inlärd algoritm som den som används för människor. Men det borde fortfarande vara mycket kapabelt att ta snygga porträtteffekter av andra saker och få dem att fungera bra. Vi har sett hur Pixel-telefonerna blev bättre och bättre för varje iteration så att vi vet att det är möjligt.

Apple kommer förmodligen inte att släppa en annan telefon med en enda kameralins och inte heller Google. Men ge Apples algoritmer några år och iPhone SE kan ta porträttfoton lika bra eller bättre än någon Pixel-telefon med en kamera någonsin. Och precis som Pixel kan den använda vad den har lärt sig kombinerat med dubbla data från dubbla kameralinser och ge Pixel-kameran en seriös löpning.

Vad är nästa för Apple och Google?

Källa: Rene Ritchie / iMore

Fler och fler av samma programvaruinnovationer, det är vad.

De Pixel 4 och iPhone 11 Pro visar oss vad varje företag kan göra när det använder dessa superkomplicerade algoritmer i tandem med en multilins kamera, och det är en enorm förbättring jämfört med vad varje företag har erbjudit i över. När du har dubbelt så mycket data att arbeta med och har perfekt hur du samlar in rätt data kan du göra riktigt bra arbete när det gäller att bygga en kamera.

Men det betyder inte att något av företagen kommer att sluta bry sig om en enda lins kamera. Vi känner till Pixel 4a kommer och det kommer bara att ha en kamera bakom, och om den ryktade iPhone SE + 2020 faktiskt händer, förvänta dig att det blir en iPhone 8+ rehash med bara en lins. För att inte tala om de miljoner och miljoner selfies som tas varje dag med ett kamerasystem med en lins.

Programvarutekniker och maskinvisionsspecialister på båda företagen kommer att försöka lära sig allt de kan av de två "dubbeldata" linser kan samlas in och se hur det kan bearbetas i algoritmerna som gör iPhone SE och Pixel 4a-kameror (förmodligen) så darn bra. Och de kommer att ta reda på nya saker om att samla ljus med all den informationen.

Varje OS-uppdatering kommer att göra kamerorna bättre och ge förbättringar av de framåtvända kamerorna också. Förvänta dig inte verkliga mirakel, men resultaten om tre år framöver bör vara ganska bra!