Hvordan den nye iPhone SE-portrettmodus prøver å google ut Pixel

Kilde: Alex Dobie / Android Central

Det er ingen hemmelighet Googles Pixel-telefoner har hatt noen av de beste kameraene du finner på hvilken som helst telefon, selv om de fleste bare har ett kameralins. De er avhengige av programvaremagi for å gjøre det kameraet ser til et flott bilde, og effekter som portrettmodus eller nattesyn tar programvaren enda lenger. Det er fornuftig - Google er tross alt primært et programvareselskap.

Apple lager maskinvare og selger det til folk. Google lager for det meste algoritmer.

Apple er ikke primært et programvareselskap, i det minste ikke på samme måte som Google er. Apple er mer som Samsung og bygger produkter som folk vil kjøpe uten å tenke på programvaren i dem. Men akkurat som Samsung, er Apples kameraspill sterkt. Veldig sterk. Et utvalg av bilder fra iPhone 11 viser hvor gode Apples kameraer kan være.

Og så har vi ny iPhone SE. La oss være ærlige - det er det en iPhone 8 med bedre brikkesett

Den nye brikken

Kilde: iMore

De A13 Bionic-prosessor inne i iPhone SE er den samme prosessoren du finner i iPhone 11-serien. Det er Apples siste, og det er veldig bra på mange ting - Machine Learning er en av de tingene takket være en frittstående nevralmotor komplett med sin egen mikroprosessor.

På grunn av denne maskinvaren var Apple i stand til å inkludere det de kaller "Enkeltbilde Monokulær dybdeestimering"som er en veldig kompleks måte å si at den kan ta portrettbilder med bare bildedataene det ene kameraet kan ta. Egentlig. Det er ingen tid med flysensor eller LiDAR eller noen av de andre triksene som vil gjøre det lettere å fange dybden, bare det ene kameralinsen.

Mer: Hva er et Time-of-Flight-kamera og hvordan fungerer det?

Hvis dette høres litt kjent ut, er det fordi Google har gjort noe veldig likt med "bare" programvare i noen år nå i sine Pixel-telefoner. Hvordan det fungerer er veldig kult.

Maskinlæring er et bredt begrep som kan dekke mange ting. I tilfelle å få dybdedata fra en enkelt linse, bruker den et nevralt nettverk for å samle inn data slik at den vet hvilke ting - i tilfelle iPhone SE, bare folk for nå - skal se ut. Du mater en stor datamaskin tusenvis og tusenvis av bilder av mennesker, og den begynner å finne mønstre. Ting som hvordan øynene generelt er formet eller hvordan håret ikke har en perfekt glatt omriss.

Datamaskinen knuser alle dataene, og den har nå "lært" hva en person er og kan skille en person fra dens bakgrunn. Biter av programvare som kan gjøre dette trenger litt plass til å leve, men enda viktigere, det trenger prosessorkraft for å kjøre gjennom rutinen når du ber den om å gjøre det.

Maskiner kan ikke lære, men de kan gjenkjenne mønstre hvis de får nok data.

Det er der den dedikerte maskinlæringsprosessoren i A13 Bionic kommer til spill. I likhet med Pixel's dedikerte kameramotorer - Pixel Visual Core og den nyere Google Neural Core - en dedikert brikke for å behandle maskinlæringsfunksjoner er der og klar. Når du ber iPhone SE-kameraet om å ta et portrettbilde, slår den nevrale prosessoren inn og finner person i kameralinsen og mater data til prosessoren som gjør det kameraet ser til en fotografi.

Resten er ganske enkel. Deler av bildet som ikke er en person får en liten uskarphet, og deler som er en person blir litt skjerpet. Det er ikke perfekt, og enhver telefon med to linser kan mate mer data til nevralmotoren og skape et mye bedre bilde, men det meste av tiden ser portrettbildet veldig bra ut.

Bare folk foreløpig

Kilde: iMore

Kort svar - for det er alt Apple har "lært" brikken å behandle akkurat nå. Konturene til en person er opprettet som et dybdekart som er veldig detaljert og har en veldig veldefinert kant. Apple kunne ha bestemt seg for å lære neuralmotoren om kaktuser eller flasker eller hunder, men folk er det vi tar flest bilder av, så det er der ting begynner.

Å "lære" et nevralt nettverk hvordan en person ser ut er bedre enn å lære det hvordan en gullfisk ser ut hvis fotografering er det endelige målet.

Men Apple avslørte også dybdekartet (både bakgrunnsdata og "folkedata") som et API for utviklere. Det betyr at tredjeparts kameraapper kan bruke portrettmodus akkurat som Pixel-kameraet kan. Bare velg et fokuspunkt og ta et bilde, så vil kameraet prøve det er best å få dybdeinformasjon basert på oversikten over hva den kan se.

Det kommer til å være bra på noen ting og ikke så bra på andre ting fordi det ikke er noen lært algoritme som den som brukes til mennesker. Men det skal fortsatt være i stand til å ta pene portretteffekter av andre ting og få dem til å slå godt ut. Vi har sett hvordan Pixel-telefonene ble bedre og bedre med hver iterasjon, slik at vi vet at det er mulig.

Apple kommer sannsynligvis ikke til å slippe en annen telefon med et enkelt kameraobjektiv, og det er heller ikke Google. Men gi Apples algoritmer noen år, og iPhone SE kan ta portrettbilder så bra eller bedre enn noen Pixel-telefon fra ett kamera noensinne har gjort. Og som Pixel, kan den bruke det den har lært kombinert med dobbelt data fra doble kameralinsene og gi Pixel-kameraet et seriøst løp for pengene.

Hva er neste for Apple og Google?

Kilde: Rene Ritchie / iMore

Flere og flere av de samme programvareinnovasjonene, det er det.

De Pixel 4 og iPhone 11 Pro viser oss hva hvert selskap kan gjøre når det bruker disse superkompliserte algoritmene sammen med et multilinsekamera, og det er en enorm forbedring sammenlignet med hva hvert selskap har tilbudt i forbi. Når du har to ganger dataene du kan jobbe med og har perfeksjonert hvordan du skal samle inn Ikke sant data, kan du gjøre noe veldig bra arbeid når det gjelder å bygge et kamera.

Men det betyr ikke at noen av selskapene kommer til å slutte å bry seg om et enkeltlinsekamera. Vi kjenner Pixel 4a kommer, og det vil bare ha ett kamera rundt ryggen, og hvis den ryktede iPhone SE + 2020 faktisk skjer, forvent at det blir en iPhone 8+ rehash med bare det ene objektivet. For ikke å snakke om de millioner og millioner av selfies som tas hver dag med et enkelt objektiv kamera system.

Programvareingeniører og maskinvisjonsspesialister hos begge selskapene vil prøve å lære alt de kan av de to "dataene" linser kan samle seg og se hvordan det kan brukes inn i algoritmene som gjør iPhone SE og Pixel 4a kameraer (antagelig) så darn bra. Og de vil finne ut nye ting om å samle lys med all den dataen.

Hver OS-oppdatering vil gjøre kameraene bedre og også gi forbedringer til de fremovervendte kameraene. Forvent ikke faktiske mirakler, men resultatene om tre år fra nå skal være ganske gode!