Hvordan den nye iPhone SE's portrættilstand forsøger at out-Google Pixel

Kilde: Alex Dobie / Android Central

Det er ingen hemmelighed Googles Pixel-telefoner har haft nogle af de bedste kameraer, du finder på enhver telefon, selvom de fleste af dem kun har et kameralins. De er afhængige af softwaremagi for at gøre det, som kameraet ser, til et godt billede, og effekter som portrættilstand eller nattesyn tager softwaren endnu længere. Det giver mening - Google er trods alt primært et softwarefirma.

Apple fremstiller hardware og sælger det til folk. Google fremstiller for det meste algoritmer.

Apple er ikke primært et softwarefirma, i det mindste ikke på samme måde som Google er. Apple er mere som Samsung og bygger produkter, som folk ønsker at købe uden at tænke på softwaren inde i dem. Men ligesom Samsung er Apples kameraspil stærkt. Meget stærk. En prøveudtagning af fotos fra iPhone 11 viser, hvor gode Apples kameraer kan være.

Og så har vi ny iPhone SE. Lad os være ærlige - det er det en iPhone 8 med et bedre chipsæt

Den nye chip

Kilde: iMore

Det A13 Bionic-processor inde i iPhone SE er den samme processor, som du finder i iPhone 11-serien. Det er Apples seneste, og det er virkelig godt til mange ting - Machine Learning er en af ​​disse ting takket være en enkeltstående neurale motor komplet med sin egen mikroprocessor.

På grund af denne hardware kunne Apple medtage det, det kalder "Enkeltbillede monokulær dybdeestimering"hvilket er en meget kompleks måde at sige, at det kan tage portrætfotos med bare de billeddata, som det ene kamera kan fange. Virkelig. Der er ingen tid med flysensor eller LiDAR eller et af de andre tricks, der gør det lettere at fange dybde, bare det ene kameralins.

Mere: Hvad er et Time-of-Flight kamera, og hvordan fungerer det?

Hvis dette lyder lidt velkendt, skyldes det, at Google har gjort noget meget lignende med "bare" software i et par år nu i sine Pixel-telefoner. Hvordan det fungerer er virkelig, virkelig sejt.

Machine Learning er et bredt begreb, der kan dække en hel masse ting. I tilfælde af at få dybdedata fra en enkelt linse bruger det et neuralt netværk til at indsamle data, så det ved, hvad ting - i tilfælde af iPhone SE, bare folk for nu - skal se ud. Du fodrer en stor computer tusinder og tusinder af fotos af mennesker, og det begynder at finde mønstre. Ting som hvordan øjne generelt er formet, eller hvordan hår ikke har en perfekt glat kontur.

Denne computer knuser alle data, og den har nu "lært", hvad en person er og kan adskille en person fra dens baggrund. Den klump af software, der kan gøre dette, har brug for lidt plads til at leve, men vigtigere er det, at det har brug for processorkraft for at løbe igennem sin rutine, når du beder det om at gøre det.

Maskiner kan ikke lære, men de kan genkende mønstre, hvis de får nok data.

Det er her, den dedikerede maskinlæringsprocessor i A13 Bionic kommer i spil. Ligesom Pixel's dedikerede kameramotorer - Pixel Visual Core og den nyere Google Neural Core - en dedikeret chip til behandling af maskinlæringsfunktioner er der og klar. Når du beder iPhone SEs kamera om at tage et portrætbillede, sparker den neurale processor ind og finder den person i kameralinsen og fremfører data til processoren, der gør det, som kameraet ser, til en fotografi.

Resten er ret enkel. Dele af billedet, der ikke er en person, får en lille sløring, og dele, der er en person, er lidt skærpet. Det er ikke perfekt, og enhver telefon med to linser kan føje flere data til den neurale motor og skabe et meget bedre foto, men det meste af tiden ser portrætfotoet rigtig godt ud.

Bare mennesker lige nu

Kilde: iMore

Kort svar - for det er alt, hvad Apple har "lært" chippen at behandle lige nu. Kontur af en person er skabt som et dybdekort, der er meget detaljeret og har en meget veldefineret kant. Apple kunne have besluttet at lære neuralmotoren om kaktusser eller flasker eller hunde, men folk er det, vi tager flest fotos af, så det er her ting starter.

"Undervise" et neuralt netværk, hvordan en person ser ud, er bedre end at lære det, hvordan en guldfisk ser ud, hvis fotografering er det endelige mål.

Men Apple udsatte også dybdekortet (både baggrundsdata og "folkedata") som en API for udviklere. Det betyder, at tredjepartsapps til kameraer kan bruge stående tilstand ligesom Pixel-kameraet kan. Vælg bare et knudepunkt, og tag et foto, så kameraet prøver, at det er bedst at få dybdeinformation baseret på oversigten over, hvad det kan se.

Det vil være godt til nogle ting og ikke så godt til andre ting, fordi der ikke er nogen lært algoritme som den, der bruges til mennesker. Men det skal stadig være meget i stand til at tage pæne portræteffekter af andre ting og få dem til at vise sig godt. Vi har set, hvordan Pixel-telefoner blev bedre og bedre med hver iteration, så vi ved, at det er muligt.

Apple vil sandsynligvis ikke frigive en anden telefon med et enkelt kameralinser, og det er Google heller ikke. Men giv Apples algoritmer et par år, og iPhone SE kan tage portrætbilleder så gode eller bedre end nogen Pixel-telefon fra et enkelt kamera nogensinde har gjort. Og ligesom Pixel kan den bruge det, den har lært, kombineret med dobbelt så mange data fra kameralinserne og give Pixel-kameraet et seriøst løb for sine penge.

Hvad er det næste for Apple og Google?

Kilde: Rene Ritchie / iMore

Flere og flere af de samme softwareinnovationer, det er hvad.

Det Pixel 4 og iPhone 11 Pro viser os, hvad hvert firma kan gøre, når det bruger disse superkomplicerede algoritmer i tandem med et multilinsekamera, og det er en enorm forbedring i forhold til hvad hvert firma har tilbudt i forbi. Når du har to gange dataene til at arbejde med og har perfektioneret, hvordan man samler højre data, kan du gøre noget rigtig godt arbejde, når det kommer til at bygge et kamera.

Men det betyder ikke, at begge virksomheder holder op med at bekymre sig om et kamera med en linse. Vi kender Pixel 4a kommer, og det vil kun have ét kamera bagved, og hvis den rygtede iPhone SE + 2020 faktisk sker, forvent det at være en iPhone 8+ genopvaskning med kun den ene linse. For ikke at nævne de millioner og millioner af selfies, der tages hver dag med et enkelt objektiv kamera system.

Softwareingeniører og maskinvisionsspecialister hos begge virksomheder vil forsøge at lære alt, hvad de kan, fra "dobbelt-data" to linser kan samle og se, hvordan det kan bearbejdes i algoritmerne, der gør iPhone SE og Pixel 4a kameraer (formodentlig) så darn godt. Og de vil finde ud af nye ting om indsamling af lys med alle disse data.

Hver OS-opdatering vil gøre kameraerne bedre og også medføre forbedringer af de frontvendte kameraer. Forvent ikke egentlige mirakler, men resultaterne om tre år fra nu skal være ret gode!