Der er en grund til, at Pixel 3 er blevet hyldet som den bedste kameratelefon. Google bruger softwarealgoritmer i sin HDR + -pakke til at behandle pixels, og når de kombineres med en lille smule inden for maskinindlæring kan nogle virkelig spektakulære fotos komme fra en telefon, der muligvis har standardudgave hardware.
For at hjælpe med at behandle disse algoritmer brugte Google en specialprocessor kaldet Pixel Visual Core, en chip, vi først så i 2017 med Pixel 2. I år ser det ud til, at Google har gjort det erstattede Pixel VIsual Core med noget kaldet Pixel Neural Core.
Google bruger muligvis neurale netværksteknikker til at gøre fotos endnu bedre på Pixel 4.
Den oprindelige Pixel Visual Core blev designet til at hjælpe de algoritmer, der bruges af Googles HDR + billedbehandling, hvilket får fotos taget med Pixel 2 og Pixel 3 til at se så godt ud. Det brugte nogle maskinlæringsprogrammering og hvad der kaldes beregningsfotografering for intelligent at udfylde de dele af et foto, der ikke var helt perfekte. Effekten var rigtig god; det gør det muligt for en telefon med en kamera-sensor uden hylde at tage billeder så gode eller bedre end nogen anden tilgængelig telefon.
Verizon tilbyder Pixel 4a for kun $ 10 / mo på nye ubegrænsede linjer
Hvis Pixel Neural Core er, hvad vi tror, det er, er Pixel 4 vil igen være i en kamp om toppen, når det kommer til smartphone-fotografering. Her er hvorfor.
Neurale netværk
Det ser ud til, at Google bruger en chip modelleret efter en neuralt netværksteknik til at forbedre billedbehandlingen inde i sin Pixel-telefon i 2019. Et neuralt netværk er noget, du måske har set nævnt en gang eller to, men konceptet forklares ikke meget ofte. I stedet kan det virke som noget computermumbo-jumbo på Google-niveau, der ligner magi. Det er det ikke, og ideen bag et neuralt netværk er faktisk ret let at pakke hovedet rundt.
Neurale netværk indsamler og behandler information på en måde, der ligner den menneskelige hjerne.
Neurale netværk er grupper af algoritmer modelleret efter den menneskelige hjerne. Ikke hvordan en hjerne ser ud eller endda fungerer, men hvordan den behandler information. Et neuralt netværk tager sensoriske data gennem det, der kaldes maskinopfattelse - data indsamlet og overført via eksterne sensorer, som en kamerasensor - og genkender mønstre.
Disse mønstre er tal kaldet vektorer. Alle udvendige data fra den "virkelige" verden, inklusive billeder, lyde og tekst, oversættes til en vektor og klassificeres og katalogiseres som datasæt. Tænk på et neuralt netværk som et ekstra lag oven på ting, der er gemt på en computer eller telefon og det lag indeholder data om, hvad det hele betyder - hvordan det ser ud, hvordan det lyder, hvad det siger, og hvornår det sket. Når et katalog er bygget, kan nye data klassificeres og sammenlignes med det.
Et eksempel fra den virkelige verden hjælper det hele med at give mere mening. NVIDIA fremstiller processorer, der er meget gode til at køre neurale netværk. Virksomheden brugte meget tid scanning og kopiering af fotos af katte ind i netværket, og når de først var færdige, kunne klyngen af computere gennem det neurale netværk identificere en kat i ethvert foto, der havde en i den. Små katte, store katte, hvide katte, calico katte, endda bjergløver eller tigre var katte, fordi det neurale netværk havde så mange data om, hvad en kat "var".
Med dette eksempel i tankerne er det ikke svært at forstå, hvorfor Google ønsker at udnytte denne strøm inde i en telefon. En neural kerne, der er i stand til at grænseflade med et stort datakatalog, vil være i stand til at identificere, hvad din kameralinse ser, og derefter beslutte, hvad de skal gøre. Måske kan data om, hvad det ser, og hvad det forventer, videregives til en billedbehandlingsalgoritme. Eller måske kan de samme data tilføres assistenten for at identificere en sweater eller et æble. Eller måske kan du oversætte skrevet tekst endnu hurtigere og mere præcist, end Google gør det nu.
Det er ikke noget at tænke på, at Google kunne designe en lille chip, der kunne grænseflade med et neuralt netværk og billedprocessoren inde i en telefon, og det er let at se, hvorfor det ønsker at gøre det. Vi er ikke sikre på præcis, hvad Pixel Neural Core er, eller hvad den kan bruges til, men vi ved bestemt mere, når vi ser telefonen og de faktiske detaljer, når den "officielt" annonceres.