Det er en grunn til at Pixel 3 har blitt hyllet som den beste kameratelefonen. Google bruker programvarealgoritmer i HDR + -pakken for å behandle piksler, og når de kombineres med litt av maskinlæring, kan noen virkelig spektakulære bilder komme fra en telefon som kan ha standardutgave maskinvare.
For å hjelpe til med å behandle disse algoritmene, brukte Google en spesialisert prosessor kalt Pixel Visual Core, en chip vi først så i 2017 med Pixel 2. I år ser det ut til at Google har erstattet Pixel VIsual Core med noe som heter Pixel Neural Core.
Google bruker kanskje nevrale nettverksteknikker for å gjøre bilder enda bedre på Pixel 4.
Den opprinnelige Pixel Visual Core ble designet for å hjelpe algoritmene som brukes av Googles HDR + bildebehandling, noe som gjør at bilder tatt med Pixel 2 og Pixel 3 ser så bra ut. Den brukte maskinlæringsprogrammering og det som kalles beregningsfotografering for å fylle ut de delene av et bilde som ikke var helt perfekte. Effekten var veldig bra; det gjør det mulig for en telefon med en sensor fra kameraet å ta bilder så gode eller bedre enn noen annen tilgjengelig telefon.
Verizon tilbyr Pixel 4a for bare $ 10 per måned på nye ubegrensede linjer
Hvis Pixel Neural Core er det vi tror det er, er Pixel 4 vil igjen være i en kamp om topplasseringen når det gjelder smarttelefonfotografering. Her er hvorfor.
Nevrale nettverk
Det ser ut til at Google bruker en brikke modellert etter en nevralt nettverksteknikk for å forbedre bildebehandlingen inne i Pixel-telefonen for 2019. Et nevralt nettverk er noe du kanskje har sett nevnt en gang eller to, men konseptet blir ikke forklart så ofte. I stedet kan det virke som en datamaskin-mumbo-jumbo på Google-nivå som ligner magi. Det er det ikke, og ideen bak et nevralt nettverk er faktisk ganske enkelt å pakke hodet rundt.
Nevrale nettverk samler inn og behandler informasjon på en måte som ligner den menneskelige hjerne.
Nevrale nettverk er grupper av algoritmer modellert etter den menneskelige hjerne. Ikke hvordan en hjerne ser ut eller til og med fungerer, men hvordan den behandler informasjon. Et nevralt nettverk tar sensoriske data gjennom det som kalles maskinoppfatning - data samlet inn og overført via eksterne sensorer, som en kamerasensor - og gjenkjenner mønstre.
Disse mønstrene er tall som kalles vektorer. Alle utvendige data fra den "virkelige" verden, inkludert bilder, lyder og tekst, blir oversatt til en vektor og klassifisert og katalogisert som datasett. Tenk på et nevralt nettverk som et ekstra lag på toppen av ting som er lagret på en datamaskin eller telefon og det laget inneholder data om hva det hele betyr - hvordan det ser ut, hvordan det høres ut, hva det står og når det skjedde. Når en katalog er bygget, kan nye data klassifiseres og sammenlignes med den.
Et eksempel fra den virkelige verden hjelper det hele å gi mer mening. NVIDIA lager prosessorer som er veldig flinke til å kjøre nevrale nettverk. Selskapet brukte mye tid skanning og kopiering av bilder av katter inn i nettverket, og når en gang var ferdig klyngen av datamaskiner gjennom nevrale nettverk kunne identifisere en katt i et hvilket som helst bilde som hadde en i seg. Små katter, store katter, hvite katter, calico katter, til og med fjelløver eller tigre var katter fordi nevrale nettverk hadde så mye data om hva en katt "var".
Med dette eksemplet i tankene er det ikke vanskelig å forstå hvorfor Google vil ønske å utnytte denne kraften i en telefon. En nevrale kjerne som er i stand til å grensesnitt med en stor datakatalog, vil være i stand til å identifisere hva kameralinsen din ser og deretter bestemme hva du skal gjøre. Kanskje dataene om hva den ser og hva den forventer kan overføres til en bildebehandlingsalgoritme. Eller kanskje de samme dataene kan mates til assistenten for å identifisere en genser eller et eple. Eller kanskje du kan oversette skrevet tekst enda raskere og mer nøyaktig enn Google gjør det nå.
Det er ikke noe å tenke på at Google kan designe en liten brikke som kan grensesnitt med et nevralt nettverk og bildeprosessoren inne i en telefon, og det er lett å se hvorfor den vil gjøre det. Vi er ikke sikre på nøyaktig hva Pixel Neural Core er eller hva den kan brukes til, men vi vil helt sikkert vite mer når vi ser telefonen og de faktiske detaljene når den "offisielt" kunngjøres.