Sonys AI-drevne sensorer er fremtiden for smarttelefonkameraer

Kilde: Jerry Hildenbrand / Android Central

Tidligere denne uken Sony kunngjorde to nye IMX-bildesensorer som kommer til å endre alt når det gjelder "smart" fotografering.

Det er en veldig dristig uttalelse å gjøre, men det er også en enkel spådom på grunn av hvordan smarttelefoner og andre smarte produkter bruker kameraene sine. Du forventer at et større "ekte" kamera med et dyrt objektiv tar flotte bilder fordi maskinvaren som brukes gjør det lettere. Men når du bruker en liten sensor i en liten enhet og en fast linse, har du ikke dyr optikk for å løfte tungt. I stedet brukes ting som AI, og det er det som gjør Sonys nye sensorer spesielle: de har en liten AI-prosessor innebygd i sensorpakken.

Disse sensorene har ingenting å gjøre med en telefon eller noen forbrukerprodukter. De er designet for industrielt og produserende visjonsutstyr for maskiner, og selskaper som Amazon har uttrykt interesse fordi en alt-i-ett-løsning betyr at det er mange kostnadsbesparelser innebygd i produkt. Men som alle ting, vil sensorene bli mindre og billigere - akkurat nå koster IMX omtrent $ 90 - og til slutt finner du dem i hjemmekameraer, kroppskameraer og til og med dine smarttelefon.

AI har innstilt smarttelefonfotografering til noe fantastisk.

AI er en stor avtale når det kommer til smarttelefonkameraene våre, men ingen snakker noen gang om hvorfor. Det er OK fordi øynene våre kan fortelle oss at AI-drevne "bildeansamlingssystemer" får bildene våre til å se mye bedre ut enn telefonkameraer for bare noen få år siden. Men litt å vite hvordan er alltid en god ting.

En kamerasensor er bare et stykke elektronikk som kan samle lysets farge og intensitet. Når du åpner kameraappen, begynner sensoren å samle inn disse dataene, og når du trykker på lukkeren, blir den tatt og sendt til en annen maskinvare som gjør dataene til et fotografi. Det betyr noe, et eller annet sted må programmeres for å gjøre konverteringen.

Kilde: Sony Electronics Inc.

Der AI kommer inn i blandingen er å legge til eller konvertere ekstra eller til og med ikke-eksisterende data til konverteringsprosessen. AI kan bidra til å oppdage omrisset av håret vårt mot en travel bakgrunn. Den kan estimere avstanden til alt i en scene fordi den "vet" hvor stor en ting er. Det kan ta data fra flere bilder og kombinere dem for å gjøre bilder med lite lys bedre. Alle digitale kameraer bruker AI, og telefonkameraer bruker det mye.

Med Sonys nye sensorer blir det midterste laget av smart elektronikk forbigått fordi det er en AI-drevet bildeprosessor innebygd i pakken. Det kan bety at et virkelig flott bilde kan leveres direkte til en skjerm, men enda viktigere, det betyr at utgangen ikke trenger å være et bilde i det hele tatt.

En AI-drevet bildesensor betyr at utgangen ikke trenger å være et bilde i det hele tatt.

Sonys eksempler på hvordan denne sensoren kan brukes, viser at en vare og en Amazon Go butikken kan spores fra sin plass på en hylle til kundens hender, en løpende oversikt over antall personer som besøker en butikk i kjøpesenteret kan holdes, eller en hund foran sensoren kan fortelle en annen programvare at det er en hund foran sensor.

Det er utallige brukstilfeller for denne typen utstyr i produksjon og frakt og annet kommersiell applikasjon der dataene til hva et kamera "ser" er like viktige (eller mer) enn bildet det ser. Bilen du kjører, pennen du bruker, til og med telefonen du har alt brukt maskinens syn for å sortere deler eller finne feil. Men for oss, hvor det blir interessant, er hvordan dette ville fungere inne i en telefon.

Kilde: Sony Electronics Inc.

Som nevnt gjør telefonen din alt dette allerede. Eple, Google, og Huawei har spesialisert maskinvare for å hjelpe, men brikken som driver telefonen din har en ISP (Image Signal Prosessor) innebygd i den som også er avhengig av AI for å gjøre de samme tingene som Sonys nye kamerasensorer er driver med.

Samsung-telefoner tar virkelig flotte "vanlige" bilder. Mer enn godt nok for alle, faktisk. Men når du begynner å pikselkaste, oppdager du at Apple-, Google- og Huawei-telefoner tar bilder som er litt bedre. De kan ha sannere farger, gjøre det bedre å oppdage kanter som gjør bilder skarpere, og til og med bilder uten portrettmodus har bedre dybdefølelse.

Mer: Beste Android-kamera i 2020

Kilde: Ara Wagoner / Android Central

Dette er fordi Samsung bruker en enkelt Internett-leverandør, om enn en veldig bra en, for å bygge et bilde av sensordata, mens de andre bruker en ISP sammen med et dedikert stykke maskinvare som bruker AI for å avgrense prosessen ytterligere. Samsungs bilder er gode, og alle som hevder at de ser dårlige ut, er ikke ekte. Tenk deg hva Samsung kunne gjøre med et ekstra lag med AI og datainnsamling på toppen av ISP-innstillingen den gjør akkurat nå.

Ta det nå et skritt videre og forestill deg hva et selskap som Motorola eller OnePlus - som ikke akkurat er kjent for å ha utrolige kameraer - kan gjøre med et ekstra lag med bildebehandling utført lokalt på enheten som ikke legger til noen overhead til prosessen.

I dag er store selskaper som har store bygninger fulle av utstyr interessert i Sonys nye sensorer. I nær fremtid vil du og jeg også være, fordi denne ideen vil dryppe ned.