Artikel

Sonys AI-drivna sensorer är framtiden för smarttelefonkameror

Wee små Android killarKälla: Jerry Hildenbrand / Android Central

Tidigare i veckan Sony meddelade två nya IMX-bildsensorer som kommer att ändra allt när det gäller "smart" fotografering.

Det är ett riktigt djärvt uttalande att göra, men det är också en lätt förutsägelse på grund av hur smartphones och andra smarta produkter använder sina kameror. Du förväntar dig att en större "riktig" kamera med en dyr lins tar fantastiska bilder eftersom hårdvaran som används gör det lättare. Men när du använder en liten sensor i en liten enhet och en fast lins har du inte dyr optik för att lyfta tungt. Istället används saker som AI, och det är det som gör Sonys nya sensorer speciella: de har en liten AI-processor inbäddad i sensorpaketet.

Dessa sensorer har inget att göra med en telefon eller några konsumentprodukter. De är designade för industriell och tillverkande maskinvisionsutrustning och företag som Amazon har uttryckt intresse eftersom en allt-i-ett-lösning innebär att det finns massor av kostnadsbesparingar inbyggda i produkt. Men som alla saker blir sensorerna mindre och billigare - just nu kostar IMX cirka 90 $ - och så småningom hittar du dem i hemövervakningskameror, kroppskameror och till och med din smartphone.

AI har anpassat smartphone-fotografering till något fantastiskt.

AI är en stor sak när det gäller våra smarttelefonkameror, men ingen pratar egentligen varför. Det är OK för att våra ögon kan berätta att AI-drivna "bildförvärvssystem" får våra bilder att se mycket bättre ut än telefonkameror från bara några år sedan. Men lite att veta hur är alltid bra.

En kamerasensor är bara en bit elektronik som kan samla ljusets färg och intensitet. När du öppnar kameraprogrammet börjar sensorn samla in dessa data, och när du trycker på slutaren grips den och skickas till en annan maskinvara som förvandlar data till ett fotografi. Det betyder något, någonstans måste programmeras för att göra omvandlingen.

Intelligenta vision sensorer, vänster: IMX500 höger: IMX501Källa: Sony Electronics Inc.

Där AI kommer in i mixen är att lägga till eller konvertera extra eller till och med obefintlig data till omvandlingsprocessen. AI kan hjälpa till att upptäcka konturerna av vårt hår mot en upptagen bakgrund. Det kan uppskatta avståndet till allt i en scen eftersom det "vet" hur stor en sak är. Det kan ta data från flera bilder och kombinera dem för att göra foton med svagt ljus bättre. Alla digitalkameror använder AI, och telefonkameror använder det mycket.

Med Sonys nya sensorer kringgås mellanskiktet av smart elektronik eftersom det finns en AI-driven bildprocessor inbyggd i paketet. Det kan betyda att ett riktigt bra foto kan levereras direkt till en skärm, men ännu viktigare betyder det att utdata inte alls behöver vara ett foto.

En AI-driven bildsensor betyder att utgången inte behöver vara en bild alls.

Sonys exempel på hur den här sensorn kan användas visar att ett objekt och ett Amazon Go butiken kan spåras från sin plats på en hylla till kundernas händer, en lösning på antalet personer som besöker en butik i köpcentret kan hållas, eller en hund framför sensorn kan berätta för en annan mjukvara att det finns en hund framför sensor.

Det finns otaliga användningsfall för den här typen av utrustning inom tillverkning och frakt kommersiell applikation där data för vad en kamera "ser" är lika viktiga (eller mer) än bilden det ser. Bilen du kör, pennan du använder, till och med telefonen du håller i alla använda maskinsyner för att sortera delar eller hitta fel. Men för oss, där det blir intressant är hur detta skulle fungera inuti en telefon.

Datautmatningsformat som kan väljas för att möta olika behovKälla: Sony Electronics Inc.

Som nämnts gör din telefon redan allt detta. Äpple, Google, och Huawei har specialiserad hårdvara för att hjälpa till, men chipet som driver din telefon har en ISP (Image Signal Processor) inbyggd i den som också är starkt beroende av AI för att göra samma saker som Sonys nya kamerasensorer är gör.

Samsung-telefoner tar riktigt bra "vanliga" foton. I själva verket mer än tillräckligt bra för alla. Men när du börjar pixel-peeping ser du att Apple, Google och Huawei-telefoner tar foton som är lite bättre. De kan ha sämre färger, göra bättre för att upptäcka kanter vilket gör foton skarpare och till och med bilder i icke-porträttläge har en bättre djupkänsla.

Mer: Bästa Android-kamera 2020

Samsungs kameror är bättre än någonsinKälla: Ara Wagoner / Android Central

Detta beror på att Samsung använder en enda ISP, om än en mycket bra en, för att bygga ett foto av sensordata, medan de andra använder en ISP tillsammans med en dedikerad maskinvara som använder AI för att ytterligare förfina processen. Samsungs bilder är utmärkta och alla som påstår att de ser dåliga ut är inte äkta. Tänk dig vad Samsung skulle kunna göra med ett extra lager av AI och datainsamling ovanpå ISP-inställningen som den gör just nu.

Ta det nu ett steg längre och föreställ dig vad ett företag som Motorola eller OnePlus - som inte exakt är känt för att ha otroliga kameror - kan göra med ett extra lager av bildbehandling som görs lokalt på enheten som inte lägger till några omkostnader processen.

Idag är stora företag som har stora byggnader fulla av utrustning intresserade av Sonys nya sensorer. Inom en snar framtid kommer du och jag också att vara, för den här idén sipprar ner.

Få mer Pixel 3a

  • Google Pixel 3a Review
  • Bästa skärmskydd för Pixel 3a XL
  • Bästa fodral för Pixel 3a XL
  • Bästa fall för Pixel 3a
  • Bästa Pixel 3a tillbehör
  • Pixel 3a från $ 360 på Amazon
  • Pixel 3a XL från $ 400 på Amazon

Vi kan tjäna en provision för inköp med våra länkar. Läs mer.

Det här är de bästa trådlösa öronsnäckorna du kan köpa till varje pris!
Det är dags att klippa av sladden!

Det här är de bästa trådlösa öronsnäckorna du kan köpa till varje pris!

De bästa trådlösa öronsnäckorna är bekväma, låter fantastiskt, kostar inte för mycket och sitter lätt i fickan.

Allt du behöver veta om PS5: Släppdatum, pris och mer
Nästa generation

Allt du behöver veta om PS5: Släppdatum, pris och mer.

Sony har officiellt bekräftat att de arbetar på PlayStation 5. Här är allt vi vet om det hittills.

Nokia lanserar två nya budget Android One-telefoner under 200 dollar
Nya Nokias

Nokia lanserar två nya budget Android One-telefoner under 200 dollar.

Nokia 2.4 och Nokia 3.4 är de senaste tillskotten till HMD Globals budget smartphone-sortiment. Eftersom de båda är Android One-enheter får de garanterat två stora OS-uppdateringar och regelbundna säkerhetsuppdateringar i upp till tre år.

De bästa bärbara snabbfotoskrivarna för Android-enheter
Skriv ut när du är på språng!

De bästa bärbara snabbfotoskrivarna för Android-enheter.

Du är på språng och gör minnen på din mobil. Medan digital är bra, varför inte försöka göra dessa minnen lite mer permanenta med ett konkret foto?

instagram story viewer