I sensori alimentati da AI di Sony sono il futuro delle fotocamere degli smartphone

Fonte: Jerry Hildenbrand / Android Central

All'inizio di questa settimana Sony ha annunciato due nuovi sensori di immagine IMX che cambieranno tutto quando si tratta di fotografia "intelligente".

È un'affermazione davvero audace da fare, ma è anche una previsione facile a causa di come gli smartphone e altri prodotti intelligenti utilizzano le loro fotocamere. Ti aspetti una fotocamera "reale" più grande con un obiettivo costoso per scattare splendide foto perché l'hardware utilizzato lo rende più semplice. Ma quando usi un sensore minuscolo in un dispositivo minuscolo e un obiettivo fisso, non hai ottiche costose per fare il lavoro pesante. Invece, vengono utilizzate cose come l'AI, ed è questo che rende speciali i nuovi sensori di Sony: hanno un piccolo processore AI incorporato nel pacchetto del sensore.

Questi sensori non hanno nulla a che fare con un telefono o con altri prodotti di consumo. Sono progettati per apparecchiature di visione industriale e di produzione e le aziende come Amazon hanno ha espresso interesse perché una soluzione all-in-one significa che c'è un sacco di risparmi sui costi integrati in Prodotto. Ma come tutte le cose, i sensori diventeranno più piccoli e più economici - in questo momento l'IMX costa circa $ 90 - e alla fine li troverai nelle telecamere di sorveglianza domestica, nelle telecamere del corpo e persino nelle tue smartphone.

L'intelligenza artificiale ha sintonizzato la fotografia dello smartphone in qualcosa di straordinario.

L'intelligenza artificiale è un grosso problema quando si tratta delle nostre fotocamere per smartphone, ma nessuno parla mai davvero del perché. Va bene perché i nostri occhi possono dirci che i "sistemi di acquisizione delle immagini" basati sull'intelligenza artificiale rendono le nostre immagini molto migliori delle fotocamere dei telefoni di pochi anni fa. Ma un po 'di sapere come è sempre una buona cosa.

Il sensore di una fotocamera è solo un componente elettronico in grado di raccogliere il colore e l'intensità della luce. Quando apri l'app della fotocamera, il sensore inizia a raccogliere questi dati e quando tocchi l'otturatore viene afferrato e inviato a un altro componente hardware che trasforma i dati in una fotografia. Ciò significa che qualcosa, da qualche parte deve essere programmato per effettuare la conversione.

Fonte: Sony Electronics Inc.

L'intelligenza artificiale entra nel mix è aggiungere o convertire dati extra o addirittura inesistenti nel processo di conversione. L'intelligenza artificiale può aiutare a rilevare il contorno dei nostri capelli su uno sfondo frenetico. Può stimare la distanza di ogni cosa in una scena perché "sa" quanto è grande una cosa. Può prendere i dati da più acquisizioni di immagini e combinarli per migliorare le foto in condizioni di scarsa illuminazione. Tutte le fotocamere digitali utilizzano l'IA e le fotocamere dei telefoni lo usano molto.

Con i nuovi sensori di Sony, lo strato intermedio dell'elettronica intelligente viene aggirato perché nel pacchetto è integrato un processore di immagini basato su AI. Ciò potrebbe significare che una foto davvero eccezionale può essere consegnata direttamente a un display, ma ancora più importante, significa che l'output non deve essere affatto una foto.

Un sensore di immagine alimentato da AI significa che l'output non deve essere affatto un'immagine.

Gli esempi di Sony sull'utilizzo di questo sensore mostrano che un elemento e un file Amazon Go negozio può essere tracciato dalla sua posizione su uno scaffale fino alle mani di un cliente, un conteggio progressivo del numero di persone che visitano un negozio in il centro commerciale può essere tenuto, oppure un cane davanti al sensore potrebbe dire a un altro software che c'è un cane davanti al sensore.

Esistono innumerevoli casi d'uso per questo tipo di apparecchiature nella produzione e spedizione e altro applicazione commerciale in cui i dati di ciò che una telecamera "vede" sono importanti (o più) dell'immagine vede. L'auto che guidi, la penna che usi, persino il telefono che hai in mano, tutti i sistemi di visione artificiale usati per ordinare parti o trovare difetti. Ma per noi, la cosa interessante è come funzionerebbe all'interno di un telefono.

Fonte: Sony Electronics Inc.

Come accennato, il tuo telefono fa già tutto questo. Mela, Googlee Huawei hanno hardware specializzato per aiutarti, ma il chip che alimenta il tuo telefono ha un ISP (Image Signal Processore) integrato che fa anche molto affidamento sull'intelligenza artificiale per fare le stesse cose che sono i nuovi sensori della fotocamera di Sony facendo.

I telefoni Samsung scattano foto "normali" davvero fantastiche. Più che sufficiente per chiunque, in effetti. Ma quando inizi a sbirciare i pixel, scopri che i telefoni Apple, Google e Huawei scattano foto che sono un po 'meglio. Possono avere colori più veri, rilevare meglio i bordi che rendono le foto più nitide e anche gli scatti in modalità non ritratto hanno un migliore senso di profondità.

Altro: la migliore fotocamera Android nel 2020

Fonte: Ara Wagoner / Android Central

Questo perché Samsung utilizza un unico ISP, anche se un file molto buona, per creare una foto dai dati del sensore, mentre gli altri utilizzano un ISP in combinazione con un componente hardware dedicato che utilizza l'intelligenza artificiale per perfezionare ulteriormente il processo. Le immagini di Samsung sono eccellenti e chiunque affermi che sembrano cattive non è autentico. Immagina cosa potrebbe fare Samsung con un ulteriore livello di intelligenza artificiale e raccolta di dati oltre all'ottimizzazione dell'ISP che sta facendo in questo momento.

Ora fai un ulteriore passo avanti e immagina cosa hanno un'azienda come Motorola o OnePlus, che non sono esattamente noti per avere telecamere incredibili - può fare con un ulteriore livello di elaborazione delle immagini eseguita localmente sul dispositivo che non aggiunge alcun sovraccarico il processo.

Oggi, le grandi aziende che hanno grandi edifici pieni di apparecchiature sono interessate ai nuovi sensori di Sony. Nel prossimo futuro, anche tu ed io lo saremo, perché questa idea colerà.