Sonyjevi senzori na AI budućnost su kamere pametnih telefona

Izvor: Jerry Hildenbrand / Android Central

Ranije ovog tjedna Najavio je Sony dva nova IMX senzora slike koji će promijeniti sve što se tiče "pametne" fotografije.

To je zaista hrabra izjava, ali ujedno je i lako predviđanje zbog načina na koji pametni telefoni i drugi pametni proizvodi koriste svoje fotoaparate. Očekujete da će veći "pravi" fotoaparat sa skupim objektivom snimiti izvrsne fotografije jer ga hardver koji se koristi olakšava. Ali kada koristite maleni senzor u sićušnom uređaju i fiksnu leću, nemate skupu optiku za dizanje teškog tereta. Umjesto toga koriste se stvari poput AI, a to je ono što Sonyjeve nove senzore čini posebnima: u paket senzora ugrađen je mali AI procesor.

Ti senzori nemaju nikakve veze s telefonom ili bilo kojim potrošačkim proizvodima. Dizajnirani su za industrijsku i proizvodnju opreme za strojni vid i tvrtke poput Amazona iskazao interes jer cjelovito rješenje znači da je u njega ugrađena dosta ušteda troškova proizvod. Ali kao i sve stvari, senzori će postati manji i jeftiniji - trenutno IMX košta oko 90 USD - i na kraju ćete ih pronaći u kućnim nadzornim kamerama, tjelesnim kamerama, pa čak i u svojim pametni telefon.

AI je fotografiju pametnih telefona prilagodio nečemu nevjerojatnom.

AI je velika stvar kada su u pitanju naše kamere za pametne telefone, ali nikad nitko zapravo ne govori zašto. To je u redu jer nam oči mogu reći da "sustavi za prikupljanje slika" pokrenuti umjetnom inteligencijom čine da naše slike izgledaju puno bolje od telefonskih kamera od prije samo nekoliko godina. Ali malo znanja kako je uvijek dobro.

Senzor kamere samo je dio elektronike koji može prikupiti boju i intenzitet svjetlosti. Kada otvorite aplikaciju kamere, senzor počinje prikupljati ove podatke, a kada dodirnete okidač, on se hvata i šalje na drugi hardverski dio koji podatke pretvara u fotografiju. To nešto znači, negdje se mora programirati za pretvorbu.

Izvor: Sony Electronics Inc.

Ono gdje AI ulazi u kombinaciju jest dodavanje ili pretvaranje dodatnih ili čak nepostojećih podataka u proces pretvorbe. AI može pomoći u otkrivanju obrisa naše kose u zauzetoj pozadini. Može procijeniti udaljenost svega u sceni jer "zna" koliko je jedna stvar velika. Može uzeti podatke iz više snimaka slika i kombinirati ih kako bi fotografije pri slabom osvjetljenju bile bolje. Svi digitalni fotoaparati koriste AI, a telefonske kamere ga koriste puno.

S novim Sonyjevim senzorima zaobilazi se srednji sloj pametne elektronike jer je u paket ugrađen procesor slike na AI pogon. To bi moglo značiti da se zaista sjajna fotografija može isporučiti izravno na zaslon, ali što je još važnije, to znači da izlaz uopće ne mora biti fotografija.

Senzor slike na AI znači da izlaz uopće ne mora biti slika.

Sonyjevi primjeri kako se ovaj senzor može koristiti pokazuju da stavka i an Amazon Go Trgovina se može pratiti s mjesta na polici u ruke kupaca, što predstavlja zbirni broj ljudi koji posjećuju trgovinu u tržni centar može biti zadržan ili bi pas ispred senzora mogao reći drugom softveru da je pas ispred senzor.

Nebrojeni su slučajevi upotrebe ove vrste opreme u proizvodnji i otpremi, kao i bilo koja druga komercijalna aplikacija gdje su podaci onoga što kamera "vidi" jednako važni (ili više) od slike vidi. Automobil koji vozite, olovka koju koristite, čak i telefon koji držite koriste svi rabljeni strojni vid za razvrstavanje dijelova ili pronalaženje nedostataka. Ali za nas postaje zanimljivo kako bi ovo funkcioniralo u telefonu.

Izvor: Sony Electronics Inc.

Kao što je spomenuto, vaš telefon već sve ovo čini. Jabuka, Google, i Huawei imaju specijalizirani hardver za pomoć, ali čip koji pokreće vaš telefon ima ISP (Image Signal Procesor) koji se također u velikoj mjeri oslanja na AI radi iste stvari kao što su Sonyjevi novi senzori kamere rade.

Samsung telefoni snimaju zaista sjajne "uobičajene" fotografije. Zapravo više nego dovoljno dobro za bilo koga. Ali kad počnete provirivati ​​u pikselima, primijetite da telefoni Apple, Google i Huawei snimaju malo bolje fotografije. Mogu imati istinitije boje, bolje otkrivaju rubove što fotografije čini oštrijima, a čak i snimci u portretnom načinu imaju bolji osjećaj dubine.

Više: Najbolja Android kamera u 2020

Izvor: Ara Wagoner / Android Central

To je zato što Samsung koristi jednog ISP-a, iako a vrlo dobar, za izradu fotografije od podataka senzora, dok ostali koriste ISP-a zajedno s namjenskim dijelom hardvera koji koristi AI za daljnje pročišćavanje postupka. Samsungove slike su izvrsne i svi koji tvrde da izgledaju loše nisu autentični. Zamislite što bi Samsung mogao učiniti s dodatnim slojem AI-a i prikupljanjem podataka povrh ISP-ovog podešavanja koje trenutno radi.

Sada napravite taj korak dalje i zamislite kakvu tvrtku poput Motorole ili OnePlusa - a koja baš i nije poznata po tome što ima nevjerojatne kamere - mogu učiniti s dodatnim slojem obrade slika koji se vrši lokalno na uređaju bez dodavanja dodatnih troškova postupak.

Danas su velike tvrtke koje imaju velike zgrade pune opreme zainteresirane za Sonyjeve nove senzore. U bliskoj ćemo budućnosti biti i ti i ja, jer će se ova ideja cijediti.