Senzorii Sony alimentați cu AI sunt viitorul camerelor smartphone

Sursa: Jerry Hildenbrand / Android Central

La inceputul saptamanii A anunțat Sony doi noi senzori de imagine IMX care vor schimba totul atunci când vine vorba de fotografierea „inteligentă”.

Aceasta este o afirmație cu adevărat îndrăzneață de făcut, dar este și o predicție ușoară din cauza modului în care smartphone-urile și alte produse inteligente își folosesc camerele. Vă așteptați ca o cameră „reală” mai mare, cu un obiectiv scump, să facă fotografii grozave, deoarece hardware-ul utilizat este mai ușor. Dar când folosiți un senzor mic într-un dispozitiv mic și un obiectiv fix, nu aveți optică scumpă pentru a face greutăți ridicate. În schimb, se folosesc lucruri precum AI și asta face ca noii senzori Sony să fie speciali: au un mic procesor AI încorporat în pachetul de senzori.

Acești senzori nu au nicio legătură cu un telefon sau cu alte produse de consum. Acestea sunt proiectate pentru echipamente industriale și de fabricație de viziune automată și companii precum Amazon au și-a exprimat interesul, deoarece o soluție all-in-one înseamnă că există o mulțime de economii de costuri integrate în produs. Dar, ca toate lucrurile, senzorii vor deveni mai mici și mai ieftini - în acest moment IMX costă aproximativ 90 USD - și, în cele din urmă, le veți găsi în camerele de supraveghere la domiciliu, camerele corporale și chiar în camera dvs. smartphone.

AI a reglat fotografia smartphone-ului în ceva uimitor.

AI este o mare problemă când vine vorba de camerele noastre pentru smartphone-uri, dar nimeni nu vorbește cu adevărat despre de ce. Este în regulă, deoarece ochii noștri ne pot spune că „sistemele de achiziție de imagini” alimentate de AI fac ca imaginile noastre să arate mult mai bine decât camerele de telefon de acum câțiva ani. Dar un pic de a ști cum este întotdeauna un lucru bun.

Un senzor al camerei este doar o piesă electronică care poate aduna culoarea și intensitatea luminii. Când deschideți aplicația camerei, senzorul începe să adune aceste date, iar când atingeți declanșatorul, acesta este apucat și trimis către o altă bucată de hardware care transformă datele într-o fotografie. Asta înseamnă ceva, undeva trebuie programat pentru a face conversia.

Sursa: Sony Electronics Inc.

Unde AI intră în amestec este să adăugați sau să convertiți date suplimentare sau chiar inexistente în procesul de conversie. AI poate ajuta la detectarea conturului părului nostru pe un fundal aglomerat. Poate estima distanța tuturor lucrurilor dintr-o scenă, deoarece „știe” cât de mare este un lucru. Poate prelua date din mai multe capturi de imagini și le poate combina pentru a îmbunătăți fotografiile cu lumină slabă. Toate camerele digitale folosesc AI, iar camerele telefonice o folosesc foarte mult.

Cu noii senzori Sony, stratul de mijloc al electronicii inteligente este ocolit deoarece există un procesor de imagine alimentat de AI încorporat în pachet. Asta ar putea însemna că o fotografie cu adevărat grozavă poate fi livrată direct pe un ecran, dar, mai important, înseamnă că ieșirea nu trebuie să fie deloc o fotografie.

Un senzor de imagine alimentat de AI înseamnă că ieșirea nu trebuie să fie deloc o imagine.

Exemplele Sony despre modul în care poate fi utilizat acest senzor arată că un articol și un Amazon Go magazinul poate fi urmărit de la locul său pe un raft până la mâinile clienților, un număr al numărului de persoane care vizitează un magazin în mall-ul poate fi păstrat sau un câine în fața senzorului ar putea spune unei alte piese de software că există un câine în fața senzor.

Există nenumărate cazuri de utilizare pentru acest tip de echipamente în producție, transport și orice altele aplicație comercială în care datele despre ceea ce „vede” o cameră sunt la fel de importante (sau mai multe) decât imaginea vede. Mașina pe care o conduci, stiloul pe care îl folosești, chiar și telefonul pe care îl deții, toate au folosit viziunea automată pentru a sorta piese sau pentru a găsi defecte. Dar pentru noi, unde devine interesant este cum ar funcționa acest lucru în interiorul unui telefon.

Sursa: Sony Electronics Inc.

După cum am menționat, telefonul dvs. face deja toate acestea. Măr, Google, și Huawei au hardware specializat pentru a vă ajuta, dar cipul care alimentează telefonul dvs. are un ISP (Image Signal Procesor) încorporat în acesta, care se bazează, de asemenea, puternic pe AI pentru a face aceleași lucruri pe care sunt noii senzori ai camerei Sony face.

Telefoanele Samsung fac fotografii „obișnuite” cu adevărat grozave. Mai mult decât suficient de bun pentru oricine, de fapt. Dar când începeți să vedeți pixelii, descoperiți că telefoanele Apple, Google și Huawei fac fotografii puțin mai bune. Ele pot avea culori mai adevărate, pot detecta mai bine marginile, ceea ce face fotografiile mai clare și chiar și fotografiile în mod non-portret au un sentiment mai bun de profunzime.

Mai multe: Cea mai bună cameră Android în 2020

Sursa: Ara Wagoner / Android Central

Acest lucru se datorează faptului că Samsung folosește un singur ISP, deși un foarte buna asta, pentru a construi o fotografie din datele senzorilor, în timp ce ceilalți folosesc un ISP împreună cu o bucată de hardware dedicată care utilizează AI pentru a rafina în continuare procesul. Fotografiile Samsung sunt excelente și oricine susține că arată prost nu este autentic. Imaginați-vă ce ar putea face Samsung cu un strat suplimentar de AI și colectare de date pe partea de sus a reglării ISP pe care o face chiar acum.

Acum, faceți un pas mai departe și imaginați-vă ce este o companie precum Motorola sau OnePlus - care nu sunt exact cunoscute pentru faptul că au camere incredibile - se poate face cu un strat suplimentar de procesare a imaginilor efectuat local pe dispozitiv, care nu adaugă nici o cheltuială procesul.

Astăzi, companiile mari care au clădiri mari pline de echipamente sunt interesate de noii senzori Sony. În viitorul apropiat, voi și cu mine vom fi și noi, pentru că această idee se va scurge.