Senzory Sony napájané na AI sú budúcnosťou fotoaparátov pre smartphony

Zdroj: Jerry Hildenbrand / Android Central

Začiatkom tohto týždňa Oznámila spoločnosť Sony dva nové obrazové snímače IMX, ktoré zmenia všetko, čo sa týka „inteligentnej“ fotografie.

Je to skutočne odvážne tvrdenie, ale je to aj ľahká predpoveď z dôvodu toho, ako smartphony a iné inteligentné produkty používajú svoje fotoaparáty. Očakávate, že väčší „skutočný“ fotoaparát s drahým objektívom urobí vynikajúce fotografie, pretože použitý hardvér to uľahčuje. Ale keď používate malý snímač v malom prístroji a pevný objektív, nemáte na zdvíhanie ťažkých predmetov nákladnú optiku. Namiesto toho sa používajú veci ako AI, a tým sú nové snímače Sony výnimočné: v balení senzorov je zabudovaný malý procesor AI.

Tieto snímače nemajú nič spoločné s telefónom alebo žiadnymi spotrebnými výrobkami. Sú určené pre priemyselné a výrobné zariadenia pre strojové videnie a spoločnosti ako Amazon prejavil záujem, pretože riešenie typu „všetko v jednom“ znamená, že v systéme je zabudovaných veľa úspor nákladov výrobok. Ale ako všetky veci, aj senzory budú stále menšie a lacnejšie - práve teraz stojí IMX okolo 90 dolárov - a nakoniec ich nájdete v domácich kamerách, telesných kamerách a dokonca aj vo svojich smartphone.

AI vyladila fotografiu smartfónu na niečo úžasné.

Pokiaľ ide o naše fotoaparáty smartphonov, AI je veľká vec, ale nikto nikdy nehovorí o tom, prečo. To je v poriadku, pretože naše oči nám môžu povedať, že „systémy na získavanie obrázkov“ napájané umelou inteligenciou spôsobujú, že naše fotografie vyzerajú oveľa lepšie ako fotoaparáty telefónov z doby pred niekoľkými rokmi. Ale malé poznanie, ako je, je vždy dobrá vec.

Senzor kamery je iba kus elektroniky, ktorá dokáže zhromaždiť farbu a intenzitu svetla. Keď otvoríte aplikáciu Fotoaparát, snímač začne zhromažďovať tieto údaje a po klepnutí na spúšť sa zachytí a odošle na ďalší hardvér, ktorý z údajov urobí fotografiu. To znamená, že niekde musí byť naprogramované uskutočnenie konverzie.

Zdroj: Sony Electronics Inc.

AI prichádza do zmesi s pridaním alebo konverziou ďalších alebo dokonca neexistujúcich údajov do procesu konverzie. AI môže pomôcť detekovať obrysy našich vlasov na rušnom pozadí. Môže odhadnúť vzdialenosť všetkého v scéne, pretože „vie“, aká veľká je jedna vec. Môže snímať údaje z viacerých snímok a kombinovať ich, aby boli fotografie pri slabom osvetlení lepšie. Všetky digitálne fotoaparáty používajú AI a fotoaparáty telefónov ju používajú veľmi často.

S novými snímačmi spoločnosti Sony sa obchádza stredná vrstva inteligentnej elektroniky, pretože v balení je zabudovaný obrazový procesor s AI. To by mohlo znamenať, že skutočne skvelú fotografiu je možné doručiť priamo na displej, ale čo je dôležitejšie, znamená to, že výstupom nemusí byť vôbec žiadna fotografia.

Obrazový snímač napájaný AI znamená, že výstup nemusí byť vôbec obraz.

Príklady Sony, ako je možné tento snímač použiť, ukazujú, že položka a Amazon Go obchod je možné sledovať z jeho miesta na poličke do rúk zákazníkov, čo predstavuje súčet počtu ľudí, ktorí navštívili obchod v obchodník môže byť držaný, alebo pes pred senzorom môže povedať inému softvéru, že pred psom je pes senzor.

Existuje nespočetné množstvo prípadov použitia tohto druhu zariadení pri výrobe a preprave a akýchkoľvek ďalších komerčná aplikácia, kde údaje o tom, čo kamera „vidí“, sú rovnako dôležité (alebo viac) ako obraz to vidí. Automobil, ktorý riadite, pero, ktoré používate, dokonca aj telefón, ktorý držíte, používa strojové videnie na triedenie dielov alebo hľadanie chýb. Zaujímavé však pre nás je, ako by to fungovalo vo vnútri telefónu.

Zdroj: Sony Electronics Inc.

Ako už bolo spomenuté, váš telefón to všetko už robí. Apple, Googlea Huawei majú na to špecializovaný hardvér, ale čip, ktorý napája váš telefón, má ISP (Image Signal Zabudovaný procesor, ktorý sa tiež veľmi spolieha na AI, aby robil to isté, čo nové senzory fotoaparátu od spoločnosti Sony robí.

Telefóny Samsung fotia naozaj vynikajúce „bežné“ fotografie. V skutočnosti viac než dosť dobrý pre kohokoľvek. Ale keď začnete pozorovať pixely, zistíte, že telefóny Apple, Google a Huawei fotia o niečo lepšie. Môžu mať vernejšie farby, lepšie detekovať okraje, vďaka čomu sú fotografie ostrejšie, a dokonca aj snímky mimo portrétu majú lepší zmysel pre hĺbku.

Viac: Najlepšia kamera pre Android v roku 2020

Zdroj: Ara Wagoner / Android Central

Je to tak preto, lebo spoločnosť Samsung používa jedného poskytovateľa internetových služieb, aj keď veľmi dobrý, na vytvorenie fotografie z údajov senzora, zatiaľ čo ostatní používajú ISP v spojení s vyhradeným hardvérom, ktorý používa AI na ďalšie zdokonalenie procesu. Fotografie spoločnosti Samsung sú vynikajúce a každý, kto tvrdí, že vyzerá zle, nie je pravý. Predstavte si, čo by spoločnosť Samsung mohla urobiť s ďalšou vrstvou umelej inteligencie a zhromažďovania údajov navyše k tuningu ISP, ktorý práve teraz robí.

Teraz to urobte o krok ďalej a predstavte si, aké výhody má spoločnosť ako Motorola alebo OnePlus neuveriteľné fotoaparáty - vystačí si s ďalšou vrstvou spracovania obrazu vykonávanou lokálne na zariadení, ktorá neprináša žiadne režijné náklady proces.

O nové snímače Sony sa dnes zaujímajú veľké spoločnosti, ktoré majú veľké budovy plné vybavenia. V blízkej budúcnosti budete tiež vy a ja, pretože táto myšlienka bude stekať.