Senzory Sony napájené umělou inteligencí jsou budoucností fotoaparátů pro smartphony

Zdroj: Jerry Hildenbrand / Android Central

Začátkem tohoto týdne Oznámila společnost Sony dva nové obrazové senzory IMX, které změní vše, co se týče „inteligentní“ fotografie.

Je to opravdu odvážné prohlášení, ale je to také snadná předpověď, protože smartphony a další chytré produkty používají své fotoaparáty. Očekáváte, že větší „skutečný“ fotoaparát s drahým objektivem pořídí skvělé fotografie, protože použitý hardware to usnadňuje. Ale když používáte malý senzor v malém zařízení a pevnou čočku, nemáte drahou optiku, která by vás zvedla. Místo toho se používají věci jako AI, a proto jsou nové senzory společnosti Sony speciální: v balíčku senzorů jsou zabudovány malé procesory AI.

Tyto senzory nemají nic společného s telefonem ani žádnými spotřebními výrobky. Jsou určeny pro průmyslová a výrobní zařízení pro strojové vidění a společnosti, jako je Amazon vyjádřený zájem, protože řešení typu „vše v jednom“ znamená, že je v něm zabudováno mnoho úspor nákladů produkt. Ale jako všechno, senzory budou menší a levnější - právě teď stojí IMX kolem 90 $ - a nakonec je najdete v domácích sledovacích kamerách, tělových kamerách a dokonce i ve svých chytrý telefon.

AI vyladila fotografii smartphonu na něco úžasného.

U našich smartphonů je AI velkým problémem, ale nikdo nikdy nemluví o tom, proč. To je v pořádku, protože naše oči nám mohou říci, že „systémy pro získávání obrazu“ využívající umělou inteligenci způsobují, že naše fotografie vypadají mnohem lépe než telefonní fotoaparáty z doby před několika lety. Ale malá znalost toho, jak je, je vždy dobrá věc.

Senzor kamery je jen část elektroniky, která dokáže sbírat barvu a intenzitu světla. Když otevřete aplikaci fotoaparátu, senzor začne shromažďovat tato data a když klepnete na spoušť, popadne ji a odešle na další hardware, který z dat udělá fotografii. To něco znamená, někde musí být naprogramováno, aby bylo možné provést převod.

Zdroj: Sony Electronics Inc.

Do mixu vstupuje AI - přidání nebo převod dalších nebo dokonce neexistujících dat do procesu převodu. AI může pomoci detekovat obrysy našich vlasů na rušném pozadí. Dokáže odhadnout vzdálenost všeho ve scéně, protože „ví“, jak velká je jedna věc. Může pořizovat data z více snímků a kombinovat je, aby byly fotografie při slabém osvětlení lepší. Všechny digitální fotoaparáty používají AI a fotoaparáty telefonů ji používají hodně.

S novými senzory Sony je střední vrstva inteligentní elektroniky obcházena, protože v balení je integrován obrazový procesor s umělou inteligencí. To by mohlo znamenat, že skutečně skvělou fotografii lze doručit přímo na displej, ale co je důležitější, znamená to, že výstup nemusí být vůbec fotografie.

Obrazový snímač napájený AI znamená, že výstup nemusí být vůbec obraz.

Příklady Sony, jak lze tento senzor použít, ukazují, že předmět a Amazon Go obchod lze sledovat z jeho místa na polici do rukou zákazníků, což je průběžný záznam počtu lidí, kteří navštíví obchod v nákupní středisko může být drženo, nebo pes před senzorem může říci jinému softwaru, že před ním je pes senzor.

Existuje nespočet případů použití pro tento druh zařízení ve výrobě a přepravě a podobně komerční aplikace, kde data toho, co kamera „vidí“, jsou stejně důležitá (nebo více) než obraz to vidí. Auto, které řídíte, pero, které používáte, dokonce i telefon, který držíte, používá veškeré strojové vidění k třídění dílů nebo hledání závad. Ale pro nás je zajímavé, jak by to fungovalo uvnitř telefonu.

Zdroj: Sony Electronics Inc.

Jak již bylo zmíněno, váš telefon to všechno již dělá. Jablko, Googlea Huawei mají k dispozici specializovaný hardware, ale čip, který napájí váš telefon, má ISP (Image Signal Vestavěný procesor, který také spoléhá na AI, aby udělal stejné věci jako nové senzory fotoaparátu Sony dělá.

Telefony Samsung pořizují opravdu skvělé „běžné“ fotografie. Ve skutečnosti víc než dost dobré pro kohokoli. Ale když začnete pozorovat pixely, zjistíte, že telefony Apple, Google a Huawei pořizují fotografie, které jsou o něco lepší. Mohou mít věrnější barvy, lépe detekovat hrany, díky nimž budou fotografie ostřejší, a dokonce i snímky v režimu bez portrétu mají lepší pocit hloubky.

Více: Nejlepší kamera pro Android v roce 2020

Zdroj: Ara Wagoner / Android Central

Je to proto, že společnost Samsung používá jednoho poskytovatele internetových služeb, i když velmi dobrý, k vytvoření fotografie z dat senzoru, zatímco ostatní používají ISP ve spojení s vyhrazeným hardwarem, který používá AI k dalšímu zdokonalení procesu. Fotografie společnosti Samsung jsou vynikající a každý, kdo tvrdí, že vypadá špatně, není pravý. Představte si, co by společnost Samsung mohla udělat s další vrstvou umělé inteligence a sběru dat navíc k vyladění ISP, které právě dělá.

Nyní to udělejte o krok dále a představte si, co společnost jako Motorola nebo OnePlus - o kterých přesně není známo neuvěřitelné kamery - vystačí si s další vrstvou zpracování obrazu prováděného lokálně na zařízení, které nepřináší žádné režijní náklady proces.

O nové senzory Sony se dnes zajímají velké společnosti, které mají velké budovy plné zařízení. V blízké budoucnosti budeme také vy a já, protože tento nápad stéká.