Ako sa nový portrétový režim iPhonu SE snaží Google Pixel mimo Google

Zdroj: Alex Dobie / Android Central

Nie je to tajomstvom Telefóny Pixel spoločnosti Google ste mali jedny z najlepších fotoaparátov, ktoré nájdete na akomkoľvek telefóne, aj keď väčšina z nich má iba jeden objektív fotoaparátu. Spoliehajú sa na softvérové ​​kúzlo, ktoré premieňa to, čo fotoaparát vidí, na skvelú fotografiu, a efekty ako portrét alebo nočný pohľad tento softvér posúvajú ešte ďalej. Dáva to zmysel - Google je koniec koncov predovšetkým softvérová spoločnosť.

Apple vyrába hardvér a predáva ho ľuďom. Google väčšinou vyrába algoritmy.

Apple nie je primárne softvérová spoločnosť, aspoň nie rovnakým spôsobom ako Google. Apple sa viac podobá na Samsung a vyrába produkty, ktoré si ľudia chcú kúpiť, bez toho, aby museli myslieť na softvér, ktorý obsahuje. Rovnako ako Samsung je ale aj fotoaparátová hra spoločnosti Apple silná. Veľmi silný. Ukážka fotografií z iPhone 11 ukazuje, aké dobré môžu byť fotoaparáty spoločnosti Apple.

A potom tu máme nový iPhone SE. Povedzme si otvorene - je to tak iPhone 8 s lepšou čipsetom. To nie je zlá vec, ale znamená to, že na snímanie obrázkov existuje iba jeden fotoaparát. Prečo sú teda také dobré, hlavne portréty? A než to poviete, sú dobré. Aspoň portréty ľudí, ktoré si trochu vysvetlíme. Strojové učenie, to je dôvod.

Ten nový čip

Zdroj: iMore

The Procesor A13 Bionic vo vnútri zariadenia iPhone SE je rovnaký procesor, aký nájdete v sérii iPhone 11. Je to najnovšia verzia spoločnosti Apple a je skutočne dobrá v mnohých veciach - Machine Learning je jednou z týchto vecí vďaka samostatnému neurálnemu modulu s vlastným mikroprocesorom.

Vďaka tomuto hardvéru mohol Apple zahrnúť to, čo nazýva „Odhad monokulárnej hĺbky jedného obrázka„čo je veľmi zložitý spôsob, ako povedať, že dokáže snímať portrétne fotografie iba s obrazovými údajmi, ktoré dokáže zachytiť jeden fotoaparát. Naozaj. Nie je čas na letový senzor resp LiDAR alebo ktorýkoľvek z ďalších trikov, ktoré by uľahčili snímanie hĺbky, iba jeden objektív fotoaparátu.

Viac: Čo je kamera Time-of-Flight a ako funguje?

Ak to znie trochu povedome, je to preto, že Google už pár rokov robí niečo veľmi podobné so „iba“ softvérom vo svojich telefónoch Pixel. Ako to funguje, je naozaj, naozaj super.

Strojové učenie je široký pojem, ktorý môže zahŕňať veľa vecí. V prípade získavania hĺbkových údajov z jedného objektívu využíva na zhromažďovanie údajov neurónová sieť, aby vedela, ako by mali veci - v prípade iPhonu SE - zatiaľ iba ľudia - vyzerať. Veľkému počítaču nakŕmite tisíce a tisíce fotografií ľudí a začne nachádzať vzory. Veci, ako napríklad to, ako sa oči všeobecne tvarujú alebo ako vlasy nemajú úplne hladký obrys.

Tento počítač zhlukuje všetky údaje a teraz „zistil“, čo je človek, a dokáže ho oddeliť od pozadia. Kus softvéru, ktorý to dokáže, potrebuje na bývanie určitý priestor, ale čo je dôležitejšie, potrebuje procesor, aby prebehol rutinou, kedykoľvek to o to požiadate.

Stroje sa nemôžu učiť, ale dokážu rozpoznať vzorce, ak majú dostatok údajov.

To je miesto, kde prichádza na rad vyhradený procesor strojového učenia v A13 Bionic. Podobne ako špeciálne fotoaparáty fotoaparátu Pixel - Pixel Visual Core a novšie Google Neural Core - vyhradený čip na spracovanie funkcií strojového učenia je tu a pripravený. Keď poviete fotoaparátu iPhone SE, aby urobil portrétnu fotografiu, nervový procesor sa naštartuje a nájde osoba v objektíve fotoaparátu a dodáva dáta do procesora, ktorý premieňa to, čo kamera vidí, na fotografia.

Zvyšok je dosť jednoduchý. Časti fotografie, ktoré nie sú osobou, sú mierne rozmazané a časti, ktoré sú osobou, sú mierne zaostrené. Nie je to dokonalé a akýkoľvek telefón s dvoma objektívmi by mohol vložiť viac dát do neurálneho modulu a vytvoriť oveľa lepšiu fotografiu, ale portrétová fotografia väčšinou vyzerá naozaj dobre.

Zatiaľ iba ľudia

Zdroj: iMore

Krátka odpoveď - pretože to je všetko, čo Apple práve teraz „naučil“ čip spracovať. Obrys osoby je vytvorený ako hĺbková mapa, ktorá je veľmi podrobná a má veľmi dobre definovanú hranu. Apple sa mohol rozhodnúť naučiť neurálny motor o kaktusoch alebo fľašiach alebo psoch, ale ľudia sú to, z čoho fotíme najviac, takže to je miesto, kde to začína.

„Výučba“ neurónovej siete o tom, ako vyzerá človek, je lepšia ako výučba toho, ako vyzerá zlatá rybka, ak je konečným cieľom fotografia.

Apple ale tiež vystavil hĺbkovú mapu (údaje na pozadí aj údaje „ľudí“) ako API pre vývojárov. To znamená, že aplikácie fotoaparátov tretích strán môžu používať režim na výšku rovnako ako fotoaparát Pixel. Stačí si zvoliť ohnisko a nasnímať fotografiu. Fotoaparát sa pokúsi najlepšie získať hĺbkové informácie na základe obrysu toho, čo vidí.

V niektorých veciach to bude dobré a v iných veciach až také dobré, pretože neexistuje naučený algoritmus, aký sa používa pre ľudí. Stále by však malo byť schopné prijať upravené portrétne efekty iných vecí a dosiahnuť ich dobré výsledky. Videli sme, ako sa telefóny Pixel zlepšovali s každou iteráciou, takže sme vedeli, že je to možné.

Apple pravdepodobne nevydá ďalší telefón s jediným objektívom fotoaparátu a takisto ani Google. Ale dajte algoritmy spoločnosti Apple na pár rokov a iPhone SE mohol robiť portrétne fotografie rovnako dobré alebo lepšie ako ktorýkoľvek iný telefón Pixel s jedným fotoaparátom. A rovnako ako Pixel, môže použiť to, čo sa naučil, v kombinácii s dvojnásobným počtom údajov z dvojnásobných objektívov fotoaparátu a dať tak tomuto fotoaparátu Pixel za svoje peniaze poriadne zabrať.

Čo bude ďalej pre Apple a Google?

Zdroj: Rene Ritchie / iMore

To je stále viac a viac rovnakých softvérových noviniek.

The Pixel 4 a iPhone 11 Pro nám ukazujú, čo môže každá spoločnosť urobiť, keď použije tieto superkomplikované algoritmy tandem s fotoaparátom s viacerými objektívmi a je to obrovské zlepšenie v porovnaní s tým, čo každá spoločnosť ponúka v minulosť. Keď máte dvojnásobok údajov na prácu a ste zdokonalení v zhromažďovaní údajov správny dát, môžete pri stavbe fotoaparátu urobiť skutočne skvelú prácu.

To však neznamená, že ani jedna spoločnosť sa prestane zaujímať o fotoaparát s jedným objektívom. Poznáme to Pixel 4a sa blíži a bude mať iba jednu kameru vzadu, a ak sa reč o iPhone SE + 2020 skutočne stane, počítajte s tým, že pôjde o omývanie iPhone 8+ s jediným objektívom. Nehovoriac o miliónoch a miliónoch selfie zhotovených každý deň pomocou jednookého kamerového systému.

Softvéroví inžinieri a špecialisti na strojové videnie v oboch spoločnostiach sa pokúsia naučiť všetko, čo môžu, z dvojky „dvojitých údajov“ objektívy môžu zhromažďovať a vidieť, ako sa dá zapracovať do algoritmov, ktoré robia fotoaparáty iPhone SE a Pixel 4a (pravdepodobne) tak sakra dobre. A zistia nové veci o zhromažďovaní svetla so všetkými týmito dátami.

Každá aktualizácia operačného systému fotoaparáty vylepší a prinesie vylepšenia aj kamerám smerujúcim dopredu. Nečakajte skutočné zázraky, ale výsledky o tri roky by mali byť dosť skvelé!