Kako novi portretni način iPhone SE poskuša Google Pixel uničiti

Vir: Alex Dobie / Android Central

Ni skrivnost tega Googlovi telefoni Pixel so imeli nekaj najboljših kamer, ki jih boste našli na katerem koli telefonu, čeprav ima večina le en objektiv kamere. Zanašajo se na programsko čarovnijo, da spremeni videz fotoaparata v odlično fotografijo, učinki, kot sta pokončni način ali nočni pogled, pa to programsko opremo še bolj poglobijo. Smiselno - Google je navsezadnje predvsem programsko podjetje.

Apple izdeluje strojno opremo in jo prodaja ljudem. Google večinoma izdeluje algoritme.

Apple v prvi vrsti ni podjetje s programsko opremo, vsaj ne enako kot Google. Apple je bolj podoben Samsungu in gradi izdelke, ki jih ljudje želijo kupiti, ne da bi pomislili na programsko opremo v njih. Toda tako kot Samsung je tudi Appleova kamera močna. Zelo močno. Vzorec fotografij iz iPhona 11 prikazuje, kako dobre so lahko Applove kamere.

In potem imamo novi iPhone SE. Bodimo odkriti - je iPhone 8 z boljšim naborom čipov

Ta novi čip

Vir: iMore

The Procesor A13 Bionic v iPhone SE je enak procesor, kot ga boste našli v seriji iPhone 11. Je najnovejši Apple in v mnogih stvareh je zares dober - strojno učenje je ena od teh stvari, zahvaljujoč samostojnemu nevronskemu motorju z lastnim mikroprocesorjem.

Zaradi te strojne opreme je Apple lahko vključil tisto, kar imenuje "Ocena globine monokularnega slike"kar je zelo kompleksen način, da lahko portretiramo fotografije samo s slikovnimi podatki, ki jih lahko zajame ena kamera. Res. Ni senzorja časa letenja oz LiDAR ali kateri koli drugi trik, ki bi olajšal zajem globine, samo en objektiv kamere.

Več: Kaj je kamera za čas letenja in kako deluje?

Če se to sliši nekoliko znano, je to zato, ker Google že nekaj let s svojimi telefoni Pixel počne nekaj zelo podobnega s programsko opremo "samo". Kako deluje, je res zelo kul.

Strojno učenje je širok pojem, ki lahko zajema veliko stvari. V primeru pridobivanja podatkov o globini iz ene leče uporablja nevronsko mrežo za zbiranje podatkov, da ve, kako bi morale biti stvari - v primeru iPhone SE za zdaj samo ljudje. Z velikim računalnikom nahranite na tisoče in tisoče fotografij ljudi in začne najti vzorce. Na primer, kako so na splošno oblikovane oči ali kako lasje nimajo popolnoma gladkih obrisov.

Ta računalnik drobi vse podatke in zdaj se je "naučil", kaj je oseba, in lahko osebo loči od njenega ozadja. Košček programske opreme, ki to lahko stori, potrebuje nekaj prostora za življenje, še pomembneje pa je, da potrebuje procesorsko moč, da teče skozi svojo rutino, kadar koli to zahtevate.

Stroji se ne morejo učiti, lahko pa prepoznajo vzorce, če dobijo dovolj podatkov.

Tu nastopi namenski procesor strojnega učenja v A13 Bionic. Podobno kot namenski motorji kamer Pixel - Pixel Visual Core in novejši Googlovo nevronsko jedro - pripravljen je namenski čip za obdelavo funkcij strojnega učenja. Ko fotoaparatu iPhone SE naročite, naj posname portretno fotografijo, se nevronski procesor sproži in najde oseba v objektivu fotoaparata in podatke posreduje procesorju, ki spremeni videno v a fotografijo.

Ostalo je precej preprosto. Deli fotografije, ki niso oseba, so rahlo zamegljeni, deli osebe pa so nekoliko ostri. Ni popoln in vsak telefon z dvema lečama bi lahko nevronskemu motorju posredoval več podatkov in ustvaril veliko boljšo fotografijo, vendar je večina časa portretna fotografija videti res dobro.

Za zdaj samo ljudje

Vir: iMore

Kratek odgovor - ker je to vse, kar je Apple čip zdaj "naučil" obdelati. Oris osebe je ustvarjen kot globinski zemljevid, ki je zelo podroben in ima zelo natančno določen rob. Apple bi se lahko odločil, da bo nevronski motor poučeval o kaktusih, steklenicah ali psih, toda ljudje smo tisto, kar največ fotografiramo, zato se tu stvari začnejo.

"Naučiti" nevronsko mrežo, kako izgleda človek, je bolje, kot če bi jo učili, kako izgleda zlata ribica, če je fotografija končni cilj fotografije.

Toda Apple je zemljevid globin (tako podatke v ozadju kot podatke o ljudeh) izpostavil tudi kot API za razvijalce. To pomeni, da lahko aplikacije neodvisnih kamer uporabljajo portretni način, tako kot lahko Pixel. Preprosto izberite žariščno točko in posnemite fotografijo, fotoaparat pa bo poskušal najbolje dobiti informacije o globini glede na oris tega, kar lahko vidi.

V nekaterih stvareh bo dobro, v drugih pa ne tako dobro, ker ni naučenega algoritma, kakršen se uporablja za ljudi. A vseeno bi moralo biti dovolj sposobnih posneti čudovite portretne učinke drugih stvari in se izkazati dobro. Videli smo, kako so telefoni Pixel z vsako ponovitvijo vedno boljši, zato vemo, da je to mogoče.

Apple verjetno ne bo izdal drugega telefona z enim objektivom kamere, prav tako pa tudi Google. Toda Appleovim algoritmom dajte nekaj let in iPhone SE bi lahko portretne fotografije naredil tako dobre ali boljše kot kateri koli telefon Pixel z eno kamero. Tako kot Pixel lahko tudi to, kar se je naučil, uporabi dvojne podatke iz dvojnih leč kamere in tej kameri Pixel resno pomaga za svoj denar.

Kaj je naslednje za Apple in Google?

Vir: Rene Ritchie / iMore

Vedno več istih programskih inovacij, to je kaj.

The Pixel 4 in iPhone 11 Pro nam pokažejo, kaj lahko naredi vsako podjetje, ko uporablja te izjemno zapletene algoritme tandem s kamero z več objektivi in ​​je velik napredek v primerjavi s tem, kar je vsako podjetje ponudilo v preteklosti. Ko imate dvakrat podatke za delo in ste izpopolnili, kako zbrati prav podatkov, lahko naredite nekaj res odličnega dela, ko gre za izdelavo fotoaparata.

A to še ne pomeni, da se nobeno podjetje ne bo več ukvarjalo s kamero z enim objektivom. Vemo, da Pixel 4a prihaja in bo imel zadaj samo eno kamero, in če se bo govorica o iPhone SE + 2020 dejansko zgodila, pričakujte, da gre za ponovitev iPhonea 8+ s samo enim objektivom. Da ne omenjam milijonov in milijonov samoportretov, ki jih vsak dan posnamejo s sistemom z enim objektivom.

Programski inženirji in strokovnjaki za strojni vid v obeh podjetjih se bodo skušali naučiti vsega, kar lahko, iz dvojnih podatkov leče lahko zbirajo in vidijo, kako je to mogoče uporabiti v algoritmih, zaradi katerih sta fotoaparata iPhone SE in Pixel 4a (verjetno) tako prekleto dobro. In odkrili bodo nove stvari o zbiranju svetlobe z vsemi temi podatki.

Vsaka posodobitev operacijskega sistema bo izboljšala kamere in izboljšala tudi sprednje kamere. Ne pričakujte dejanskih čudežev, vendar bi morali biti rezultati čez tri leta zelo dobri!