Kuinka uuden iPhone SE: n pystytila ​​yrittää viedä Googlen ulkopuolelle Pixelin

Lähde: Alex Dobie / Android Central

Ei ole mikään salaisuus Googlen Pixel-puhelimet sinulla on ollut joitain parhaita kameroita, jotka löydät mistä tahansa puhelimesta, vaikka useimmilla niistä on vain yksi kameran linssi. He luottavat ohjelmamaagiaan kääntääkseen kameran näkymän upeaksi valokuvaksi, ja tehosteet, kuten muotokuvatila tai yönäkymä, vievät ohjelmiston entistä pidemmälle. On järkevää - Google on loppujen lopuksi ensisijaisesti ohjelmistoyritys.

Apple valmistaa laitteita ja myy niitä ihmisille. Google tekee enimmäkseen algoritmeja.

Apple ei ole ensisijaisesti ohjelmistoyritys, ainakaan samalla tavalla kuin Google. Apple on enemmän kuin Samsung ja rakentaa tuotteita, jotka ihmiset haluavat ostaa ajattelematta niiden sisällä olevaa ohjelmistoa. Mutta aivan kuten Samsung, Applen kamerapeli on vahva. Erittäin vahva. Näytteenotto valokuvista iPhone 11: stä näyttää kuinka hyvät Applen kamerat voivat olla.

Ja sitten meillä on uusi iPhone SE. Olkaamme rehellisiä - se on paremman piirisarjan sisältävä iPhone 8. Se ei ole huono asia, mutta se tarkoittaa, että on vain yksi kamera kuvien ottamiseen. Joten miksi ne ovat niin hyviä, etenkin muotokuvat? Ja ennen kuin sanot sen, he ovat hyviä. Ainakin muotokuvia ihmisistä, jotka selitämme vähän. Koneoppiminen, siksi.

Tuo uusi siru

Lähde: iMore

A13 Bionic -suoritin iPhone SE: n sisällä on sama prosessori, jonka löydät iPhone 11 -sarjasta. Se on Applen uusin, ja se on todella hyvä monissa asioissa - koneoppiminen on yksi näistä asioista erillisen hermomoottorin ansiosta, jossa on oma mikroprosessori.

Tämän laitteiston takia Apple pystyi sisällyttämään sen, mitä se kutsuu "Yhden kuvan monokulaarisen syvyyden arviointi"mikä on hyvin monimutkainen tapa sanoa, että se voi kuvata muotokuvia vain kuvadatalla, jonka yksi kamera voi kaapata. Todella. Lentoanturia ei ole tai LiDAR tai mitä tahansa muuta temppua, joka helpottaisi syvyyden kaappaamista, vain yksi kameran linssi.

Lisää: Mikä on Time-of-Flight -kamera ja miten se toimii?

Jos tämä kuulostaa hieman tutulta, se johtuu siitä, että Google on jo muutaman vuoden ajan tehnyt jotain hyvin samanlaista "vain" -ohjelmiston kanssa Pixel-puhelimissa. Kuinka se toimii, on todella, todella siistiä.

Koneoppiminen on laaja termi, joka voi kattaa paljon asioita. Syvyysdatan saamiseksi yhdestä linssistä se käyttää hermoverkkoa tietojen keräämiseen, jotta se tietää, mitä asioiden - iPhone SE: n tapauksessa vain ihmisten toistaiseksi - pitäisi näyttää. Syötät suurta tietokonetta tuhansia ja tuhansia valokuvia ihmisistä, ja se alkaa löytää malleja. Asiat, kuten silmien yleinen muoto tai kuinka hiukset eivät ole täysin sileät.

Tuo tietokone murskaa kaikki tiedot ja on nyt "oppinut" mikä ihminen on ja voi erottaa ihmisen taustastaan. Paljon ohjelmistoja, jotka voivat tehdä tämän, tarvitsee jonkin verran tilaa elämiseen, mutta mikä tärkeintä, se tarvitsee prosessointitehoa toimiakseen rutiininsa läpi aina kun pyydät sitä tekemään niin.

Koneet eivät voi oppia, mutta ne tunnistavat kuviot, jos ne syötetään tarpeeksi tietoa.

Siellä tulee esiin A13 Bionicin oma koneoppimisprosessori. Aivan kuten Pixelin erilliset kameramoottorit - Pixel Visual Core ja uudemmat Google Neural Core - erillinen siru koneoppimistoimintojen käsittelemiseen on valmiina Kun käsket iPhone SE: n kameraa ottamaan muotokuva, hermoprosessori potkaisee ja löytää henkilö kameran linssissä ja syöttää tietoja prosessorille, joka muuttaa kameran näkemät a valokuva.

Loput ovat melko yksinkertaisia. Valokuvan osat, jotka eivät ole henkilöitä, hämärtyvät hieman ja osat, jotka ovat henkilö, teroitetaan hieman. Se ei ole täydellinen, ja mikä tahansa kaksi linssiä sisältävä puhelin voisi syöttää enemmän tietoa hermomoottorille ja luoda paljon paremman kuvan, mutta suurimmaksi osaksi muotokuva näyttää todella hyvältä.

Vain ihmiset toistaiseksi

Lähde: iMore

Lyhyt vastaus - koska kaikki, mitä Apple on "opettanut" sirun käsittelemään juuri nyt. Henkilön ääriviivat luodaan syvyyskartaksi, joka on erittäin yksityiskohtainen ja jolla on hyvin määritelty reuna. Apple olisi voinut päättää opettaa hermomoottorille kaktuksista, pulloista tai koirista, mutta ihmiset ottavat eniten valokuvia, joten asia alkaa.

Neuraaliverkon "opettaminen" miltä ihminen näyttää, on parempi kuin opettaa sille miltä kultakala näyttää, jos valokuvaus on lopullinen tavoite.

Mutta Apple paljasti myös syvyyskartan (sekä taustatiedot että "ihmiset" -tiedot) kehittäjien sovellusliittymänä. Tämä tarkoittaa, että kolmannen osapuolen kameran sovellukset voivat käyttää pystytilaa aivan kuten Pixel-kamera. Valitse vain keskipiste ja napsauta valokuva, ja kamera yrittää parhaiten saada syvyystietoja sen perusteella, mitä se voi nähdä.

Se tulee olemaan hyvä joissakin asioissa ja ei niin hyvissä muissa asioissa, koska ei ole opittua algoritmia, kuten ihmisille. Mutta sen pitäisi silti olla riittävän kykenevä ottamaan muiden asioiden siistit muotokuvaefektit ja saada ne osoittautumaan hyviksi. Olemme nähneet, kuinka Pixel-puhelimet saivat parempia ja parempia jokaisella toistolla, joten tiedämme, että se on mahdollista.

Apple ei todennäköisesti aio julkaista toista puhelinta yhdellä kameran linssillä, eikä Google. Anna Applen algoritmeille muutama vuosi, ja iPhone SE voi ottaa muotokuvia yhtä hyviä tai parempia kuin mikään yksittäiskameran Pixel-puhelin koskaan. Ja kuten Pixel, se voi käyttää opittua yhdistettynä kaksinkertaiseen dataan kaksinkertaisista kameralinsseistä ja antaa tälle Pixel-kameralle vakavan ajon rahoilleen.

Mitä seuraavaksi Applelle ja Googlelle?

Lähde: Rene Ritchie / iMore

Yhä enemmän samoja ohjelmistoinnovaatioita, se mitä.

Pixel 4 ja iPhone 11 Pro näyttävät meille, mitä kukin yritys voi tehdä käyttäessään näitä erittäin monimutkaisia ​​algoritmeja tandem monilinssikameralla, ja se on valtava parannus verrattuna siihen, mitä kukin yritys on tarjonnut menneisyydessä. Kun sinulla on kaksi kertaa tietoja, joiden kanssa voit työskennellä, ja olet parantanut tietojen keräämistä oikein tietoja, voit tehdä todella hienoa työtä kameran rakentamisessa.

Mutta se ei tarkoita, ettei kumpikaan yritys lopettaisi yhden objektiivin kameran välittämistä. Tiedämme Pixel 4a on tulossa ja sillä on vain yksi kamera takana, ja jos huhuttu iPhone SE + 2020 todella tapahtuu, odota, että se on iPhone 8+ uudelleen vain yhdellä linssillä. Puhumattakaan miljoonista ja miljoonista selfieistä, jotka päivittäin otetaan yhden objektiivin kamerajärjestelmällä.

Molempien yritysten ohjelmistoinsinöörit ja konenäköasiantuntijat yrittävät oppia kaiken voitavansa kahdesta kaksoisdatadatasta linssit voivat kerätä ja nähdä, miten se voidaan käsitellä algoritmeihin, jotka tekevät iPhone SE- ja Pixel 4a -kameroista (oletettavasti) niin pirun hyvä. Ja he oppivat uusia asioita valon keräämisestä kaikilla tiedoilla.

Jokainen käyttöjärjestelmän päivitys tekee kameroista parempia ja tuo parannuksia myös eteenpäin suuntautuviin kameroihin. Älä odota todellisia ihmeitä, mutta kolmen vuoden kuluttua tulosten pitäisi olla melko hyviä!