Jak tryb portretowy nowego iPhone'a SE stara się prześcignąć Google Pixel

Źródło: Alex Dobie / Android Central

Nie jest to tajemnicą Telefony Pixel firmy Google miał jedne z najlepszych aparatów, jakie można znaleźć w każdym telefonie, mimo że większość z nich ma tylko jeden obiektyw. Opierają się na magii oprogramowania, aby zmienić to, co widzi aparat, w świetne zdjęcie, a efekty, takie jak tryb portretowy lub celownik nocny, idą jeszcze dalej. To ma sens - w końcu Google to przede wszystkim firma programistyczna.

Apple produkuje sprzęt i sprzedaje go ludziom. Google głównie tworzy algorytmy.

Apple nie jest przede wszystkim firmą programistyczną, a przynajmniej nie taką samą, jaką jest Google. Apple bardziej przypomina Samsunga i tworzy produkty, które ludzie chcą kupować, nie myśląc o oprogramowaniu, które jest w nich zawarte. Ale podobnie jak Samsung, gra Apple z aparatem jest mocna. Bardzo silny. Próbka zdjęć z iPhone'a 11 pokazuje, jak dobre mogą być aparaty Apple.

A potem mamy

Ten nowy chip

Źródło: iMore

Plik A13 Bionic procesor wewnątrz iPhone'a SE to ten sam procesor, który znajdziesz w serii iPhone 11. Jest to najnowszy model firmy Apple i jest naprawdę dobry w wielu rzeczach - uczenie maszynowe jest jedną z tych rzeczy dzięki samodzielnemu silnikowi neuronowemu z własnym mikroprocesorem.

Dzięki temu sprzętowi firma Apple mogła uwzględnić to, co nazywa „Szacowanie głębokości jednoocznej pojedynczego obrazu„co jest bardzo złożonym sposobem na powiedzenie, że może robić zdjęcia portretowe przy użyciu tylko danych obrazu, które może zarejestrować jeden aparat. Naprawdę. Nie ma czasu czujnika lotu ani LiDAR lub inne sztuczki, które ułatwiłyby uchwycenie głębi, tylko jeden obiektyw aparatu.

Więcej: Co to jest kamera Time of Flight i jak działa?

Jeśli brzmi to trochę znajomo, to dlatego, że Google od kilku lat robi coś bardzo podobnego z „tylko” oprogramowaniem w swoich telefonach Pixel. Jak to działa, jest naprawdę fajne.

Uczenie maszynowe to szerokie pojęcie, które może obejmować wiele rzeczy. W przypadku uzyskiwania danych o głębi z jednego obiektywu, wykorzystuje on sieć neuronową do zbierania danych, aby wiedzieć, jak powinno wyglądać - w przypadku iPhone'a SE, na razie tylko ludzie. Karmisz duży komputer tysiące zdjęć ludzi i zaczyna on znajdować wzory. Rzeczy takie jak ogólny kształt oczu lub to, że włosy nie mają idealnie gładkiego konturu.

Ten komputer przetwarza wszystkie dane i teraz „nauczył się”, kim jest dana osoba i może ją oddzielić od jej tła. Kawałek oprogramowania, które może to zrobić, potrzebuje trochę miejsca do życia, ale co ważniejsze, potrzebuje mocy obliczeniowej, aby wykonać swoją rutynę, gdy tylko o to poprosisz.

Maszyny nie mogą się uczyć, ale potrafią rozpoznawać wzorce, jeśli otrzymują wystarczającą ilość danych.

Tutaj do gry wkracza dedykowany procesor uczenia maszynowego w A13 Bionic. Podobnie jak dedykowane silniki aparatu Pixel - Pixel Visual Core i nowsze Google Neural Core - dedykowany chip do przetwarzania funkcji uczenia maszynowego jest gotowy. Kiedy powiesz aparatowi iPhone'a SE, aby zrobił zdjęcie portretowe, procesor neuronowy włączy się i znajdzie plik osoba w obiektywie aparatu i przekazuje dane do procesora, który zamienia to, co widzi kamera, w plik fotografia.

Reszta jest dość prosta. Części zdjęcia, które nie są osobą, są lekko rozmyte, a części przedstawiające osobę są lekko wyostrzone. Nie jest idealny, a każdy telefon z dwoma obiektywami mógłby przesłać więcej danych do silnika neuronowego i stworzyć znacznie lepsze zdjęcie, ale przez większość czasu zdjęcie portretowe wygląda naprawdę dobrze.

Na razie tylko ludzie

Źródło: iMore

Krótka odpowiedź - ponieważ to wszystko, co Apple „nauczył” chip teraz przetwarzać. Zarys osoby jest tworzony jako mapa głębi, która jest bardzo szczegółowa i ma bardzo dobrze zdefiniowane krawędzie. Apple mogło podjąć decyzję o nauczeniu silnika neuronowego o kaktusach, butelkach lub psach, ale najczęściej fotografujemy ludzi, więc od tego się wszystko zaczyna.

„Nauczenie” sieci neuronowej, jak wygląda osoba, jest lepsze niż nauczenie jej, jak wygląda złota rybka, jeśli celem końcowym jest fotografia.

Jednak Apple ujawnił również mapę głębi (zarówno dane w tle, jak i dane „ludzi”) jako interfejs API dla programistów. Oznacza to, że aplikacje do aparatów innych firm mogą używać trybu portretu, tak jak aparat Pixel. Po prostu wybierz punkt centralny i zrób zdjęcie, a aparat postara się najlepiej uzyskać informacje o głębi w oparciu o zarys tego, co widzi.

Będzie dobry w niektórych rzeczach, a nie tak dobry w innych, ponieważ nie ma wyuczonego algorytmu takiego jak ten używany dla ludzi. Ale nadal powinno być w stanie robić ładne portrety innych rzeczy i sprawić, by wypadły dobrze. Widzieliśmy, jak telefony Pixel stawały się coraz lepsze z każdą iteracją, więc wiemy, że jest to możliwe.

Apple prawdopodobnie nie wypuści kolejnego telefonu z jednym obiektywem aparatu, podobnie jak Google. Ale dajmy algorytmom Apple kilka lat, a iPhone SE może robić zdjęcia portretowe równie dobre lub lepsze niż jakikolwiek telefon Pixel z jedną kamerą. I podobnie jak Pixel, może wykorzystać to, czego się nauczył, w połączeniu z podwójną ilością danych z podwójnej liczby obiektywów aparatu i dać temu aparatowi Pixel poważny bieg za swoje pieniądze.

Co dalej z Apple i Google?

Źródło: Rene Ritchie / iMore

Coraz więcej tych samych innowacji w oprogramowaniu, ot co.

Plik Pixel 4 a iPhone 11 Pro pokazuje nam, co każda firma może zrobić, korzystając z tych super skomplikowanych algorytmów w tandem z aparatem wieloobiektywowym i jest to ogromna poprawa w porównaniu z tym, co każda firma oferowała w przeszłość. Kiedy masz dwa razy więcej danych do pracy i udoskonaliłeś sposób gromadzenia plików dobrze danych, możesz wykonać naprawdę świetną robotę, jeśli chodzi o zbudowanie aparatu.

Ale to nie znaczy, że żadna z firm nie przestanie dbać o aparat z jednym obiektywem. Znamy Pixel 4a nadchodzi i będzie miał tylko jeden aparat z tyłu, a jeśli podobno iPhone SE + 2020 rzeczywiście się wydarzy, spodziewaj się, że będzie to powtórka iPhone'a 8+ z tylko jednym obiektywem. Nie wspominając już o milionach autoportretów robionych każdego dnia za pomocą systemu aparatu z jednym obiektywem.

Inżynierowie oprogramowania i specjaliści od wizji maszynowej w obu firmach będą próbowali nauczyć się wszystkiego z dwóch „podwójnych danych” soczewki mogą zbierać i zobaczyć, jak można to wykorzystać w algorytmach, które sprawiają, że aparaty iPhone SE i Pixel 4a (prawdopodobnie) są tak cholernie dobre. Dzięki tym wszystkim danym dowiedzą się nowych rzeczy o zbieraniu światła.

Każda aktualizacja systemu operacyjnego sprawi, że kamery będą lepsze, a także wprowadzi ulepszenia do kamer z przodu. Nie oczekuj prawdziwych cudów, ale wyniki za trzy lata powinny być całkiem świetne!