Oto, jak Qualcomm planuje na zawsze zmienić fotografię mobilną

Fotografia smartfonem naprawdę przeszła długą drogę w ciągu ostatnich kilku lat, ale wideo niekoniecznie zrobiło tak wiele postępów. Na przykład mamy wideo 8K, co jest świetne, ale szybkość transmisji jest oczywiście dość ograniczona, ponieważ pracujemy z ograniczonym sprzętem. Czy jest jakiś duży krok naprzód, którego możemy się spodziewać, szczególnie po stronie wideo?

Heape: Wideo jest o wiele trudniejsze ze względu na szybkość transmisji danych i rozdzielczości przechodzące przez ISP (procesor sygnału obrazu). W przypadku migawki oczywiście zawsze możesz przetwarzać rzeczy w tle lub mieć trochę opóźnienia do zrobienia zdjęcia pojawia się w galerii, ale w przypadku wideo masz naprawdę ścisłe terminy, które musisz dotrzymać przy każdym pojedynczym rama. Ważne jest, aby wideo było nagrywane sprzętowo i zoptymalizowane pod kątem zużycia energii, aby telefon nie rozpływał się w dłoni, na przykład podczas nagrywania wideo 8K30.

Mówiłem wcześniej o połączeniu trzech kamer, w których można płynnie zmieniać zoom od ultraszerokokątnego do szerokiego do teleobiektywu. Zostanie to ulepszone, aby było znacznie płynniejsze i łatwiejsze do kontrolowania w przyszłych wersjach. Oczywiście chcemy również wykonać dużo pracy, aby poprawić jakość HDR w wideo, aby cały system mógł korzystać z innowacje, które pojawiają się w czujnikach obrazu do wykonywania czterech opartych na CFA (macierzy filtrów kolorów) HDR, naprzemiennego HDR, wielu klatek HDR... to naprawdę fajne funkcje, które wpływają nie tylko na jakość migawek, ale także na nagrywany strumień wideo i wizjer.

Jeśli chodzi o przetwarzanie pikseli, w przyszłości będziemy również poświęcać więcej sprzętu na wideo. W przeszłości robiliśmy takie rzeczy, jak lokalna kompensacja ruchu, abyś mógł poradzić sobie nie tylko z hałasem z panoramowaniem i globalnie poruszającymi się obiektami, ale także z obiektami poruszającymi się lokalnie w obrębie rama. Wykorzystujemy również nasze silniki głębi i ruchu, aby robić takie rzeczy jak bokeh w wideo, co można zrobić w dowolnym momencie rozdzielczości, aw bardziej odległej przyszłości przyjrzymy się zrozumieniu zawartości filmu i tego, co każdy z nich zawiera piksel jest.

Nawiązywałem do tego wcześniej, kiedy Morpho mówił o segmentacji semantycznej; kiedy piksele są rozpoznawane przez aparat, niezależnie od tego, czy jest to skóra, tkanina, trawa, niebo itp., są to pliki typy zrozumień, które pomagają przetwarzać te różne piksele pod kątem takich czynników, jak kolor, tekstura i hałas. W przyszłości będziemy to robić nie tylko w przypadku migawki, ale także wideo.

Myślę, że pierwszy efekt bokeh wideo, jaki zobaczyłem, był na LG G8 w zeszłym roku. Być może nie był to poziom robienia zdjęcia w trybie portretowym, ale i tak robił wrażenie. Oczywiście linia Pixel firmy Google jest w stanie robić niesamowite rzeczy, takie jak segmentacja semantyczna i jej różne tryby nocne.

Chcemy przenieść wiele z tych funkcji do wideo; to logiczny następny krok. Ale wideo już jest problemem z zasilaniem, zwłaszcza jeśli kręcisz, powiedzmy, 8K30 lub 4K120, więc dodaj je funkcje oprócz już dość nasyconego budżetu termicznego są wyzwaniem, ale nad tym pracujemy w przyszłość.

Z drugiej strony, jakie postępy ma Qualcomm nad platformą fotograficzną stronę rzeczy pod względem funkcji, takich jak tryb portretowy i inne rodzaje kreacji tryby fotografowania?

Naprawdę patrzymy teraz na rozszerzenie naszego zasięgu dla aparatu na heterogeniczne przetwarzanie i upewniając się, że kamera naprawdę łączy się i bezproblemowo komunikuje się z włączonym silnikiem AI Wyżlin. Do zdjęć, w przyszłości zobaczysz, że będziemy robić więcej, to używać sztucznej inteligencji do takich rzeczy, jak odszumianie, i możemy uzyskać naprawdę dobrą wydajność, aby pozbyć się szum, ale zachowanie szczegółów w słabym świetle, wykraczające poza to, co można zrobić za pomocą tradycyjnych technik, takich jak standardowe typy filtrów, które każdy może używa.

„Nie będziesz musiał martwić się retuszowaniem swoich zdjęć, silnik AI zapewni ich pełną optymalizację w przyszłości”.

Kolejnym obszarem, który poruszyłem w przypadku wideo, jest HDR. Będziemy używać silnika AI wraz z wykonanymi zdjęciami, aby wybrać najlepsze części sceny. W sztucznej inteligencji możemy więc automatycznie dopasować obraz do inteligentnego retuszu, w ramach którego wykonujemy przetwarzanie uwzględniające zawartość tonów, cieni, świateł i kolorów.

Uważamy, że to będzie naprawdę potężne; nie będziesz musiał martwić się o retuszowanie swoich telefonów, silnik AI zapewni ich pełną optymalizację we wszystkich tych obszarach w przyszłości.

Trzecim obszarem, o którym ludzie niekoniecznie myślą, jest wykrywanie twarzy. W przeszłości używaliśmy bardziej tradycyjnych technik, gdy kamera jest aktywna do wykrywania twarzy i tak naprawdę steruje działaniem kamery. Kiedy kamera widzi twarz na obrazie, używa tej twarzy do zarządzania niektórymi elementami w procesie 3A. Może użyć twarzy, aby określić, czy masz odpowiednią ekspozycję, lub może użyć twarzy jako automatycznego punktu autofokusa.

Myślę, że w przyszłości będziemy bardziej korzystać z podejścia do głębokiego uczenia się, w którym będziemy mogli używać naszego silnika sztucznej inteligencji do dokładniejszego wykrywania twarzy i przy mniejszej liczbie fałszywych alarmów. Będziemy mogli być znacznie bardziej elastyczni w określaniu, czy twarze są wykrywalne w różnych orientacjach, odległościach itp.

W moim Sony a7 III jest funkcja, która pozwala zrobić zdjęcie określonej twarzy i powiedzieć, że aparat, aby nadać danej osobie priorytet w takich sytuacjach, jak autofokus, nawet jeśli w kadrze znajdują się inne twarze strzał. Czy to coś, co moglibyśmy potencjalnie zobaczyć w telefonie w przyszłości?

Możesz to zrobić dość łatwo dzięki sztucznej inteligencji, bez zagłębiania się w bezpieczeństwo i rzeczy, które musisz zrobić, aby rozpoznać twarze na potrzeby płatności i odblokowywania telefonu. Możesz to zrobić po prostu w aparacie i wiedzieć, czy jest to twarz A, czy twarz B - niekoniecznie, jeśli jest to twarz, która ma odblokować telefon, ale tylko twarz zainteresowania. To wszystko jest możliwe i będzie możliwe dzięki ulepszonemu silnikowi, który będziemy robić do głębokiego uczenia się wykrywania twarzy.

Muszę tylko zapytać. Niedawno ogłoszony przez firmę Canon aparat EOS R5 może oczywiście nagrywać wideo 8K, ale bardziej interesująca jest dla mnie możliwość nagrywania w aparacie oversampled 4K, co gromadzi informacje z materiału źródłowego 8K, aby uzyskać ostrzejsze wideo 4K bez konieczności robienia tego samodzielnie w poście i radzenia sobie z ogromnymi rozmiarami plików 8K. Czy to coś, co możemy kiedyś zobaczyć w telefonach, czy to odwołuje się do ograniczeń dotyczących ogrzewania i przepływności?

To dobre pytanie. To jest coś, co mogą zrobić nasi producenci OEM; oczywiście oferujemy natywne tryby do nagrywania w 4K i 8K, ale ponieważ 8K jest również dość energochłonne, z pewnością można przeprowadzić konwersję w górę lub w dół. Jedną z rzeczy - być może problem na odwrót - przyglądamy się również inteligentnemu skalowaniu do wideo.

Dziś po stronie zdjęć można użyć wielu ramek, aby utworzyć więcej pikseli i uzyskać obraz o większej rozdzielczości, ale to samo jest również możliwe w przypadku wideo. Możesz fotografować w niższej rozdzielczości i używać niewielkich ruchów aparatu z klatki na klatkę, a nawet konwertować w górę, nawet do 3x bez zauważalnej degradacji.

Chciałem też zapytać o narzut, jeśli chodzi o obsługę przez Qualcomm tak wielu różnych rodzajów smartfonów z różnych krajów producentów i spełniając różne wymagania każdego z nich, ponieważ firmy starają się wyróżnić wyjątkowe funkcje aparatu. Zwłaszcza teraz, gdy widzimy wiele kamer na prawie każdym telefonie, niezależnie od ceny - to musi być dużo zmartwień.

To jest! Ponieważ kamera jest tak ważną cechą, każdy producent OEM chce wyróżniać się na swoich aparatach. Więc Qualcomm wypuści platformę sprzętową i oprogramowanie aparatu, które ma mnóstwo możliwości, ale oczywiście jeden producent OEM chce się różnić od innego OEM. Więc wybierają różne soczewki, różne czujniki obrazu, inaczej rozmieszczają czujniki z przodu iz tyłu dodają takie elementy, jak czujniki głębi, ogniskowanie wspomagane laserem lub makro kamery ...

Wielu klientów chce również wyróżniać się w oprogramowaniu. Może chcą zrobić własny algorytm; samodzielne wykonywanie określonej funkcji w aparacie; chcą nieco ulepszyć sposób, w jaki robi się coś takiego jak Demosaic.

„Mamy naprawdę silną sieć zewnętrznych dostawców, których naprawdę pielęgnujemy”.

Zatem wyzwaniem, przed którym stoimy, jest obsługa wszystkich tych dostosowań i różnicowań, ale mamy naprawdę dobry zespół ds. Systemów oraz zespół inżynierów klienta, którego zadaniem jest zapewnienie klientom sukcesu przez całą dobę, 7 dni w tygodniu i możliwość samodzielnej integracji cechy.

Jedną z rzeczy, która naprawdę odróżnia Qualcomm od innych dostawców zapewniających IP kamer, jest to, że mamy naprawdę silną sieć dostawców zewnętrznych, którzy naprawdę się pielęgnujemy i chcemy mieć pewność, że gdy mamy dostawcę zewnętrznego, który może współpracować z klientem, wszyscy pracujemy razem.

Kiedy współpracujemy z producentem OEM, który współpracuje ze stroną trzecią, taką jak Morpho lub ArcSoft, osoba ta jest również w bezpośrednim kontakcie z nami. Jeśli więc chcą coś zrobić z potrójnymi aparatami lub sztuczną inteligencją, będziemy współpracować z tą firmą, aby upewnić się, że mają najnowsze i najlepsze platformy programistyczne, podstawowe oprogramowanie i interfejsy API oraz że mają możliwość wykorzystania naszych bloków sprzętowych, zarówno wewnątrz, jak i na zewnątrz aparat fotograficzny.

Android Central Podcast # 452: Rozmowa z Qualcomm

Coś, co strona trzecia może zrobić w procesorze, może stwierdzić, że może to zrobić z mniejszą mocą, jeśli wykorzysta jakiś blok w naszym dostawcy usług internetowych lub w naszej wizji komputerowej - naszym silniku EVA. Może gdyby przenieśli algorytm z procesora na DSP, jak silnik HVX (Hexagon Vector Extensions), mogliby uzyskać lepszą wydajność i niższą moc. Jesteśmy w ścisłym kontakcie z każdym ISV ​​(niezależnym dostawcą oprogramowania) w naszej zewnętrznej sieci, aby mieć pewność że wszelkie rozwiązania, które wymyślamy, aby pomóc producentom OEM w dostosowywaniu, są równie usprawnione i energooszczędne jak możliwy.

Coś w rodzaju odgałęzienia tego pytania, jak zrównoważyć własne zestawy funkcji Qualcomm i danego klienta? Wracając do Google, bardzo chciałbym zobaczyć, jak tryb astrofotografii Pixel 4 trafia do innych telefonów, ale gdzie wyznaczasz linię i zostawiasz ten rodzaj rozwoju producentowi OEM?

Myślimy o tym nieustannie. Jak to zrównoważyć? W jaki sposób pozwalamy naszym producentom OEM i niezależnym dostawcom oprogramowania odróżniać się od funkcji, które będziemy oferować poziomy bazowe, które mogą trafić do każdego, i z kolei usunąć to rozróżnienie od niektórych konkretnych OEM? Myślę, że naszą siłą napędową są dwie rzeczy. Wszystko, co naszym zdaniem poprawi komfort korzystania z aparatu i popchnie cały ekosystem do przodu, chcemy podejść do tego z perspektywy użytkowników w całej branży.

Więc jeśli istnieje jakaś funkcja, która naszym zdaniem przyniesie korzyści wszystkim i naprawdę popchnie cały system kamer mobilnych w kierunku czegoś takiego jak aparat bez lustra, zintegrujemy to. Inną rzeczą, na którą patrzymy, jest jakość obrazu. Jeśli jest to coś, co konkretnie wpłynie na wyniki jakości obrazu, powiedzmy, na przykład niezależnego domu benchmarkingowego, takiego jak DxOMark, chcemy mieć taką możliwość u siebie. W przypadku takich rzeczy, jak powiększanie lub redukcja szumów, lepsze wykrywanie twarzy, przetwarzanie segmentowe, HDR itd., To wszystko jest mierzone w branży, dlatego chcemy mieć pewność, że oferta, którą oferujemy wszystkim naszym klientom, obejmuje te obszary tak zoptymalizowane, jak oni może być.

Więc to są dwa czynniki napędzające; nie chcemy nadstawiać naszych klientów i naszej zewnętrznej sieci, która może chcieć wprowadzać innowacje, ale z drugiej strony, jeśli to naprawdę popycha cały ekosystem do przodu lub jeśli ma to wpływ na wynik w DxOMark, naprawdę chcemy spróbować zaoferować to każdemu, aby przenieść wszystko Naprzód.

Wspomniałeś wcześniej, jak Qualcomm chce poprawić płynne przejście między soczewkami podczas powiększania i pomniejszania. Właśnie zrobiłem retrospektywny przegląd zeszłorocznego Galaxy Note 10 i nadal byłem pod wrażeniem tego, jak spójne jest obrazowanie w każdym obiektywie. Oczywiście są drobne różnice; Szczególnie ultraszerokokątny pozwala szybciej rozjaśniać rozjaśnienia, ale kolory są naprawdę trafione, a chociaż występuje ułamek sekundy opóźnienia podczas przejścia między soczewkami, jest to bardzo imponujące. Nie mogę się doczekać dalszej poprawy.

To nie jest łatwe. Masz trzy różne czujniki obrazu i zwykle nie są one nawet tego samego typu. Masz wiele obiektywów, musisz dostroić te kamery, aby kolor był na miejscu; że przejście ostrości i ekspozycja są takie same; balans bieli jest taki sam; kolor jest taki sam; podstawowe strojenie tekstury i szumu są takie same... w przeciwnym razie twoje oko to zobaczy. Jest naprawdę dobry w wychwytywaniu tych nieciągłości.

Staramy się budować coraz więcej haków w sprzęcie, aby można było to łatwo zrobić podczas przejścia, a kiedy przechodzisz od szerokiego do ultraszerokiego, nie chodzi tylko o dopasowanie tych parametrów. Chodzi również o to, kiedy jesteś w tym punkcie przejścia, w którym powiedziałeś, że jest niewielkie opóźnienie; zachodzi również fuzja między tymi dwoma obrazami, aby upewnić się, że orientacja i układ tych obrazów są martwe, i to jest faktycznie wykonane w czasie rzeczywistym za pomocą bloku sprzętowego w dostawcy usług internetowych, który zarządza orientacją i wypaczeniem, aby te dwa obrazy były wyrównane doskonale.

Jest w tym dużo, zwłaszcza w tych naprawdę małych regionach przejściowych, w których chcesz, aby było ultra-płynne; jest za tym dużo sprzętu, który to umożliwia.