Článek

Zde je ukázka toho, jak Qualcomm plánuje navždy změnit mobilní fotografii

protection click fraud

Fotografie z chytrých telefonů prošla v posledních letech opravdu dlouhou cestou, ale video nutně neudělalo tolik pokroků. Máme například 8K video, což je skvělé, ale přenosová rychlost je samozřejmě stále poměrně omezená, protože pracujeme s omezeným hardwarem. Existuje nějaký velký krok vpřed, který můžeme očekávat zejména po stránce videa?

Heape: Video je mnohem náročnější kvůli datovým rychlostem a rozlišením, která procházejí ISP (procesor obrazového signálu). U Snapshotu můžete samozřejmě vždy zpracovávat věci na pozadí nebo mít trochu latence, dokud se fotografie nestane se objeví v galerii, ale s videem máte opravdu přísné termíny, které musíte dodržet u každého rám. Je důležité, aby se video dělo v hardwaru a aby bylo optimalizováno pro napájení, aby se telefon neroztavil v ruce, když se pokoušíte například natáčet video v rozlišení 8K30.

Už jsem mluvil o sloučení tří fotoaparátů, kde můžete plynule zvětšovat z ultraširokého na široký na teleobjektiv. To bude vylepšeno, aby bylo v budoucích revizích mnohem plynulejší a snadněji ovladatelné. Samozřejmě také chceme udělat hodně práce pro vylepšení zážitku HDR ve videu, aby celý systém mohl využívat inovace, které vycházejí z obrazových snímačů a umožňují čtyřnásobné HDR založené na CFA (pole barevných filtrů), odstupňované HDR, více snímků HDR... to jsou opravdu pěkné funkce, které ovlivňují nejen kvalitu momentek, ale také stream zaznamenaného videa a hledáček.

Pokud jde o zpracování pixelů, budeme v budoucnu věnovat více hardwaru videu. V minulosti jsme dělali věci jako lokální kompenzace pohybu, abyste zvládli nejen hluk s posouváním a globálními pohyblivými objekty, ale také s objekty, které se pohybují lokálně v rámci rám. Také těžíme z našich hloubkových a pohybových motorů, abychom mohli dělat věci, jako je bokeh ve videu, což je možné dělat kdokoli rozlišení a ve vzdálenější budoucnosti se budeme zabývat porozuměním obsahu videa a obsahu každého z nich pixel je.

Zmínil jsem se o tom dříve, když Morpho mluvil o sémantické segmentaci; když kamera rozumí pixelům, ať už jde o kůži, textilie, trávu, oblohu atd., jedná se o typy porozumění, které pomáhají zpracovat tyto různé pixely pro faktory, jako je barva, struktura a hluk. V budoucnu to nebudeme dělat jen pro snímek, ale také pro video.

Myslím, že první video bokeh efekt, který jsem viděl, byl minulý rok na LG G8. Možná to nebylo úplně na úrovni fotografování v režimu na výšku, ale stále to bylo působivé. Linka Pixel společnosti Google samozřejmě dokáže i neuvěřitelné věci, jako je sémantická segmentace a její různé noční režimy.

Mnoho z těchto funkcí chceme přesunout do videa; je to další logický krok. Ale video je již problém s napájením, zvláště pokud fotografujete například s rozlišením 8K30 nebo 4K120, takže je přidejte funkce nad již tak docela nasyceným tepelným rozpočtem je výzva, ale na tom právě pracujeme budoucnost.

A na druhou stranu, k jakému pokroku společnost Qualcomm pracuje na fotografická stránka věcí, pokud jde o funkce, jako je portrétový režim a další typy kreativ režimy fotografování?

Opravdu se nyní díváme na rozšíření našeho dosahu pro kameru na heterogenní výpočetní techniku ​​a ujistěte se, že kamera skutečně spolupracuje a bezproblémově komunikuje se zapnutým motorem AI Hledík. Pro fotografieto, co v budoucnu uvidíte, že děláme více, je používání AI pro věci, jako je odšumování, a můžeme dosáhnout opravdu dobrého výkonu, jak se zbavit hluk, ale zachování detailů při slabém osvětlení, nad rámec toho, co můžete dělat s tradičními technikami, jako jsou standardní typy filtrů, které každý používá.

„Nebudete se muset starat o retušování svých fotografií, motor AI zajistí, že budou do budoucna zcela optimalizovány.“

Další oblastí, které jsem se dotkl pomocí videa, je HDR. K výběru nejlepších částí scény použijeme engine AI spolu se zachycenými fotografiemi. Věc, kterou bychom mohli udělat v AI pro automatické nastavení obrazu, je inteligentní retuš, kde provádíme zpracování s vědomím obsahu pro tonální obsah, stínový obsah, zvýraznění a barvy.

To je něco, o čem si myslíme, že bude opravdu silné; nebudete se muset starat o retušování svých telefonů, motor AI zajistí, že budou ve všech těchto oblastech do budoucna zcela optimalizovány.

Třetí oblastí, na kterou lidé nemusí nutně myslet, je detekce obličeje. V minulosti jsme k detekci tváří používali více tradičních technik, když je kamera aktivní, a ve skutečnosti je to způsob, jakým kamera funguje. Když kamera uvidí, že na obrázku je obličej, použije tento obličej ke správě některých položek v procesu 3A. Může použít obličej k určení, zda máte správnou expozici, nebo může použít obličej jako automatický bod automatického zaostřování.

V budoucnu si myslím, že budeme využívat více přístupu hlubokého učení, kde můžeme pomocí našeho motoru AI přesněji detekovat tváře as menším počtem falešných poplachů. Budeme moci být mnohem flexibilnější při určování, zda jsou tváře detekovatelné v různých orientacích, vzdálenostech atd.

Na mém Sony a7 III je funkce, která vám umožní pořídit fotografii určité tváře a říct jí fotoaparát, aby upřednostnil dotyčnou osobu pro věci, jako je automatické zaostřování, i když jsou jiné tváře v výstřel. Je to něco, co bychom potenciálně mohli v budoucnu vidět na telefonu?

S AI to můžete udělat docela snadno, aniž byste se dostali hluboko do zabezpečení a věcí, které musíte udělat, abyste rozpoznali tváře věcí, jako jsou platby a odemykání telefonu. V zásadě to můžete udělat jen ve fotoaparátu a vědět, jestli je to obličej A nebo obličej B - ne nutně, pokud je to obličej, který má odemknout telefon, ale jen obličej zájmu. To je vše možné a bude to možné s tím upgradovaným motorem, který budeme dělat pro hluboké učení detekce obličeje.

A musím se jen zeptat. Nedávno ohlášený Canon EOS R5 může samozřejmě natáčet 8K video, ale pro mě je zajímavější jeho schopnost natáčet převzorkované 4K ve fotoaparátu, které kondenzuje informace ze 8K zdrojových záběrů k dosažení ostřejšího 4K videa, aniž byste to museli dělat sami v příspěvku a vypořádat se s obrovskými velikostmi souborů 8 tis. Je to něco, co v určitém okamžiku můžeme vidět na telefonech, nebo to volá zpět k omezením týkajícím se topení a bitrate?

To je dobrá otázka. To je něco, co naši OEM mohou dělat; samozřejmě nabízíme nativní režimy pro natáčení ve 4K a 8K, ale protože 8K je také docela energeticky náročné, je jistě možné provést konverzi nahoru nebo dolů. Jednou z věcí - možná problém v opačném směru - se také zabýváme inteligentním upscalingem pro video.

Dnes na straně fotografie můžete použít více snímků k vytvoření více pixelů a získání obrazu s hustším rozlišením, ale to samé je možné i ve videu. Můžete fotografovat s nižším rozlišením a používat mírné pohyby ve fotoaparátu od snímku k snímku, abyste dokonce mohli převést až 3krát bez jakékoli znatelné degradace.

Také jsem se chtěl zeptat na režii, pokud jde o Qualcomm podporující tolik různých druhů chytrých telefonů od různých výrobci a splnění různých požadavků každého z nich, protože se společnosti snaží odlišit prostřednictvím jedinečných funkcí fotoaparátu. Zvláště teď, když vidíme více kamer na téměř každém telefonu bez ohledu na cenu - to se musí hodně obávat.

To je! Protože je kamera tak důležitou vlastností, chce každý výrobce OEM rozlišovat na svých kamerách. Qualcomm tedy vydá hardwarovou platformu a software pro fotoaparáty, které mají nepřeberné množství funkcí, ale pak se samozřejmě jeden OEM chce od jiného OEM lišit. Takže si vybírají různé čočky, různé obrazové snímače, různě uspořádávají snímače vpředu a vzadu přidávají věci, jako jsou hloubkové senzory nebo laserové zaostřování nebo makro kamery ...

Mnoho zákazníků chce také rozlišovat v softwaru. Možná chtějí udělat svůj vlastní algoritmus; provádět určité funkce ve fotoaparátu samostatně; chtějí mírně vylepšit způsob, jakým se dělá něco jako Demosaic.

„Máme opravdu silnou síť poskytovatelů třetích stran, které opravdu vychováváme.“

Výzvou, kterou máme, je obsluha všech těchto přizpůsobení a diferenciací, ale máme opravdu dobrý systémový tým a tým zákaznického inženýrství, jehož úkolem 24/7 je zajistit, aby zákazníci byli úspěšní a mohli integrovat své vlastní funkce.

Jedna věc, která skutečně odlišuje Qualcomm od ostatních prodejců, kteří poskytují IP kamery, je to, že máme opravdu silnou síť poskytovatelů třetích stran, kteří opravdu pečujeme a chceme se ujistit, že když máme poskytovatele třetí strany, který by mohl pracovat se zákazníkem, pracujeme všichni společně.

Když jednáme s výrobcem OEM a jedná se s třetí stranou, jako je Morpho nebo ArcSoft, je s námi také přímo v kontaktu. Pokud tedy chtějí něco udělat s trojitými fotoaparáty nebo AI, budeme spolupracovat s touto třetí stranou, abychom se ujistili, že mají nejnovější a nejlepší vývojové platformy, základní software a API a že mají schopnost využívat naše hardwarové bloky, uvnitř i vně Fotoaparát.

Podcast Android Central 452: Konverzace s Qualcommem

Něco, co by třetí strana mohla dělat v CPU, by mohla zjistit, že to dokáže s nižší spotřebou energie, pokud využije nějaký blok v našem ISP nebo v našem počítačovém vidění - náš motor EVA. Možná, že pokud přesunou algoritmus z CPU na DSP, jako je motor HVX (Hexagon Vector Extensions), mohou získat lepší výkon a nižší výkon. Jsme velmi úzce v kontaktu s každým nezávislým dodavatelem softwaru (nezávislým prodejcem softwaru) v naší síti třetích stran, abychom se ujistili že jakákoli řešení, která přicházíme, abychom pomohli OEM přizpůsobit, jsou stejně efektivní a nízkoenergetická možný.

Jakýsi odnož této otázky, jak vyvážíte vlastní sady funkcí Qualcomm a sady daného klienta? Když se vrátím zpět na Google, rád bych viděl, jak režim astrofotografie Pixel 4 přichází na další telefony, ale kde nakreslíte hranici a necháte tento druh vývoje na OEM?

Je to neustálá věc, o které přemýšlíme. Jak to vyvážíme? Jak necháme naše OEM a ISV odlišit se od toho, s jakými funkcemi vyjdeme jako základní linie, které mohou jít každému, a zase odstranit tuto odlišnost od některých konkrétních OEM? Myslím, že naše hnací síla je - jsou to dvě věci. Cokoli, co cítíme, vylepší zážitek z kamery a posune celý ekosystém vpřed, chceme k tomu přistupovat z pohledu uživatelské zkušenosti napříč průmyslem.

Takže pokud existuje určitá funkce, o které věříme, že bude přínosem pro všechny a skutečně posune celý systém mobilních kamer směrem k něčemu jako zrcadlová kamera, integrujeme to. Další věcí, na kterou se díváme, je kvalita obrazu. Pokud je to něco, co konkrétně ovlivní skóre kvality obrazu, například od srovnávacího domu třetí strany, jako je například DxOMark, chceme mít tuto schopnost v domě. U věcí, jako je přiblížení nebo redukce šumu, lepší detekce tváří, segmentované zpracování, HDR atd., To jsou všechno věci, které jsou měřeno v oboru, takže se chceme ujistit, že nabídka, kterou poskytujeme všem našim zákazníkům, má tyto oblasti tak optimalizované jako oni může být.

To jsou tedy dva hnací faktory; nechceme šlápnout na nohy našim zákazníkům a naší síti třetích stran, kteří by možná chtěli inovovat, ale na druhou stranu, pokud to opravdu posouvá celý ekosystém vpřed, nebo pokud má dopad na něco jako skóre DxOMark, opravdu se chceme pokusit nabídnout to každému, aby všechno pohnulo vpřed.

Dříve jste zmínili, jak se společnost Qualcomm snaží zlepšit plynulý přechod mezi objektivy při přiblížení a oddálení. Právě jsem provedl retrospektivní recenzi loňského Galaxy Note 10 a stále na mě udělalo dojem, jak konzistentní je obraz napříč každým objektivem. Samozřejmě existují drobné rozdíly; zejména ultraširokoúhlý rychlejší vyfouknutí zvýraznění, ale barvy jsou opravdu bodové, a přestože při přechodu mezi objektivy je zlomek sekundy zpoždění, je to velmi působivé. Jsem nadšený, že to vidím ještě dále.

To není snadné. Máte tři různé obrazové snímače a obvykle to ani není stejný typ obrazového snímače. Máte více objektivů, musíte tyto kamery vyladit tak, aby byla barva na místě; že přechod zaostření a expozice jsou stejné; vyvážení bílé je stejné; barva je stejná; základní vyladění textury a šumu je stejné... jinak to vaše oko uvidí. Je opravdu dobré zachytit tyto diskontinuity.

Snažíme se do hardwaru zabudovat stále více háčků, aby to bylo možné snadno provést při přechodu, a když přecházíte ze širokého do ultra širokého, nejde jen o shodu s těmito parametry. Je to také o tom, když jste v tom přechodném bodě, kde jste řekli, že je tu malé zpoždění; mezi těmito dvěma obrazy také probíhá fúze, aby se zajistilo, že orientace a sestava těchto obrázků bude mrtvá, a to je skutečně provedeno v reálném čase s hardwarovým blokem v ISP, který spravuje orientaci a deformaci, aby se tyto dva obrazy seřadily dokonale.

Je toho hodně, zejména v těch opravdu malých přechodových oblastech, kde chcete, aby to bylo ultra hladké; je za tím spousta hardwaru, který to umožňuje.

Jedná se o nejlepší bezdrátová sluchátka, která si můžete koupit za každou cenu!
Je čas přestřihnout šňůru!

Jedná se o nejlepší bezdrátová sluchátka, která si můžete koupit za každou cenu!

Nejlepší bezdrátová sluchátka jsou pohodlná, skvěle znějí, nestojí příliš mnoho a snadno se vejdou do kapsy.

Vše, co potřebujete o PS5 vědět: Datum vydání, cena a další
Další generace

Vše, co potřebujete o PS5 vědět: Datum vydání, cena a další.

Společnost Sony oficiálně potvrdila, že pracuje na PlayStation 5. Tady je vše, co o tom zatím víme.

Nokia uvádí na trh dva nové levné telefony Android One s cenou do 200 $
Nové Nokie

Nokia uvádí na trh dva nové levné telefony Android One s cenou do 200 $.

Nokia 2.4 a Nokia 3.4 jsou nejnovější přírůstky do řady levných smartphonů HMD Global. Jelikož jsou obě zařízení Android One, je zaručeno, že budou dostávat dvě hlavní aktualizace operačního systému a pravidelné aktualizace zabezpečení až na tři roky.

Nejlepší přenosné okamžité fotografické tiskárny pro zařízení Android
Tiskněte na cestách!

Nejlepší přenosné okamžité fotografické tiskárny pro zařízení Android.

Jste v pohybu a vytváříte vzpomínky na svém mobilním telefonu. I když je digitální technologie skvělá, proč nezkusit tyto vzpomínky trochu zkrátit pomocí hmatatelné fotografie?

instagram story viewer