Dit is hoe Qualcomm van plan is om mobiele fotografie voor altijd te veranderen

Smartphone-fotografie heeft de afgelopen jaren echt een lange weg afgelegd, maar video heeft niet per se zoveel vooruitgang geboekt. We hebben bijvoorbeeld 8K-video, wat geweldig is, maar de bitrate is natuurlijk nog steeds vrij beperkt, omdat we met beperkte hardware werken. Is er een grote stap voorwaarts die we met name aan de videokant kunnen verwachten?

Heape: Video is een stuk uitdagender vanwege de datasnelheden en de resoluties die door de ISP (beeldsignaalprocessor) gaan. Voor Snapshot kun je natuurlijk altijd dingen op de achtergrond verwerken of een beetje latentie hebben tot de foto verschijnt in de galerij, maar met video heb je echt strikte timing-deadlines die je voor elk afzonderlijk moet halen kader. Het is belangrijk dat video in hardware wordt gemaakt en dat deze is geoptimaliseerd voor stroom, zodat de telefoon niet in uw hand smelt als u bijvoorbeeld 8K30-video probeert op te nemen.

Ik heb eerder gesproken over het samenvoegen van drie camera's, waarbij je naadloos kunt inzoomen van ultragroothoek naar groothoek tot telefoto. Dat zal worden verbeterd om veel soepeler en gemakkelijker te controleren te zijn in toekomstige herzieningen. Natuurlijk willen we ook veel werk verzetten om de HDR-ervaring in video te verbeteren, zodat het hele systeem de innovaties die naar voren komen in beeldsensoren om quad CFA-gebaseerde (kleurenfilterarray) HDR, gespreide HDR, multi-frame HDR... dat zijn echt leuke features die niet alleen de kwaliteit van Snapshots beïnvloeden, maar ook de video-opgenomen stream en de zoeker.

In termen van pixelverwerking gaan we in de toekomst ook meer hardware aan video besteden. In het verleden hebben we dingen gedaan als lokale bewegingscompensatie, zodat u niet alleen met ruis kunt omgaan met panning en globale bewegende objecten, maar ook met objecten die lokaal binnen de kader. We profiteren ook van onze diepte- en bewegingsmotoren om dingen als bokeh in video te doen, die op elk moment kunnen worden gedaan resolutie, en in de verre toekomst zullen we kijken naar het begrijpen van de inhoud van een video en wat elk pixel is.

Ik heb hier eerder op gezinspeeld toen Morpho het had over semantische segmentatie; wanneer de pixels worden begrepen door de camera, of het nu huid, stof, gras, lucht, enz. is, zijn dit de soorten inzichten die helpen bij het verwerken van die verschillende pixels voor factoren zoals kleur, textuur en lawaai. In de toekomst doen we dit niet alleen voor Snapshot, maar ook voor video.

Ik denk dat het eerste video-bokeh-effect dat ik zag vorig jaar op de LG G8 was. Het was misschien niet helemaal het niveau van het maken van een foto in portretmodus, maar het was nog steeds indrukwekkend. Natuurlijk kan de Pixel-lijn van Google ook ongelooflijke dingen doen, zoals semantische segmentatie en de verschillende nachtmodi.

We willen veel van deze functies naar video verplaatsen; het is de logische volgende stap. Maar video is al een stroomprobleem, vooral als je opnamen maakt in bijvoorbeeld 8K30 of 4K120, dus voeg die toe functies bovenop een al behoorlijk verzadigd thermisch budget is een uitdaging, maar daar werken we aan in de toekomst.

En aan de andere kant, naar wat voor soort vooruitgang werkt Qualcomm toe op het fotografie kant van dingen in termen van functies zoals portretmodus en andere soorten creatief opnamemodi?

We zijn nu echt aan het kijken om ons bereik voor de camera uit te breiden naar heterogeen computergebruik, en ervoor zorgen dat de camera echt een interface heeft en naadloos communiceert met de AI-engine aan Leeuwenbek. Voor foto's, wat u ons in de toekomst meer zult zien doen, is AI gebruiken voor zaken als ruisonderdrukking, en we kunnen echt goede prestaties behalen om van ruis maar met behoud van detail bij weinig licht, verder dan wat je kunt doen met traditionele technieken zoals met standaardtypes filters die iedereen toepassingen.

"U hoeft zich geen zorgen te maken over het retoucheren van uw foto's, de AI-engine zorgt ervoor dat ze in de toekomst volledig worden geoptimaliseerd."

Een ander gebied dat ik met video heb aangeraakt, is HDR. We gebruiken de AI-engine samen met de gemaakte foto's om de beste delen van de scène te kiezen. Dus een ding dat we in AI zouden kunnen doen om de afbeelding automatisch aan te passen, is intelligent retoucheren, waarbij we inhoudsbewuste verwerking uitvoeren voor tonale inhoud, schaduwinhoud, hooglichten en kleur.

Dat is iets waarvan we denken dat het echt krachtig zal zijn; u hoeft zich geen zorgen te maken over het retoucheren van uw telefoons, de AI-engine zorgt ervoor dat ze in de toekomst op al deze gebieden volledig zijn geoptimaliseerd.

Een derde gebied waar mensen niet per se aan denken, is gezichtsherkenning. In het verleden hebben we meer traditionele technieken gebruikt wanneer de camera actief is om gezichten te detecteren, en het bepaalt eigenlijk hoe de camera werkt. Wanneer de camera ziet dat er een gezicht in de afbeelding staat, gebruikt hij dat gezicht om een ​​aantal items in het 3A-proces te beheren. Het kan het gezicht gebruiken om te bepalen of u de juiste belichting heeft, of het kan het gezicht gebruiken als het automatische punt van autofocus.

Ik denk dat we in de toekomst meer deep learning zullen gebruiken, waarbij we onze AI-engine kunnen gebruiken om gezichten nauwkeuriger en met minder false positives te detecteren. We zullen veel flexibeler kunnen zijn bij het bepalen of gezichten detecteerbaar zijn in verschillende oriëntaties, afstanden, enz.

Op mijn Sony a7 III is er een functie waarmee je een foto van een bepaald gezicht kunt maken en het kunt vertellen camera om voorrang te geven aan die persoon die van belang is voor zaken als autofocus, zelfs wanneer andere gezichten in de schot. Is dat iets dat we in de toekomst mogelijk in een telefoon zouden kunnen zien?

Je kunt dat vrij gemakkelijk doen met AI zonder diep in te gaan op de beveiliging en de dingen die je moet doen om gezichten te herkennen voor zaken als betalingen en het ontgrendelen van je telefoon. U kunt dit in principe gewoon in de camera doen en weten of het gezicht A of gezicht B is - niet per se als het het gezicht is dat de telefoon moet ontgrendelen, maar alleen een interessant gezicht. Dat is allemaal mogelijk, en zal mogelijk zijn met die geüpgradede engine die we gaan doen voor deep learning gezichtsherkenning.

En ik moet het gewoon vragen. De onlangs aangekondigde EOS R5 van Canon kan uiteraard 8K-video opnemen, maar interessanter voor mij is de mogelijkheid om overbemonsterde 4K in de camera te maken, wat comprimeert informatie van 8K-bronbeelden om scherpere 4K-video te verkrijgen zonder dat u het zelf in de post hoeft te doen en om te gaan met de enorme bestandsgroottes van 8K. Is dat iets dat we op een bepaald moment in telefoons kunnen zien, of roept dit terug naar beperkingen met betrekking tot verwarming en bitrates?

Dat is een goede vraag. Dat is iets wat onze OEM's kunnen doen; Natuurlijk bieden we native modi voor het maken van opnamen in 4K en 8K, maar omdat 8K ook behoorlijk veel energie vraagt, is het zeker haalbaar om up- of down-conversie uit te voeren. Een van de dingen - misschien het omgekeerde probleem - waar we ook naar kijken, is intelligente opschaling voor video.

Tegenwoordig kun je aan de fotozijde meerdere frames gebruiken om meer pixels te creëren en een afbeelding met een hogere resolutie te krijgen, maar hetzelfde is bij video ook mogelijk. U kunt met een lagere resolutie fotograferen en de kleine bewegingen in de camera van frame naar frame gebruiken om zelfs tot wel 3x te converteren zonder waarneembare verslechtering.

Ik wilde ook vragen naar de overhead als het gaat om Qualcomm die zoveel verschillende soorten smartphones ondersteunt fabrikanten en voldoen aan de verschillende eisen van elk, aangezien bedrijven zich proberen te onderscheiden door middel van unieke camerafuncties. Vooral nu we op vrijwel elke telefoon meerdere camera's zien, ongeacht de prijs, moet je je daar zorgen over maken.

Het is! Omdat de camera zo'n belangrijk kenmerk is, wil elke OEM zich onderscheiden op zijn camera's. Dus Qualcomm zal het hardwareplatform en de camerasoftware uitbrengen, die een overvloed aan mogelijkheden heeft, maar dan wil de ene OEM natuurlijk anders zijn dan de andere OEM. Dus ze kiezen verschillende lenzen, verschillende beeldsensoren, ze rangschikken de sensoren anders aan de voor- en achterkant voegen ze dingen toe zoals dieptesensoren of laserondersteunde scherpstelling of macro camera's ...

Veel klanten willen ook differentiëren in de software. Misschien willen ze hun eigen algoritme gebruiken; zelfstandig een specifieke functie in de camera uitvoeren; ze willen iets verbeteren in de manier waarop zoiets als Demosaic wordt gedaan.

"We hebben een heel sterk netwerk van externe providers die we echt koesteren."

De uitdaging die we hebben, is het onderhouden van al die aanpassingen en differentiaties, maar we hebben een heel goed systeemteam en een technisch team van de klant wiens taak het is om ervoor te zorgen dat klanten succesvol zijn en hun eigen klanten kunnen integreren Kenmerken.

Een ding dat Qualcomm echt onderscheidt van andere leveranciers die camera-IP leveren, is dat we een heel sterk netwerk van externe providers hebben die we koesteren echt, en we willen er zeker van zijn dat wanneer we een externe provider hebben die mogelijk met een klant werkt, we allemaal samenwerken.

Wanneer we contact opnemen met een OEM en zij zijn betrokken bij een derde partij zoals Morpho of ArcSoft, heeft de derde partij ook rechtstreeks contact met ons. Dus als ze iets willen doen met drievoudige camera's of AI, werken we samen met die derde partij om ervoor te zorgen dat ze de nieuwste en beste ontwikkelplatforms, baseline software en API's, en dat ze de mogelijkheid hebben om onze hardwareblokken te gebruiken, zowel binnen als buiten de camera.

Android Central Podcast # 452: een gesprek met Qualcomm

Iets wat de derde partij zou kunnen doen in de CPU, ze zouden kunnen ontdekken dat ze het met minder stroom kunnen doen als ze een blok gebruiken in onze ISP, of in onze computervisie - onze EVA-engine. Als ze het algoritme van CPU naar DSP verplaatsen, zoals de HVX-engine (Hexagon Vector Extensions), krijgen ze misschien betere prestaties en een lager vermogen. We hebben voor de zekerheid nauw contact met elke ISV (onafhankelijke softwareleverancier) in ons externe netwerk dat welke oplossingen we ook bedenken om de OEM te helpen aanpassen, net zo gestroomlijnd en energiezuinig zijn als mogelijk.

Een soort uitloper van die vraag, hoe breng je de balans tussen de eigen functiesets van Qualcomm en die van een bepaalde klant? Als ik terugkom naar Google, zou ik graag zien dat de astrofotografiemodus van de Pixel 4 ook naar andere telefoons komt, maar waar trek je de grens en laat je dat soort ontwikkeling over aan de OEM?

Het is een constant soort ding waar we aan denken. Hoe balanceren we dat? Hoe laten we onze OEM's en ISV's differentiëren, en met welke features gaan we naar buiten baselines die naar iedereen kunnen uitgaan, en op hun beurt die differentiatie van sommige specifieke OEM's? Ik denk dat onze drijvende kracht is - het zijn twee dingen. Alles waarvan we denken dat het de camera-ervaring zal verbeteren en het hele ecosysteem vooruit zal helpen, willen we benaderen vanuit het perspectief van de gebruikerservaring in de hele branche.

Dus als er een bepaalde functie is waarvan we denken dat het iedereen ten goede zal komen en het hele mobiele camerasysteem echt meer naar iets als een spiegelloze camera zal duwen, zullen we dat integreren. Het andere waar we naar kijken, is de beeldkwaliteit. Als het iets is dat specifiek van invloed is op de beeldkwaliteitsscores van bijvoorbeeld een benchmarkingbedrijf van derden, zoals DxOMark, willen we die mogelijkheid in huis hebben. Voor zaken als zoom- of ruisonderdrukking, betere detectie van gezichten, gesegmenteerde verwerking, HDR, enzovoort, zijn dit allemaal dingen die gemeten in de branche, dus we willen er zeker van zijn dat het aanbod dat we aan al onze klanten bieden, die gebieden even geoptimaliseerd als zij kan zijn.

Dat zijn dus de twee drijvende factoren; we willen niet op de tenen treden van onze klanten en ons externe netwerk die misschien willen innoveren, maar aan de andere kant, als het echt duwt het hele ecosysteem vooruit of als het invloed heeft op zoiets als een DxOMark-score, willen we dat echt aan iedereen aanbieden om alles te verplaatsen vooruit.

U noemde eerder hoe Qualcomm de naadloze overgang tussen lenzen wil verbeteren terwijl u in- en uitzoomt. Ik heb net een retrospectieve beoordeling gemaakt van de Galaxy Note 10 van vorig jaar, en ik was nog steeds onder de indruk van hoe consistent de beeldvorming over elke lens is. Er zijn natuurlijk kleine verschillen; met name de ultrabrede is sneller om highlights uit te blazen, maar de kleuren zijn echt perfect, en hoewel er een fractie van een seconde vertraging is tijdens de overgang tussen lenzen, is het erg indrukwekkend. Ik ben opgewonden om te zien dat dit nog verder verbetert.

Dat valt niet mee. Je hebt drie verschillende beeldsensoren, en meestal zijn ze niet eens hetzelfde type beeldsensor. Je hebt meerdere lenzen, je moet die camera's afstemmen zodat de kleur perfect is; dat de focusovergang en belichting hetzelfde zijn; de witbalans is hetzelfde; de kleur is hetzelfde; de basistextuur en ruisafstemming is hetzelfde... anders zal je oog het zien. Het is echt goed om deze discontinuïteiten op te vangen.

We proberen steeds meer hooks in hardware in te bouwen, zodat dit gemakkelijk kan worden gedaan tijdens de overgang, en als je van breed naar ultrabreed gaat, gaat het niet alleen om het matchen van die parameters. Het gaat ook over wanneer je op dat overgangspunt bent, waar je zei dat er een kleine vertraging is; er is ook een fusie gaande tussen die twee afbeeldingen om ervoor te zorgen dat de oriëntatie en opstelling van die afbeeldingen perfect is, en dat is eigenlijk in realtime gedaan met een hardwareblok in de ISP dat de oriëntatie en het kromtrekken beheert om die twee beelden op één lijn te brengen perfect.

Daar komt veel bij kijken, vooral in die hele kleine overgangsregio's waar je wilt dat het ultraglad is; er zit veel hardware achter die dit mogelijk maakt.