So plant Qualcomm, die mobile Fotografie für immer zu verändern

Die Smartphone-Fotografie hat in den letzten Jahren wirklich einen langen Weg zurückgelegt, aber das Video hat nicht unbedingt so viele Fortschritte gemacht. Wir haben zum Beispiel 8K-Videos, was großartig ist, aber die Bitrate ist natürlich immer noch ziemlich begrenzt, da wir mit begrenzter Hardware arbeiten. Gibt es einen großen Fortschritt, den wir insbesondere auf der Videoseite erwarten können?

Heape: Video ist aufgrund der Datenraten und Auflösungen, die über den ISP (Bildsignalprozessor) gesendet werden, viel schwieriger. Für Snapshot können Sie natürlich immer Dinge im Hintergrund verarbeiten oder bis zum Foto etwas Latenz haben erscheint in der Galerie, aber mit Video haben Sie wirklich strenge Zeitfristen, die Sie für jeden einzelnen einhalten müssen Rahmen. Es ist wichtig, dass Videos in Hardware erstellt und stromoptimiert werden, damit das Telefon nicht in Ihrer Hand schmilzt, wenn Sie beispielsweise versuchen, 8K30-Videos aufzunehmen.

Ich habe bereits über das Zusammenführen von drei Kameras gesprochen, bei denen Sie nahtlos von Ultra-Wide zu Wide zu Tele zoomen können. Dies wird verbessert, um in zukünftigen Revisionen viel reibungsloser und leichter zu kontrollieren zu sein. Natürlich möchten wir auch viel Arbeit leisten, um das HDR-Erlebnis in Videos zu verbessern, damit das gesamte System das nutzen kann Innovationen, die bei Bildsensoren für Quad-CFA-basiertes (Farbfilter-Array) HDR, gestaffeltes HDR und Multi-Frame herauskommen HDR... Das sind wirklich nette Funktionen, die nicht nur die Qualität von Schnappschüssen beeinflussen, sondern auch den aufgezeichneten Video-Stream und den Sucher.

In Bezug auf die Pixelverarbeitung werden wir auch in Zukunft mehr Hardware für Videos verwenden. In der Vergangenheit haben wir Dinge wie die lokale Bewegungskompensation durchgeführt, damit Sie nicht nur mit Rauschen umgehen können mit schwenkbaren und sich global bewegenden Objekten, aber auch mit Objekten, die sich lokal innerhalb der bewegen Rahmen. Wir nutzen auch unsere Tiefen- und Bewegungs-Engines, um Dinge wie Bokeh in Videos zu machen, die jederzeit möglich sind Auflösung, und in ferner Zukunft werden wir versuchen, den Inhalt eines Videos und was jeweils zu verstehen Pixel ist.

Ich habe bereits darauf hingewiesen, als Morpho über semantische Segmentierung sprach. Wenn die Pixel von der Kamera verstanden werden, ob es sich um Haut, Stoff, Gras, Himmel usw. handelt, sind dies die Arten von Verständnis, die helfen, diese verschiedenen Pixel für Faktoren wie Farbe, Textur und zu verarbeiten Lärm. In Zukunft werden wir dies nicht nur für Snapshot, sondern auch für Video tun.

Ich denke, der erste Video-Bokeh-Effekt, den ich gesehen habe, war letztes Jahr auf dem LG G8. Es war vielleicht nicht ganz so gut wie ein Foto im Hochformat, aber es war trotzdem beeindruckend. Natürlich kann die Pixel-Linie von Google auch unglaubliche Dinge wie die semantische Segmentierung und die verschiedenen Nachtmodi ausführen.

Wir möchten viele dieser Funktionen auf Video übertragen. Es ist der logische nächste Schritt. Video ist jedoch bereits ein Stromproblem, insbesondere wenn Sie beispielsweise mit 8K30 oder 4K120 aufnehmen. Fügen Sie diese also hinzu Funktionen zusätzlich zu einem bereits ziemlich gesättigten Wärmebudget sind eine Herausforderung, aber daran arbeiten wir in der Zukunft.

Und auf der anderen Seite, auf welche Art von Fortschritten arbeitet Qualcomm hin? Fotografie Seite der Dinge in Bezug auf Funktionen wie Porträtmodus und andere Arten von kreativen Aufnahmemodi?

Wir versuchen jetzt wirklich, unsere Reichweite für die Kamera auf heterogenes Computing auszudehnen Stellen Sie sicher, dass die Kamera wirklich eine Schnittstelle mit der eingeschalteten KI-Engine herstellt und nahtlos mit dieser kommuniziert Löwenmaul. Für FotosWas Sie in Zukunft mehr tun werden, ist die Verwendung von KI für Dinge wie Entrauschen, und wir können eine wirklich gute Leistung erzielen, um sie loszuwerden Rauschen, aber Detailerhaltung bei schlechten Lichtverhältnissen, über das hinaus, was Sie mit herkömmlichen Techniken wie mit Standardfiltertypen tun können, die jeder kann Verwendet.

"Sie müssen sich keine Gedanken über die Retusche Ihrer Fotos machen, die KI-Engine wird sicherstellen, dass sie in Zukunft vollständig optimiert sind."

Ein weiterer Bereich, den ich mit Video angesprochen habe, ist HDR. Wir werden die KI-Engine zusammen mit den aufgenommenen Fotos verwenden, um die besten Teile der Szene auszuwählen. Eine Sache, die wir in AI tun könnten, um das Bild automatisch anzupassen, ist eine intelligente Retusche, bei der wir eine inhaltsbewusste Verarbeitung für Toninhalte, Schatteninhalte, Glanzlichter und Farben durchführen.

Das ist etwas, von dem wir glauben, dass es wirklich mächtig sein wird. Sie müssen sich keine Gedanken über die Retusche Ihrer Telefone machen. Die KI-Engine stellt sicher, dass sie in all diesen Bereichen in Zukunft vollständig optimiert sind.

Ein dritter Bereich, an den die Leute nicht unbedingt denken, ist die Gesichtserkennung. In der Vergangenheit haben wir traditionellere Techniken verwendet, wenn die Kamera zur Erkennung von Gesichtern aktiv ist und tatsächlich die Funktionsweise der Kamera steuert. Wenn die Kamera erkennt, dass das Bild ein Gesicht enthält, verwendet sie dieses Gesicht, um einige der Elemente im 3A-Prozess zu verwalten. Es kann das Gesicht verwenden, um festzustellen, ob Sie die richtige Belichtung haben, oder es kann das Gesicht verwenden, um der automatische Autofokuspunkt zu sein.

Ich denke, wir werden in Zukunft mehr Deep-Learning-Ansätze verwenden, bei denen wir unsere KI-Engine verwenden können, um Gesichter genauer und mit weniger Fehlalarmen zu erkennen. Wir können viel flexibler feststellen, ob Gesichter in unterschiedlichen Ausrichtungen, Entfernungen usw. erkennbar sind.

Auf meiner Sony a7 III gibt es eine Funktion, mit der Sie ein Foto von einem bestimmten Gesicht aufnehmen und das mitteilen können Kamera, um diese Person von Interesse für Dinge wie Autofokus zu priorisieren, auch wenn andere Gesichter in der Schuss. Ist das etwas, was wir möglicherweise in Zukunft in einem Telefon sehen könnten?

Mit AI können Sie das ganz einfach tun, ohne sich eingehend mit der Sicherheit und den Dingen zu befassen, die Sie tun müssen, um Gesichter für Dinge wie Zahlungen und das Entsperren Ihres Telefons zu erkennen. Sie können dies im Grunde nur in der Kamera tun und wissen, ob es Gesicht A oder Gesicht B ist - nicht unbedingt, ob es das Gesicht ist, das das Telefon entsperren soll, sondern nur ein Gesicht von Interesse. Das ist alles möglich und wird mit dieser aktualisierten Engine möglich sein, die wir für die Tiefenerkennung der Gesichtserkennung durchführen werden.

Und ich muss nur fragen. Die kürzlich angekündigte EOS R5 von Canon kann natürlich 8K-Videos aufnehmen. Interessanter für mich ist jedoch die Möglichkeit, überabgetastete 4K-Videos in der Kamera aufzunehmen Verdichtet Informationen aus 8K-Quellmaterial, um schärfere 4K-Videos zu erzielen, ohne dass Sie dies selbst in der Post tun müssen, um mit den enormen Dateigrößen fertig zu werden von 8K. Ist das etwas, was wir irgendwann in Telefonen sehen könnten, oder führt dies zu Einschränkungen in Bezug auf Heizung und Bitraten?

Das ist eine gute Frage. Das könnten unsere OEMs tun. Natürlich bieten wir native Modi für Aufnahmen in 4K und 8K an, aber da 8K auch ziemlich leistungshungrig ist, ist es durchaus möglich, entweder eine Aufwärts- oder eine Abwärtskonvertierung durchzuführen. Eines der Dinge - vielleicht das umgekehrte Problem - ist auch die intelligente Hochskalierung für Videos.

Auf der Fotoseite können Sie heute mehrere Frames verwenden, um mehr Pixel zu erstellen und ein Bild mit höherer Dichte zu erhalten. Dasselbe gilt jedoch auch für Videos. Sie können mit einer niedrigeren Auflösung aufnehmen und die leichten Bewegungen in der Kamera von Bild zu Bild verwenden, um sogar bis zu 3x ohne wahrnehmbare Verschlechterung hochzukonvertieren.

Ich wollte auch nach dem Overhead fragen, wenn es darum geht, dass Qualcomm so viele verschiedene Arten von Smartphones von verschiedenen unterstützt Hersteller und erfüllen die unterschiedlichen Anforderungen der einzelnen Unternehmen, indem sie versuchen, sich durch einzigartige Kamerafunktionen zu differenzieren. Besonders jetzt, wo wir auf so ziemlich jedem Telefon mehrere Kameras sehen, unabhängig vom Preis - das muss ein Grund zur Sorge sein.

Es ist! Da die Kamera ein so wichtiges Merkmal ist, möchte jeder OEM bei seinen Kameras differenzieren. Daher wird Qualcomm die Hardwareplattform und die Kamera-Software veröffentlichen, die über eine Vielzahl von Funktionen verfügt, aber dann möchte sich natürlich ein OEM von einem anderen OEM unterscheiden. Sie wählen also verschiedene Objektive, verschiedene Bildsensoren und ordnen die Sensoren unterschiedlich an Auf der Vorder- und Rückseite fügen sie Dinge wie Tiefensensoren oder laserunterstützten Fokus oder Makro hinzu Kameras ...

Viele Kunden wollen sich auch in der Software differenzieren. Vielleicht wollen sie ihren eigenen Algorithmus machen; eine bestimmte Funktion in der Kamera selbst ausführen; Sie wollen die Art und Weise, wie so etwas wie Demosaic gemacht wird, leicht verbessern.

"Wir haben ein wirklich starkes Netzwerk von Drittanbietern, die wir wirklich pflegen."

Die Herausforderung besteht also darin, all diese Anpassungen und Unterscheidungen vorzunehmen, aber wir haben ein wirklich gutes Systemteam und ein Customer Engineering Team, dessen Aufgabe es ist, rund um die Uhr sicherzustellen, dass Kunden erfolgreich sind und ihre eigenen integrieren können Eigenschaften.

Eine Sache, die Qualcomm wirklich von anderen Anbietern unterscheidet, die Kamera-IP anbieten, ist, dass wir ein wirklich starkes Netzwerk von Drittanbietern haben, die Wir pflegen wirklich und wir möchten sicherstellen, dass wir alle zusammenarbeiten, wenn wir einen Drittanbieter haben, der möglicherweise mit einem Kunden zusammenarbeitet.

Wenn wir mit einem OEM zusammenarbeiten und dieser mit einem Dritten wie Morpho oder ArcSoft zusammenarbeitet, ist der Dritte auch direkt mit uns in Kontakt. Wenn sie also etwas mit Dreifachkameras oder KI machen möchten, arbeiten wir mit diesem Dritten zusammen, um sicherzustellen, dass sie die neuesten und besten haben Entwicklungsplattformen, Basissoftware und APIs, und dass sie die Fähigkeit haben, unsere Hardwareblöcke sowohl innerhalb als auch außerhalb der zu nutzen Kamera.

Android Central Podcast # 452: Ein Gespräch mit Qualcomm

Etwas, das der Dritte möglicherweise in der CPU tut, kann sein, dass er es mit geringerer Leistung tun kann, wenn er einen Block in unserem ISP oder in unserer Computer Vision - unserer EVA-Engine - nutzt. Wenn sie den Algorithmus wie die HVX-Engine (Hexagon Vector Extensions) von der CPU auf den DSP verschieben, erhalten sie möglicherweise eine bessere Leistung und eine geringere Leistung. Wir sind sehr eng mit jedem ISV ​​(unabhängigen Softwareanbieter) in unserem Drittanbieter-Netzwerk verbunden, um dies sicherzustellen Alle Lösungen, die wir für die Anpassung des OEMs entwickeln, sind so rationalisiert und stromsparend wie möglich.

Eine Art Ableger dieser Frage: Wie können Sie die eigenen Funktionen von Qualcomm und die eines bestimmten Kunden in Einklang bringen? Wenn ich zu Google zurückkehre, würde ich gerne sehen, wie der Astrofotografiemodus des Pixel 4 auf andere Telefone übertragen wird. Aber wo ziehen Sie die Grenze und überlassen diese Art der Entwicklung dem OEM?

Wir denken ständig darüber nach. Wie gleichen wir das aus? Wie lassen wir unsere OEMs und ISVs unterscheiden, mit welchen Funktionen wir als herauskommen werden? Baselines, die an alle gehen können und die wiederum diese Unterscheidung von bestimmten entfernen OEMs? Ich denke, unsere treibende Kraft ist - es sind zwei Dinge. Alles, was unserer Meinung nach das Kameraerlebnis verbessern und das gesamte Ökosystem vorantreiben wird, möchten wir branchenweit aus der Perspektive des Benutzererlebnisses betrachten.

Wenn es also eine bestimmte Funktion gibt, von der wir glauben, dass sie allen zugute kommt und das gesamte mobile Kamerasystem mehr in Richtung einer spiegellosen Kamera treibt, werden wir diese integrieren. Das andere, was wir betrachten, ist die Bildqualität. Wenn sich dies speziell auf die Bildqualitätswerte auswirkt, beispielsweise von einem Benchmarking-Unternehmen eines Drittanbieters wie DxOMark, möchten wir diese Funktion intern nutzen. Für Dinge wie Zoom oder Rauschunterdrückung, bessere Erkennung von Gesichtern, segmentierte Verarbeitung, HDR usw. sind dies alles Dinge, die es gibt gemessen in der Branche, wollen wir sicherstellen, dass das Angebot, das wir allen unseren Kunden anbieten, diese Bereiche so optimiert hat, wie sie kann sein.

Das sind also die beiden treibenden Faktoren; Wir wollen nicht auf die Zehen unserer Kunden und unseres Drittanbieter-Netzwerks treten, die vielleicht innovativ sein wollen, aber auf der anderen Seite, wenn es wirklich so ist treibt das gesamte Ökosystem voran oder wenn es sich auf einen DxOMark-Score auswirkt, möchten wir wirklich versuchen, dies jedem anzubieten, um alles zu bewegen nach vorne.

Sie haben bereits erwähnt, wie Qualcomm den nahtlosen Übergang zwischen Objektiven beim Vergrößern und Verkleinern verbessern möchte. Ich habe gerade eine retrospektive Überprüfung des letztjährigen Galaxy Note 10 durchgeführt und war immer noch beeindruckt, wie konsistent die Bildgebung für jedes Objektiv ist. Es gibt natürlich kleine Unterschiede; Insbesondere das Ultra-Wide lässt Highlights schneller ausblasen, aber die Farben sind wirklich genau richtig, und obwohl es beim Übergang zwischen den Objektiven einen Sekundenbruchteil Verzögerung gibt, ist es sehr beeindruckend. Ich bin gespannt, dass sich das noch weiter verbessert.

Das ist nicht einfach Sie haben drei verschiedene Bildsensoren, und normalerweise handelt es sich nicht einmal um denselben Bildsensortyp. Sie haben mehrere Objektive, Sie müssen diese Kameras so einstellen, dass die Farbe genau stimmt. dass der Fokusübergang und die Belichtung gleich sind; der Weißabgleich ist der gleiche; die Farbe ist die gleiche; Die grundlegende Textur- und Rauschabstimmung ist dieselbe... Andernfalls wird Ihr Auge es sehen. Es ist wirklich gut, diese Diskontinuitäten aufzugreifen.

Wir versuchen, immer mehr Hooks in die Hardware zu integrieren, damit dies beim Übergang problemlos möglich ist. Wenn Sie von Wide zu Ultra-Wide wechseln, geht es nicht nur darum, diese Parameter abzugleichen. Es geht auch darum, wann Sie an diesem Übergangspunkt sind, an dem Sie sagten, dass es eine leichte Verzögerung gibt. Es gibt auch eine Fusion zwischen diesen beiden Bildern, um sicherzustellen, dass die Ausrichtung und Anordnung dieser Bilder genau stimmt, und das ist es auch Tatsächlich in Echtzeit mit einem Hardwareblock im ISP, der die Ausrichtung und das Verziehen verwaltet, um diese beiden Bilder in eine Linie zu bringen perfekt.

Das hat viel zu bieten, besonders in den wirklich winzigen Übergangsregionen, in denen es extrem glatt sein soll. Dahinter steckt eine Menge Hardware, die das möglich macht.