Δείτε πώς σχεδιάζει η Qualcomm να αλλάξει για πάντα τη φωτογραφία για κινητά

Η φωτογραφία με smartphone έχει προχωρήσει πολύ τα τελευταία χρόνια, αλλά το βίντεο δεν έχει κάνει απαραίτητα τόσα πολλά βήματα. Έχουμε βίντεο 8K, για παράδειγμα, το οποίο είναι υπέροχο, αλλά ο ρυθμός bit εξακολουθεί να είναι αρκετά περιορισμένος, φυσικά, επειδή εργαζόμαστε με περιορισμένο υλικό. Υπάρχει κάποιο μεγάλο βήμα προς τα εμπρός που μπορούμε να περιμένουμε ειδικά από την πλευρά του βίντεο;

Heape: Το βίντεο είναι πολύ πιο δύσκολο λόγω των ποσοστών δεδομένων και των αναλύσεων που περνούν από τον ISP (επεξεργαστής σήματος εικόνας). Για το Στιγμιότυπο, φυσικά, μπορείτε πάντα να επεξεργάζεστε πράγματα στο παρασκήνιο ή να έχετε λίγο χρόνο καθυστέρησης μέχρι τη φωτογραφία εμφανίζεται στη συλλογή, αλλά με βίντεο έχετε πραγματικά αυστηρές προθεσμίες χρονισμού που πρέπει να τηρείτε για κάθε μία πλαίσιο. Είναι σημαντικό το βίντεο να γίνεται σε υλικό και να είναι βελτιστοποιημένο ως προς την ισχύ, ώστε το τηλέφωνο να μην λιώνει στα χέρια σας όταν προσπαθείτε να τραβήξετε βίντεο 8K30, για παράδειγμα.

Έχω μιλήσει προηγουμένως για τη συγχώνευση τριών φωτογραφικών μηχανών, όπου μπορείτε να κάνετε ζουμ απρόσκοπτα από εξαιρετικά ευρεία έως ευρεία έως τηλεφακό. Αυτό θα βελτιωθεί ώστε να είναι πολύ πιο ομαλό και πιο εύκολο να ελεγχθεί σε μελλοντικές αναθεωρήσεις. Φυσικά, θέλουμε επίσης να κάνουμε πολλή δουλειά για να βελτιώσουμε την εμπειρία HDR σε βίντεο, έτσι ώστε ολόκληρο το σύστημα να μπορεί να χρησιμοποιεί καινοτομίες που βγαίνουν στους αισθητήρες εικόνας για να κάνουν HDR με βάση τετραπλή CFA (έγχρωμη σειρά φίλτρων), κλιμακωτό HDR, πολλαπλά καρέ HDR... Αυτά είναι πραγματικά ωραία χαρακτηριστικά που δεν επηρεάζουν μόνο την ποιότητα των στιγμιότυπων, αλλά και τη ροή βίντεο και το σκόπευτρο.

Όσον αφορά την επεξεργασία εικονοστοιχείων, θα αφιερώσουμε περισσότερο υλικό σε βίντεο στο μέλλον, επίσης. Στο παρελθόν, κάναμε πράγματα όπως η τοπική αποζημίωση κίνησης, ώστε να μπορείτε να χειρίζεστε τον θόρυβο και όχι μόνο με panning και παγκόσμια κινούμενα αντικείμενα, αλλά και με αντικείμενα που κινούνται τοπικά μέσα στο πλαίσιο. Αξιοποιούμε επίσης τις μηχανές βάθους και κίνησης για να κάνουμε πράγματα όπως το bokeh σε βίντεο, τα οποία μπορούν να γίνουν σε οποιοδήποτε ανάλυση, και στο πιο μακρινό μέλλον, θα εξετάσουμε την κατανόηση του περιεχομένου σε ένα βίντεο και τι καθεμία εικονοκύτταρο είναι.

Αναφέρθηκα σε αυτό πριν, όταν ο Morpho μιλούσε για σημασιολογική τμηματοποίηση. όταν τα pixel γίνονται κατανοητά από την κάμερα, είτε είναι δέρμα, ύφασμα, γρασίδι, ουρανός κ.λπ., αυτά είναι τα τύποι κατανόησης που βοηθούν στην επεξεργασία αυτών των διαφορετικών εικονοστοιχείων για παράγοντες όπως το χρώμα, η υφή και θόρυβος. Στο μέλλον, θα το κάνουμε όχι μόνο για στιγμιότυπο, αλλά και για βίντεο.

Νομίζω ότι το πρώτο εφέ βίντεο bokeh που είδα ήταν στο LG G8 πέρυσι. Μπορεί να μην ήταν αρκετά στο επίπεδο της λήψης φωτογραφίας σε λειτουργία πορτρέτου, αλλά ήταν ακόμα εντυπωσιακό. Φυσικά, η γραμμή Pixel της Google είναι σε θέση να κάνει απίστευτα πράγματα όπως η σημασιολογική τμηματοποίηση και οι διάφορες νυχτερινές λειτουργίες της.

Θέλουμε να μεταφέρουμε πολλές από αυτές τις λειτουργίες στο βίντεο. είναι το λογικό επόμενο βήμα. Αλλά το βίντεο είναι ήδη πρόβλημα ισχύος, ειδικά αν κάνετε λήψη, ας πούμε, 8K30 ή 4K120, προσθέτοντας αυτά χαρακτηριστικά πάνω από ήδη αρκετά κορεσμένο θερμικό προϋπολογισμό είναι μια πρόκληση, αλλά αυτό είναι το οποίο εργαζόμαστε στο μελλοντικός.

Και από την άλλη πλευρά, τι είδους προόδους εργάζεται η Qualcomm στο φωτογραφική πλευρά των πραγμάτων όσον αφορά τα χαρακτηριστικά όπως η λειτουργία πορτρέτου και άλλοι τύποι δημιουργικών λειτουργίες λήψης;

Εξετάζουμε πραγματικά την επέκταση της προσέγγισής μας για την κάμερα σε ετερογενείς υπολογιστές και διασφαλίζοντας ότι η κάμερα διασυνδέεται και επικοινωνεί απρόσκοπτα με τον κινητήρα AI Αντίρριο. Για φωτογραφίες, αυτό που θα μας δείτε να κάνουμε περισσότερα στο μέλλον είναι η χρήση τεχνητής νοημοσύνης για πράγματα όπως το denoising και μπορούμε να έχουμε πολύ καλή απόδοση για να απαλλαγούμε από θόρυβος αλλά διατηρώντας λεπτομέρεια σε χαμηλό φωτισμό, πέρα ​​από αυτό που μπορείτε να κάνετε με παραδοσιακές τεχνικές όπως με τυποποιημένους τύπους φίλτρων που όλοι χρήσεις.

"Δεν θα χρειαστεί να ανησυχείτε για το ρετουσάρισμα των φωτογραφιών σας, ο κινητήρας AI θα διασφαλίσει ότι είναι εντελώς βελτιστοποιημένοι."

Ένας άλλος τομέας που άγγιξα με το βίντεο είναι ο HDR. Θα χρησιμοποιήσουμε τον κινητήρα AI μαζί με τις φωτογραφίες που τραβήξαμε για να διαλέξουμε τα καλύτερα μέρη της σκηνής. Έτσι, ένα πράγμα που θα μπορούσαμε να κάνουμε στο AI για να προσαρμόσουμε αυτόματα την εικόνα είναι ένα έξυπνο ρετουσάρισμα, όπου πραγματοποιούμε επεξεργασία περιεχομένου για τονικό περιεχόμενο, περιεχόμενο σκιάς, επισημάνσεις και χρώμα.

Αυτό είναι κάτι που πιστεύουμε ότι θα είναι πραγματικά ισχυρό. δεν θα χρειαστεί να ανησυχείτε για το ρετουσάρισμα των τηλεφώνων σας, ο κινητήρας AI θα διασφαλίσει ότι είναι πλήρως βελτιστοποιημένοι σε όλους αυτούς τους τομείς.

Ένας τρίτος τομέας για τον οποίο οι άνθρωποι δεν σκέφτονται απαραίτητα είναι η ανίχνευση προσώπου. Στο παρελθόν, χρησιμοποιήσαμε πιο παραδοσιακές τεχνικές όταν η κάμερα είναι ενεργή για την ανίχνευση προσώπων και στην πραγματικότητα οδηγεί τον τρόπο λειτουργίας της κάμερας. Όταν η κάμερα βλέπει ότι υπάρχει ένα πρόσωπο στην εικόνα, χρησιμοποιεί αυτό το πρόσωπο για να διαχειριστεί ορισμένα από τα στοιχεία της διαδικασίας 3A. Μπορεί να χρησιμοποιήσει το πρόσωπο για να προσδιορίσει εάν έχετε τη σωστή έκθεση ή μπορεί να χρησιμοποιήσει το πρόσωπο για να είναι το αυτόματο σημείο αυτόματης εστίασης.

Στο μέλλον, νομίζω ότι θα χρησιμοποιήσουμε περισσότερη προσέγγιση βαθιάς μάθησης, όπου μπορούμε να χρησιμοποιήσουμε τη μηχανή AI για να εντοπίσουμε τα πρόσωπα με μεγαλύτερη ακρίβεια και με λιγότερα ψευδώς θετικά. Θα είμαστε σε θέση να είμαστε πολύ πιο ευέλικτοι στον προσδιορισμό εάν τα πρόσωπα είναι ανιχνεύσιμα σε διαφορετικούς προσανατολισμούς, αποστάσεις κ.λπ.

Στο Sony a7 III μου, υπάρχει μια δυνατότητα που σας επιτρέπει να τραβήξετε μια φωτογραφία ενός συγκεκριμένου προσώπου και να το πείτε κάμερα για να δώσει προτεραιότητα σε αυτό το άτομο που ενδιαφέρει για πράγματα όπως η αυτόματη εστίαση, ακόμα και όταν άλλα πρόσωπα βρίσκονται στο βολή. Είναι κάτι που θα μπορούσαμε ενδεχομένως να δούμε σε ένα τηλέφωνο στο μέλλον;

Μπορείτε να το κάνετε αρκετά εύκολα με την τεχνητή νοημοσύνη χωρίς να έχετε βαθιά ασφάλεια και τα πράγματα που πρέπει να κάνετε για να αναγνωρίσετε πρόσωπα για πράγματα όπως πληρωμές και ξεκλείδωμα του τηλεφώνου σας. Μπορείτε βασικά να το κάνετε αυτό μόνο μέσα στην κάμερα και να γνωρίζετε εάν είναι το πρόσωπο Α ή το πρόσωπο Β - όχι απαραίτητα εάν είναι το πρόσωπο που υποτίθεται ότι θα ξεκλειδώσει το τηλέφωνο, αλλά μόνο ένα πρόσωπο ενδιαφέροντος. Αυτό είναι όλο δυνατό και θα είναι δυνατό με αυτόν τον αναβαθμισμένο κινητήρα που θα κάνουμε για βαθιά μάθηση της ανίχνευσης προσώπων.

Και απλά πρέπει να ρωτήσω. Το EOS R5 που ανακοίνωσε πρόσφατα η Canon μπορεί προφανώς να τραβήξει βίντεο 8K, αλλά πιο ενδιαφέρον για μένα είναι η ικανότητά του να τραβάει κάμερα 4K με υπερμεγέθη, η οποία συμπυκνώνει τις πληροφορίες από το υλικό πηγής 8Κ για να επιτύχει ευκρινέστερο βίντεο 4K χωρίς να χρειάζεται να το κάνετε μόνοι σας μετά και να ασχοληθείτε με τα τεράστια μεγέθη αρχείων των 8Κ. Είναι κάτι που μπορεί να δούμε κάποια στιγμή σε τηλέφωνα ή αυτό επαναφέρει τους περιορισμούς σχετικά με τη θέρμανση και τους ρυθμούς bit;

Αυτή είναι μια καλή ερώτηση. Αυτό μπορεί να κάνουν οι OEM μας. Φυσικά, προσφέρουμε εγγενείς λειτουργίες για λήψη σε 4K και 8K, αλλά επειδή το 8K είναι επίσης αρκετά πεινασμένο για ενέργεια, είναι σίγουρα βιώσιμο να κάνετε μετατροπή προς τα πάνω ή προς τα κάτω. Ένα από τα πράγματα - ίσως το πρόβλημα αντίστροφα - εξετάζουμε επίσης την έξυπνη αναβάθμιση βίντεο.

Σήμερα από την πλευρά της φωτογραφίας, μπορείτε να χρησιμοποιήσετε πολλά καρέ για να δημιουργήσετε περισσότερα εικονοστοιχεία και να αποκτήσετε μια πιο πυκνή εικόνα ανάλυσης, αλλά είναι επίσης δυνατό το ίδιο πράγμα στο βίντεο. Μπορείτε να τραβήξετε με χαμηλότερη ανάλυση και να χρησιμοποιήσετε τις μικρές κινήσεις της κάμερας από καρέ σε καρέ μέχρι ακόμη και να κάνετε μετατροπή έως και 3x, χωρίς καμία αισθητή υποβάθμιση.

Θα ήθελα επίσης να ρωτήσω για τα γενικά έξοδα όσον αφορά την Qualcomm που υποστηρίζει τόσα πολλά διαφορετικά είδη smartphone από διαφορετικά κατασκευαστές και ικανοποιώντας τις διάφορες απαιτήσεις του καθενός καθώς οι εταιρείες προσπαθούν να διαφοροποιηθούν μέσω μοναδικών χαρακτηριστικών της κάμερας. Ειδικά τώρα που βλέπουμε πολλές κάμερες σχεδόν σε κάθε τηλέφωνο, ανεξάρτητα από την τιμή - αυτό πρέπει να ανησυχεί πολύ.

Είναι! Επειδή η κάμερα είναι ένα τόσο σημαντικό χαρακτηριστικό, κάθε OEM θέλει να κάνει διαφοροποίηση στις κάμερες του. Έτσι, η Qualcomm θα απελευθερώσει την πλατφόρμα υλικού και το λογισμικό κάμερας, το οποίο διαθέτει πληθώρα δυνατοτήτων, αλλά φυσικά, ένας ΚΑΕ θέλει να είναι διαφορετικός από έναν άλλο ΚΑΕ. Έτσι, επιλέγουν διαφορετικούς φακούς, διαφορετικούς αισθητήρες εικόνας, τακτοποιούν τους αισθητήρες με διαφορετικό τρόπο μπροστά και πίσω, προσθέτουν πράγματα όπως αισθητήρες βάθους ή εστίαση ή μακροεντολή με λέιζερ κάμερες ...

Πολλοί πελάτες θέλουν επίσης να κάνουν διαφοροποίηση στο λογισμικό. Ίσως θέλουν να κάνουν τον δικό τους αλγόριθμο. να κάνουν μια συγκεκριμένη λειτουργία μόνοι τους στην κάμερα. Θέλουν να βελτιώσουν ελαφρώς τον τρόπο που γίνεται κάτι σαν το Demosaic.

"Έχουμε ένα πραγματικά ισχυρό δίκτυο τρίτων παρόχων που πραγματικά φροντίζουμε."

Η πρόκληση που έχουμε λοιπόν είναι η εξυπηρέτηση όλων αυτών των προσαρμογών και διαφοροποιήσεων, αλλά έχουμε μια πολύ καλή ομάδα συστημάτων και ομάδα τεχνικής πελάτη της οποίας η δουλειά είναι 24/7 να διασφαλίζει ότι οι πελάτες είναι επιτυχημένοι και μπορούν να ενσωματώσουν τους δικούς τους χαρακτηριστικά.

Ένα πράγμα που ξεχωρίζει πραγματικά την Qualcomm από άλλους προμηθευτές που παρέχουν IP κάμερας είναι ότι έχουμε ένα πραγματικά ισχυρό δίκτυο τρίτων παρόχων που πραγματικά φροντίζουμε και θέλουμε να διασφαλίσουμε ότι όταν έχουμε έναν τρίτο πάροχο που μπορεί να συνεργάζεται με έναν πελάτη, όλοι συνεργαζόμαστε.

Όταν συνεργαζόμαστε με έναν ΚΑΕ και συνεργάζονται με ένα τρίτο μέρος όπως η Morpho ή το ArcSoft, το τρίτο μέρος έρχεται επίσης σε άμεση επαφή μαζί μας. Επομένως, εάν θέλουν να κάνουν κάτι με τριπλές κάμερες ή AI, θα συνεργαστούμε με αυτό το τρίτο μέρος για να βεβαιωθούμε ότι έχουν τις πιο πρόσφατες και καλύτερες πλατφόρμες ανάπτυξης, λογισμικό βάσης και API, και ότι έχουν τη δυνατότητα να αξιοποιήσουν τα μπλοκ υλικού μας, τόσο εντός όσο και εκτός του ΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗ.

Android Central Podcast # 452: Συνομιλία με Qualcomm

Κάτι που μπορεί να κάνει το τρίτο μέρος στη CPU, μπορεί να διαπιστώσει ότι μπορεί να το κάνει με χαμηλότερη ισχύ, εάν εκμεταλλευτεί κάποιο μπλοκ στον ISP μας ή στο όραμα του υπολογιστή μας - τον κινητήρα EVA μας Ίσως αν μετακινήσουν τον αλγόριθμο από CPU σε DSP, όπως ο κινητήρας HVX (Hexagon Vector Extensions), μπορεί να έχουν καλύτερη απόδοση και χαμηλότερη ισχύ. Είμαστε πολύ στενοί σε επαφή με κάθε ISV (ανεξάρτητος προμηθευτής λογισμικού) στο δίκτυό μας τρίτων μερών για να βεβαιωθούμε ότι οποιεσδήποτε λύσεις προσφέρουμε για να βοηθήσουμε το OEM να προσαρμόσει είναι τόσο απλοποιημένες όσο και χαμηλής ισχύος δυνατόν.

Ταξινόμηση μιας ερώτησης, πώς εξισορροπείτε τα σύνολα δυνατοτήτων της Qualcomm και αυτά ενός συγκεκριμένου πελάτη; Επιστρέφοντας στο Google, θα ήθελα πολύ να δω τη λειτουργία αστροφωτογραφίας του Pixel 4 σε άλλα τηλέφωνα, αλλά πού σχεδιάζετε τη γραμμή και αφήνετε αυτό το είδος ανάπτυξης μέχρι τον OEM;

Είναι ένα διαρκές πράγμα που σκεφτόμαστε. Πώς το εξισορροπούν αυτό; Πώς αφήνουμε τους OEM και τους ISV να διαφοροποιηθούν, σε σχέση με τις δυνατότητες που θα παρουσιάσουμε ως βασικές γραμμές που μπορεί να απευθύνονται σε όλους, και με τη σειρά τους να αφαιρέσετε αυτήν τη διαφοροποίηση από κάποια συγκεκριμένη ΚΑΕ; Νομίζω ότι η κινητήρια δύναμη μας είναι - είναι δύο πράγματα. Οτιδήποτε πιστεύουμε ότι θα βελτιώσει την εμπειρία της κάμερας και θα προωθήσει ολόκληρο το οικοσύστημα προς τα εμπρός, θέλουμε να το προσεγγίσουμε από την άποψη της εμπειρίας χρήστη σε ολόκληρο τον κλάδο.

Επομένως, αν υπάρχει ένα συγκεκριμένο χαρακτηριστικό που πιστεύουμε ότι θα ωφελήσει όλους και θα ωθήσει πραγματικά ολόκληρο το σύστημα κινητής κάμερας προς κάτι σαν κάμερα χωρίς καθρέφτες, θα το ενσωματώσουμε. Το άλλο πράγμα που εξετάζουμε είναι η ποιότητα της εικόνας. Αν πρόκειται για κάτι που θα επηρεάσει συγκεκριμένα τις βαθμολογίες ποιότητας εικόνας, για παράδειγμα, από έναν οίκο συγκριτικής αξιολόγησης τρίτου μέρους, όπως το DxOMark, για παράδειγμα, θέλουμε να έχουμε αυτήν την ικανότητα εσωτερικά. Για πράγματα όπως ζουμ ή μείωση θορύβου, καλύτερη ανίχνευση προσώπων, τμηματοποιημένη επεξεργασία, HDR και ούτω καθεξής, αυτά είναι όλα τα πράγματα που μετριέται στον κλάδο, επομένως θέλουμε να διασφαλίσουμε ότι η προσφορά που παρέχουμε σε όλους τους πελάτες μας έχει αυτούς τους τομείς τόσο βελτιστοποιημένους όσο και μπορεί να είναι.

Αυτοί είναι λοιπόν οι δύο παράγοντες που οδηγούν. δεν θέλουμε να πατήσουμε τα δάχτυλα των πελατών μας και του δικτύου τρίτων μας που μπορεί να θέλουν να καινοτομήσουν, αλλά από την άλλη πλευρά, εάν πραγματικά ωθεί ολόκληρο το οικοσύστημα προς τα εμπρός ή αν επηρεάζει κάτι σαν το σκορ DxOMark, θέλουμε πραγματικά να προσπαθήσουμε να το προσφέρουμε σε όλους να μετακινήσουν τα πάντα προς τα εμπρός.

Αναφέρατε νωρίτερα πώς η Qualcomm επιδιώκει να βελτιώσει την απρόσκοπτη μετάβαση μεταξύ φακών καθώς κάνετε μεγέθυνση και σμίκρυνση. Μόλις έκανα μια αναδρομική ανασκόπηση του Galaxy Note 10 του περασμένου έτους, και εντυπωσιάστηκα ακόμη από το πόσο συνεπής είναι η απεικόνιση σε κάθε φακό. Υπάρχουν, φυσικά, μικρές διαφορές. το εξαιρετικά ευρυγώνιο είναι πιο γρήγορο να εκτοξεύσει στιγμιότυπα, αλλά τα χρώματα είναι πραγματικά ακριβή και ενώ υπάρχει ένα δευτερόλεπτο καθυστέρησης κατά τη μετάβαση μεταξύ φακών, είναι πολύ εντυπωσιακό. Είμαι ενθουσιασμένος που βλέπω ότι βελτιώνεται ακόμη περισσότερο.

Αυτό δεν είναι εύκολο. Έχετε τρεις διαφορετικούς αισθητήρες εικόνας και συνήθως δεν είναι ο ίδιος τύπος αισθητήρα εικόνας. Έχετε πολλούς φακούς, πρέπει να συντονίσετε αυτές τις κάμερες έτσι ώστε το χρώμα να είναι σωστό. ότι η μετάβαση εστίασης και η έκθεση είναι τα ίδια. η ισορροπία λευκού είναι η ίδια. το χρώμα είναι το ίδιο? η βασική υφή και ο συντονισμός θορύβου είναι το ίδιο... Διαφορετικά, το μάτι σας θα το δει. Είναι πραγματικά καλό να πάρει αυτές τις ασυνέχειες.

Προσπαθούμε να δημιουργήσουμε όλο και περισσότερα άγκιστρα σε υλικό, ώστε να μπορεί να γίνει εύκολα καθώς μεταβαίνετε και όταν πηγαίνετε από ευρεία σε εξαιρετικά ευρεία, δεν πρόκειται μόνο για αντιστοίχιση αυτών των παραμέτρων. Έχει επίσης σχέση με το πότε βρίσκεστε σε αυτό το σημείο μετάβασης, όπου είπατε ότι υπάρχει μια μικρή καθυστέρηση. υπάρχει επίσης σύντηξη μεταξύ αυτών των δύο εικόνων για να βεβαιωθείτε ότι ο προσανατολισμός και η σύνθεση αυτών των εικόνων είναι αδιέξοδο, και αυτό είναι πράγματι έγινε σε πραγματικό χρόνο με ένα μπλοκ υλικού στον ISP που διαχειρίζεται τον προσανατολισμό και τη στρέβλωση για να κάνει αυτές τις δύο εικόνες τέλεια.

Υπάρχουν πολλά σε αυτό, ειδικά σε εκείνες τις πολύ μικρές περιοχές μετάβασης όπου θέλετε να είναι εξαιρετικά ομαλή. υπάρχει πολύ υλικό πίσω από αυτό που το κάνει να συμβεί.