Comment le mode portrait du nouvel iPhone SE tente de surpasser le Pixel sur Google

Source: Alex Dobie / Android Central

Ce n'est pas un secret que Les téléphones Pixel de Google ont eu certains des meilleurs appareils photo que vous trouverez sur n'importe quel téléphone, même si la plupart d'entre eux n'ont qu'un seul objectif. Ils s'appuient sur la magie logicielle pour transformer ce que la caméra voit en une superbe photo, et des effets tels que le mode portrait ou la vision nocturne poussent ce logiciel encore plus loin. Cela a du sens - après tout, Google est avant tout une société de logiciels.

Apple fabrique du matériel et le vend aux gens. Google fabrique principalement des algorithmes.

Apple n'est pas principalement un éditeur de logiciels, du moins pas de la même manière que Google. Apple ressemble plus à Samsung et fabrique des produits que les gens veulent acheter sans penser au logiciel qu'ils contiennent. Mais tout comme Samsung, le jeu de caméra d'Apple est fort. Très fort. Un échantillon de photos depuis l'iPhone 11 montre à quel point les appareils photo d'Apple peuvent être bons.

Et puis nous avons le nouvel iPhone SE. Soyons francs - c'est un iPhone 8 avec un meilleur chipset. Ce n'est pas une mauvaise chose, mais cela signifie qu'il n'y a qu'un seul appareil photo pour prendre des photos. Alors pourquoi sont-ils si bons, en particulier les portraits? Et avant de le dire, ils sont bons. Au moins des portraits de personnes, que nous expliquerons un peu. Machine Learning, c'est pourquoi.

Cette nouvelle puce

Source: iMore

le Processeur A13 Bionic à l'intérieur de l'iPhone SE est le même processeur que vous trouverez dans la série iPhone 11. C'est le dernier d'Apple, et c'est vraiment bon dans beaucoup de choses - l'apprentissage automatique étant l'une de ces choses grâce à un moteur neuronal autonome doté de son propre microprocesseur.

Grâce à ce matériel, Apple a pu inclure ce qu'il appelle "Estimation de la profondeur monoculaire d'une seule image"qui est une manière très complexe de dire qu'il peut prendre des photos de portrait avec juste les données d'image qu'un seul appareil photo peut capturer. Vraiment. Il n'y a pas de capteur de temps de vol ou LiDAR ou l'une des autres astuces qui faciliteraient la capture de la profondeur, avec un seul objectif de caméra.

Plus: Qu'est-ce qu'une caméra Time-of-Flight et comment fonctionne-t-elle?

Si cela semble un peu familier, c'est parce que Google fait quelque chose de très similaire avec un logiciel "juste" depuis quelques années maintenant dans ses téléphones Pixel. Comment ça marche est vraiment très cool.

L'apprentissage automatique est un terme large qui peut couvrir un grand nombre de choses. Dans le cas d'obtenir des données de profondeur à partir d'un seul objectif, il utilise un réseau de neurones pour collecter des données afin qu'il sache à quoi devraient ressembler les choses - dans le cas de l'iPhone SE, rien que pour le moment - devraient ressembler. Vous alimentez un gros ordinateur des milliers et des milliers de photos de personnes et il commence à trouver des modèles. Des choses comme la forme générale des yeux ou la façon dont les cheveux n'ont pas un contour parfaitement lisse.

Cet ordinateur transforme toutes les données et il a maintenant "appris" ce qu'est une personne et peut séparer une personne de son arrière-plan. Le morceau de logiciel qui peut faire cela a besoin d'un peu d'espace pour vivre, mais plus important encore, il a besoin de puissance de traitement pour exécuter sa routine chaque fois que vous le lui demandez.

Les machines ne peuvent pas apprendre, mais elles peuvent reconnaître des modèles si elles reçoivent suffisamment de données.

C'est là qu'entre en jeu le processeur d'apprentissage automatique dédié de l'A13 Bionic. Tout comme les moteurs de caméra dédiés du Pixel - le Pixel Visual Core et le plus récent Google Neural Core - une puce dédiée pour traiter les fonctions d'apprentissage automatique est là et prête. Lorsque vous dites à l'appareil photo de l'iPhone SE de prendre une photo de portrait, le processeur neuronal entre en action et trouve le personne dans l'objectif de la caméra et transmet les données au processeur qui transforme ce que la caméra voit en un photographier.

Le reste est assez simple. Les parties de la photo qui ne sont pas une personne sont légèrement floues et les parties de la personne sont légèrement accentuées. Ce n'est pas parfait, et n'importe quel téléphone avec deux objectifs pourrait fournir plus de données au moteur neuronal et créer une bien meilleure photo, mais la plupart du temps, la photo du portrait est vraiment belle.

Juste des gens pour l'instant

Source: iMore

Réponse courte - parce que c'est tout ce qu'Apple a «appris» à traiter dès maintenant. Le contour d'une personne est créé sous forme de carte de profondeur très détaillée et dotée d'un bord très bien défini. Apple aurait pu décider d'enseigner au moteur neuronal les cactus, les bouteilles ou les chiens, mais les gens sont ce dont nous prenons le plus de photos, c'est donc là que les choses commencent.

«Enseigner» à un réseau de neurones à quoi ressemble une personne est mieux que de lui apprendre à quoi ressemble un poisson rouge si la photographie est l'objectif final.

Mais Apple a également exposé la carte de profondeur (à la fois des données d'arrière-plan et des données "personnes") comme une API pour les développeurs. Cela signifie que les applications d'appareil photo tierces peuvent utiliser le mode portrait tout comme l'appareil photo Pixel. Choisissez simplement un point focal et prenez une photo, et l'appareil photo fera de son mieux pour obtenir des informations de profondeur en fonction du contour de ce qu'il peut voir.

Cela va être bon pour certaines choses et moins bon pour d'autres parce qu'il n'y a pas d'algorithme appris comme celui utilisé pour les gens. Mais il devrait toujours être capable de prendre des effets de portrait nets d'autres choses et de les faire bien fonctionner. Nous avons vu comment les téléphones Pixel s'amélioraient à chaque itération afin que nous sachions que c'est possible.

Apple ne sortira probablement pas un autre téléphone avec un seul objectif d'appareil photo, ni Google. Mais donnez aux algorithmes d'Apple quelques années et l'iPhone SE pourrait prendre des photos de portrait aussi bonnes ou meilleures que n'importe quel téléphone Pixel à appareil photo unique. Et comme le Pixel, il peut utiliser ce qu'il a appris combiné avec le double des données du double des objectifs de l'appareil photo et donner à cet appareil photo Pixel une course sérieuse pour son argent.

Quelle est la prochaine étape pour Apple et Google?

Source: René Ritchie / iMore

De plus en plus des mêmes innovations logicielles, c'est quoi.

le Pixel 4 et l'iPhone 11 Pro nous montrent ce que chaque entreprise peut faire lorsqu'elle utilise ces algorithmes extrêmement compliqués tandem avec un appareil photo multi-objectif, et c'est une énorme amélioration par rapport à ce que chaque entreprise a offert dans le passé. Lorsque vous avez deux fois plus de données avec lesquelles travailler et que vous avez perfectionné la façon de collecter les droite données, vous pouvez faire du très bon travail en matière de construction d'une caméra.

Mais cela ne veut pas dire qu'aucune des deux entreprises ne va cesser de se soucier d'un appareil photo à objectif unique. Nous connaissons le Pixel 4a arrive et il n'aura qu'une seule caméra à l'arrière, et si l'iPhone SE + 2020 se produit réellement, attendez-vous à ce qu'il s'agisse d'un iPhone 8+ avec un seul objectif. Sans parler des millions et des millions de selfies pris chaque jour avec un système de caméra à objectif unique.

Les ingénieurs en logiciel et les spécialistes de la vision industrielle des deux sociétés essaieront d’apprendre tout ce qu’ils peuvent des deux «données doubles» les objectifs peuvent collecter et voir comment il peut être intégré aux algorithmes qui font des caméras iPhone SE et Pixel 4a (vraisemblablement) sacrément bon. Et ils découvriront de nouvelles choses sur la collecte de lumière avec toutes ces données.

Chaque mise à jour du système d'exploitation améliorera les caméras et apportera également des améliorations aux caméras frontales. Ne vous attendez pas à de vrais miracles, mais les résultats dans trois ans devraient être plutôt bons!