Les capteurs Sony alimentés par l'IA sont l'avenir des appareils photo des smartphones

Source: Jerry Hildenbrand / Android Central

Plus tôt cette semaine Sony a annoncé deux nouveaux capteurs d'image IMX qui vont tout changer en matière de photographie «intelligente».

C'est une déclaration vraiment audacieuse à faire, mais c'est aussi une prédiction facile en raison de la façon dont les smartphones et autres produits intelligents utilisent leurs appareils photo. Vous vous attendez à ce qu'un "vrai" appareil photo plus grand avec un objectif coûteux puisse prendre de superbes photos car le matériel utilisé facilite les choses. Mais lorsque vous utilisez un petit capteur dans un appareil minuscule et une lentille fixe, vous n'avez pas d'optiques coûteuses pour faire le gros du travail. Au lieu de cela, des choses comme l'IA sont utilisées, et c'est ce qui rend les nouveaux capteurs de Sony spéciaux: ils ont un petit processeur AI intégré dans le boîtier du capteur.

Ces capteurs n'ont rien à voir avec un téléphone ou des produits de consommation. Ils sont conçus pour les équipements de vision industrielle et de fabrication et des entreprises comme Amazon ont a exprimé son intérêt car une solution tout-en-un signifie que de nombreuses économies de coûts sont intégrées produit. Mais comme toutes choses, les capteurs deviendront plus petits et moins chers - actuellement, l'IMX coûte environ 90 $ - et finalement, vous les trouverez dans les caméras de surveillance à domicile, les caméras corporelles et même votre téléphone intelligent.

L'IA a adapté la photographie sur smartphone en quelque chose d'incroyable.

L'IA est un gros problème en ce qui concerne les caméras de nos smartphones, mais personne ne parle jamais vraiment de pourquoi. Ce n'est pas grave, car nos yeux peuvent nous dire que les «systèmes d'acquisition d'images» alimentés par l'IA donnent à nos images une bien meilleure apparence que les caméras de téléphone d'il y a quelques années. Mais un peu de savoir comment est toujours une bonne chose.

Un capteur de caméra n'est qu'un élément électronique qui peut recueillir la couleur et l'intensité de la lumière. Lorsque vous ouvrez l'application Appareil photo, le capteur commence à collecter ces données et lorsque vous appuyez sur l'obturateur, elles sont saisies et envoyées à un autre matériel qui transforme les données en photo. Cela signifie quelque chose, quelque part doit être programmé pour effectuer la conversion.

Source: Sony Electronics Inc.

Là où l'IA entre dans le mélange, c'est d'ajouter ou de convertir des données supplémentaires ou même inexistantes au processus de conversion. L'IA peut aider à détecter le contour de nos cheveux sur un arrière-plan chargé. Il peut estimer la distance de tout dans une scène car il "sait" à quel point une chose est grande. Il peut prendre des données de plusieurs captures d'images et les combiner pour améliorer les photos en basse lumière. Tous les appareils photo numériques utilisent l'IA et les appareils photo des téléphones l'utilisent beaucoup.

Avec les nouveaux capteurs de Sony, la couche intermédiaire de l'électronique intelligente est contournée car un processeur d'image alimenté par l'IA est intégré dans l'emballage. Cela pourrait signifier qu'une très bonne photo peut être livrée directement sur un écran, mais plus important encore, cela signifie que la sortie ne doit pas du tout être une photo.

Un capteur d'image alimenté par l'IA signifie que la sortie ne doit pas du tout être une image.

Les exemples Sony de la façon dont ce capteur peut être utilisé montrent qu'un élément et un Amazon Go le magasin peut être suivi de son emplacement sur une étagère dans les mains d'un client, un décompte en cours du nombre de personnes visitant un magasin en le centre commercial peut être conservé, ou un chien devant le capteur pourrait indiquer à un autre logiciel qu'il y a un chien devant le capteur.

Il existe d'innombrables cas d'utilisation de ce type d'équipement dans la fabrication et l'expédition et application commerciale où les données de ce qu'une caméra "voit" sont aussi importantes (ou plus) que l'image il voit. La voiture que vous conduisez, le stylo que vous utilisez, même le téléphone que vous portez, tous ont utilisé la vision industrielle pour trier les pièces ou trouver des défauts. Mais pour nous, là où cela devient intéressant, c'est comment cela fonctionnerait à l'intérieur d'un téléphone.

Source: Sony Electronics Inc.

Comme mentionné, votre téléphone fait déjà tout cela. Pomme, Google, et Huawei ont du matériel spécialisé pour vous aider, mais la puce qui alimente votre téléphone dispose d'un FAI (Signal d'image Processeur) intégré qui repose également fortement sur l'IA pour faire exactement les mêmes choses que les nouveaux capteurs de caméra de Sony Faire.

Les téléphones Samsung prennent de très belles photos "régulières". Plus que suffisant pour n'importe qui, en fait. Mais lorsque vous commencez à observer des pixels, vous constatez que les téléphones Apple, Google et Huawei prennent des photos un peu meilleures. Ils peuvent avoir des couleurs plus vraies, mieux détecter les contours, ce qui rend les photos plus nettes, et même les prises en mode non portrait ont une meilleure impression de profondeur.

Plus: Meilleur appareil photo Android en 2020

Source: Ara Wagoner / Android Central

C'est parce que Samsung utilise un seul FAI, bien qu'un très bon, pour créer une photo à partir des données du capteur, tandis que les autres utilisent un FAI en conjonction avec un matériel dédié qui utilise l'IA pour affiner davantage le processus. Les images de Samsung sont excellentes et quiconque prétend avoir mauvaise mine n'est pas authentique. Imaginez ce que Samsung pourrait faire avec une couche supplémentaire d'IA et de collecte de données en plus du réglage du FAI qu'il fait actuellement.

Maintenant, allez plus loin et imaginez ce qu'une entreprise comme Motorola ou OnePlus - qui n'est pas exactement connue pour avoir caméras incroyables - peuvent faire avec une couche supplémentaire de traitement d'image effectué localement sur l'appareil qui n'ajoute aucune surcharge à le processus.

Aujourd'hui, les grandes entreprises qui ont de grands bâtiments pleins d'équipements s'intéressent aux nouveaux capteurs de Sony. Dans un proche avenir, vous et moi le serons également, car cette idée se répandra.