Comment Qualcomm repousse les limites photographiques avec son Snapdragon 865

Prise en charge de modules caméra de 200 mégapixels, encodage et décodage de la 8K, jusqu'à deux milliards de pixels traités par seconde : le Snapdragon 865 de Qualcomm est une bête de puissance qui porte un rude coup à la concurrence... et aux appareils photo & vidéo.

Les industriels de la photo ne sont plus les rois des pixels. Les champions de l’image, c’est du côté des semi-conducteurs qu’il faut aller les chercher, et plus particulièrement les spécialistes des puces pour smartphones.
En haut du tableau se tiennent Apple, Huawei et autres Samsung dont les terminaux sont réputés pour leur partie photo. Ce n’est pourtant aucun de ces fabricants de téléphones qui porte la couronne du « king » de l'imagerie, mais l'Américain Qualcomm. Champion des composants télécom et de la 5G, Qualcomm est aussi le numéro 1 mondial des SoC (System On a Chip) pour smartphones, ces puces tout-en-un qui propulsent l’essentiel des terminaux Android de la planète.

Les capacités photographiques étant un élément incontournable pour nombre de consommateurs, Qualcomm, qui vend ses puces à tout le monde (Samsung, Xiaomi, Oppo, OnePlus, etc.), se devait de répondre présent. Et avec l’arrivée de capteurs supérieurs à 100 mégapixels et l’explosion des modules caméra, il lui faillait repousser encore plus loin les limites actuelles.

Les puces d’appareils photo à la traîne

Ces limites, le Snapdragon 865 ne les dépasse pas : il les explose. Son processeur d’imagerie (ISP) appelé Spectra 480 est une mitrailleuse à pixel qui offre un niveau de performances (théoriques) sans précédent. Et ce, tant chez les smartphones que dans le monde de la photo et vidéo grand public. Jugez plutôt : gestion de la vidéo 8K à 30 images par seconde en écriture et 60 i/s en lecture, vidéo 4K à 120 images par seconde, jusqu’à 2 milliards de pixels « digérés » par seconde, une prise en charge de 18 modules caméra maximum (deux modules couleurs simultanés) et jusqu’à 200 Mpix chacun. La fiche technique est effrayante. Pour comparaison, un hybride plein format de grade professionnel comme le Panasonic Lumix S1R est à même de filmer en 4K à 60 images par seconde (la 8K lui est interdite) et l’Alpha A9 de Sony gère « seulement » un demi-milliard de pixels par seconde.

La comparaison n’est certes pas à périmètre constant – il y a d’autres facteurs limitants que le processeur dans les appareils photo qui pilotent des capteurs de plus grande dimension que ceux des smartphones. Mais il n’empêche qu’à la guerre des chiffres, les smartphones distancent désormais les boîtiers photo d’une bonne tête... voire de deux. Heureusement que la physique – taille des capteurs, qualité des optiques, puissance des téléobjecifs – ainsi que la prise en main des boîtiers sont là pour maintenir leur intérêt.

Car, pour le reste, c’est un K.O. technique.

Deux milliards de pixels par seconde

Comment se déroule le traitement des pixels dans un ISP (pour Image Signal Processor ou processeur d'images) ? Et pourquoi le chiffre de deux milliards de pixels par seconde est-il une performance ?

« En général, dans un ISP, on traite les pixels les uns après les autres. Mais face au déluge de données que cela représente, il faudrait atteindre des fréquences et une consommation énergétique énorme si on restait sur ce modèle », explique Judd Heape, le responsable du développement du module Spectra 480 en charge de l’imagerie.

L’endurance de la batterie étant elle aussi un argument majeur de vente des appareils, il est hors de question de faire exploser la facture énergétique.

L’astuce ? Traiter plus de pixels par cycle.

Sur la slide explicative de la conférence de lancement du Snapdragon 865, cela semble très simple : le Spectra ne traite plus un, mais quatre pixels par cycle.

« C’est loin d’être simple en fait : il nous a fallu tout changer dans la manière dont les rasters fonctionnent, modifier toute la chaîne de traitement de l’image », détaille Mr Heape ajoutant que « les contraintes sont extrêmes puisque la place dans le SoC est extrêmement limitée ».

Le travail fut énorme puisque les ingénieurs ont dû tout réinventer, sans reprendre le « moteur » de traitement des versions précédentes.

Mais le jeu en valait la chandelle. Non seulement, le Spectra 480 peut traiter quatre fois plus de pixels à fréquence égale, mais en plus, pour un volume donné de pixels, la fréquence d’horloge est divisée par quatre par rapport à un ISP normal, ce qui abaisse (presque) d’autant la consommation énergétique.
C’est ce nouveau moteur de traitement d’image qui permet au Spectra 480 de traiter jusqu’à 2 milliards de pixels « sans problèmes de chauffe » nous garantit Judd Heape.

De quoi prendre en charge non seulement les capteurs « monstres » actuels tels que le Samsung ISOCELL Bright HMX de 108 mégapixels, mais aussi « les futurs capteurs de 200 Mpix qui arrivent », assure-t-il en expliquant que « les liens que nous avons avec l’industrie des capteurs nous permet de le savoir longtemps à l’avance quels genres de composants sont en préparation ».

Qualcomm premier sur la 8K

À quoi peut bien servir de gérer autant de pixels par seconde ?

« À la base, nous avons développé un processeur capable d’une telle puissance pour proposer un mode vidéo 4K à 120 images par seconde, pour des séquences hyper fluides et un super ralenti illimité 720p à 960 images par seconde », raconte Judd Heape. « La 8K n’est qu’un sous-produit des performances que nous avons atteint. Puisqu’on pouvait traiter deux milliards de pixels par seconde, on pouvait donc traiter la 8K en décodage comme en décodage. »

Si vous pensez que traiter les pauvres huit mégapixels d’un fichier vidéo 4K est une performance, la 8K va vous faire peur. Une image fixe d’un fichier vidéo 4K fait 8,3 Mpix (3840 x 2160 pixels), alors qu’en 8K chaque image affiche 33 mégapixels !
À 30 images par seconde, cela représente 990 millions de pixels par seconde. Quasiment un milliard de petits carrés colorés qu’il faut collecter, dématricer, analyser, traiter (couleurs), combiner (compression) et enregistrer sur un support mémoire. Le tout à la vitesse de l’éclair. Ce travail colossal concerne l'écriture. En lecture, le Spectra 480 décode de la 8K à 60 images par seconde, soit 1,98 milliard de pixels, sa limite extrême de calcul. À titre de comparaison, la Full HD, c’est 60 millions de pixels par seconde et la 4K, à peine 250 millions de pixels.

Avec le Spectra 480 de son Snapdragon 865, Qualcomm marque l’histoire en fournissant la première puce pour appareils grand public capable de gérer la 8K. Il occupe ainsi une place à part dans l’histoire du développement de cette norme vidéo. Et ce, devant les appareils photo et vidéo grand public.

Si la 8K est pour l'heure réservée aux très grandes tailles d’écran (au-delà de 65 pouces) et si sa qualité extrême va poser de nombreux problèmes (stockage, puissance de traitement nécessaire, chauffe, etc.) la performance est là.

Torrent de pixels et intelligence artificielle

Outre le Spectra 480 qui gère aussi bien la vidéo ultra haute définition (8K) que la « gigaphoto » (deux milliards de pixels par seconde, capteur 200 mpix, etc.), le Snapdragon 865 a un autre gros avantage sur les puces qui équipent les appareils photo : il n’est pas seul.
En son sein, turbinent un processeur (CPU), une puce graphique (GPU) ainsi qu’un DPS, une puce qui est notamment dédiée à l’intelligence artificielle. Appelé Hexagon, ce DSP intègre le moteur d’IA de 5e génération de Qualcomm et peut désormais réaliser jusqu’à 15 tera d'opérations par seconde (15 TOPS = 15 000 000 000 000 d'opérations).

Chef d’orchestre du calcul, l’Hexagon est capable de récupérer les informations traitées par le Spectra et d’utiliser aussi bien le CPU, le GPU ou ses propres unités selon la nature des calculs à réaliser.
Une puissance ahurissante pour une puce de quelques millimètres carrés, qui permet au Snapdragon 865 de combiner des centaines d’images pour en améliorer la qualité, de « comprendre » les éléments capturés et d'appliquer des filtres différents selon qu’il s’agisse d’un visage ou d’un feuillage (segmentation sémantique), etc. Bref, de sublimer les informations qui sortent de modules caméra pourtant bien plus petits et moins bons que ceux qui équipent les appareils photo.

La force du volume

Si la comparaison entre « vrais » appareils photo et smartphones est difficile du fait de leurs natures et contraintes différentes (l’appareil photo doit être allumé en une seconde à peine, etc.), la supériorité théorique des SoC de smartphone s’explique en un mot : le volume.
Quand un appareil photo haut de gamme qui se vend bien peut s'écouler à quelques centaines de milliers d’unités, les smartphones se vendent, eux, par centaines de millions.

Or, quand Sony, Panasonic ou Nikon développent leurs propres processeurs pour leurs boîtiers, les constructeurs de smartphones se tournent tous - ou presque - vers Qualcomm. Les volumes délirants du marché des smartphones ont permis à Qualcomm de concentrer des budget R&D sans commune mesure avec ceux du monde de la photo. Et de devenir ainsi, dans un relatif anonymat, un poids lourd du monde de l’image.