De Smartnvy à Neurxcore : l’expertise technologique en IA embarqué repasse sous pavillon 100% français
Smartnvy était une société franco-chinoise dont l’entité française avait été créée sur inovallée par Vrigile Javerliac en 2019. Spécialisée dans le design de puces intégrant des technologies MRAM, l’équipe française travaillait essentiellement sur l’optimisation de ces puces pour le traitement (inférence) des algorithmes d’IA.
L’occasion pour Virgile Javerliac d’explorer d’autres pistes que la MRAM pour optimiser l’edge IA computing, et notamment les technologies IMC (In-Memory Computing).
C’est pour se consacrer à cette activité qu’en 2023, Virgile décide de racheter la filiale française, qui devient Neurxcore, une entreprise fabless de la filière semicon, qui vient de lancer sa nouvelle gamme de processeurs écoénergétiques pour accélérer le traitement embarqué de l’IA dans le domaine de la vision artificielle et dérivés (réseaux convolutifs).
L’IMC et les Transformers au cœur de la performance hardware pour l’IA embarquée
Les CPU classiques sont mal adaptés (énergie, performances) au traitement des algorithmes d’IA, qui requièrent des calculs massivement parallèles. C’est d’autant plus le cas des LLM (Large Language Models) ou de l’IA générative, qui s’appuient essentiellement sur la technologie des Transformers combinant de manière intensive opérations de calculs matriciels et exponentiels.
« Face à la révolution logicielle de l’IA, et l’explosion actuelle de l’IA générative, les couches matérielles ont besoin de s’adapter aux nouvelles manières de traiter l’information, pour rendre les processus rapides, moins couteux et efficaces énergétiquement sur toute la chaîne, depuis le device jusqu’au datacenter », souligne Virgile Javerliac.
L’IMC est une des solutions technologiques clés pour accélérer les calculs et donc améliorer la performance énergétique des processeurs. En effet, en chargeant les données et en calculant directement dans la mémoire du système, cette technologie de rupture élimine les besoins de transactions entre unité de traitement et mémoire et peut ainsi traiter des données massives avec un temps de réponse très court et un coût énergétique très faible.
L’inférence, phase critique de la consommation de ressources pour l’IA, notamment en edge computing
La phase d’inférence marque l’étape où un modèle, déjà entraîné, est déployé pour son exécution. Plus de 80 % des activités sont focalisées sur l’inférence, tandis que l’apprentissage ne représente que 20 %. Cette étape revêt une importance cruciale dans de nombreuses applications, notamment celles impliquant un service simultané pour plusieurs utilisateurs.
Le processus d’apprentissage se trouve uniquement au sein des datacenters, tandis que l’inférence s’étend partout, depuis les capteurs jusqu’aux véhicules, en passant par les ordinateurs portables et les serveurs.
Selon des études menées par les géants de la technologie, l’inférence consomme actuellement 60 % de l’énergie des datacenters, une proportion en augmentation significative ces dernières années. Cela est particulièrement marqué avec l’avènement de l’IA générative, soulignant davantage la nécessité de processeurs dédiés à l’IA, tout en étant économes en énergie.
Des processeurs neuronaux 1000 fois plus performants que les CPU classiques basés sur un cœur d’accélération open-source NVIDIA et un premier essai réussi sur silicium en 22nm
Neurxcore a lancé en octobre dernier une gamme complète de processeurs neuronaux écoénergétiques (SNVDLA) adaptés à un large éventail d’applications. Ces puces d’accélération de réseaux neuronaux (Neural Processing Unit ou NPU) sont basées sur une version largement modifiée et étendue (brevets à la clé) d’un cœur d’accélération open-source NVDLA du géant américain des processeurs graphiques, NVIDIA.
Les solutions SNVDLA de Neurxcore établissent de nouvelles normes en termes d’efficacité énergétique et de performances. En effet, selon la configuration, l’IP SNVDLA est plus de 100 fois plus rapide qu’un processeur graphique (GPU) pour l’accélération IA et 1000 fois plus rapide qu’un processeur généraliste (CPU).
La technologie SNVDLA de Neurxcore a été d’ores et déjà été qualifiée sur silicium à l’aide du process de fabrication 22nm du premier fondeur mondial, le Taïwanais TSMC. Une carte électronique intégrant ce processeur neuronal a été réalisée. Et les tests ont été concluants puisque le moteur d’inférence de Neurxcore a consommé moins de 10 mW lors de l’exécution de tâches de classification d’images à 24 images par seconde.
« Nous sommes extrêmement fiers d’avoir été capables d’atteindre de telles performances et du travail de l’équipe derrière ce produit révolutionnaire », conclut Virgile Javerliac.
Un business model qui combine IP et chiplets et adresse un large éventail d’applications du device aux datacenters
Dans la pratique, les processeurs de Neurxcore sont proposés sous licence sous forme de blocs d’IP, que les clients peuvent utiliser dans leurs propres composants électroniques ou puces-systèmes. Au-delà de ses blocs d’IP proprement dits, Neurxcore propose également un kit de développement logiciel (SDK), estampillé Heracium, dont l’objectif est d’optimiser l’exécution des réseaux de neurones sur les produits de la société. Heracium s’appuie sur le framework open source de bout en bout Apache TVM et prend en charge de nombreux modèles (TensorFlow, Keras, Caffe, Caffe2, ONNX, PyTorch, etc.).
À brève échéance, la société envisage de présenter ses processeurs Neurxcore sous la forme de chiplets en silicium, prêts à être intégrés dans des boîtiers, combinés avec d’autres chiplets qui exécutent diverses fonctions (Bluetooth, caméra, etc.). Adopter cette approche multipuce, plutôt qu’un unique système sur puce, offre une flexibilité accrue dans divers scénarios. Cela permet notamment la combinaison de différents procédés de fabrication tout en optimisant les coûts liés à la densité, à l’intégration et à la scalabilité.
La gamme complète de produits de Neurxcore s’adresse à un vaste éventail d’industries et d’applications, allant de l’ultra-basse consommation à des scénarios haute performance : capteurs et IoT, dispositifs portables, smartphones, maisons intelligentes, surveillance, décodeurs TV et numériques, téléviseurs intelligents, robotique, calcul en périphérie, réalité augmentée/virtuelle, systèmes avancés d’aide à la conduite (ADAS), datacenters, et bien plus encore.
Un marché porteur et des perspectives de croissance
Selon le rapport de Gartner sur les semi-conducteurs AI pour 2023, les revenus des semi-conducteurs AI devraient atteindre 111,6 milliards de dollars d’ici 2027, avec un taux de croissance annuel composé (TCAC) de 20 % sur cinq ans.
Neurxcore compte à ce jour une dizaine de collaborateurs mais prévoit de doubler ses effectifs d’ici 2025. Pour accélérer la commercialisation de sa technologie, une levée de fonds de plusieurs millions est en cours de négociation.
Sources
