Déjà 20 ans pour la première infrastructure distribuée pour les expérimentations à grande échelle nécessitant une grande puissance de calcul
C’est en 2002 que des chercheurs en systèmes distribués Français dont Frédéric Desprez, actuel directeur du centre Inria de l’Université Grenoble Alpes, décident, en collaboration avec plusieurs partenaires dont le CNRS, des grandes universités et écoles françaises, de concevoir et bâtir GRID’5000 pour répondre à un besoin d’infrastructure à grande échelle pour expérimenter des algorithmes, programmes et applications complexes en vraie grandeur et en garantissant une reproductibilité des expériences.
Les centres de calcul existants ne permettaient pas en effet de déployer à grande échelle des logiciels potentiellement boguées, et les grappes de calcul qui commençaient à poindre dans les laboratoires ne permettaient pas des simulations d’applications complexes pour valider des déploiements significatifs à large échelle.
Concrètement, GRID’5000 est une plateforme révolutionnaire dans la recherche informatique en France, qui combine maintenant 16 000 cœurs distribués dans 750 nœuds installés sur 9 sites, dont Grenoble, et reliés par des fibres à 10 gigabits par seconde du réseau académique Renater. Une vraie rupture technologique par rapport aux calcul centralisé dans des supercalculateurs, qui permet, grâce au calcul massivement parallèle et distribué, de réduire de plusieurs années à quelques heures les calculs complexes.
« Les chercheurs expérimentent ainsi les outils logiciels qu’ils développent pour répondre aux besoins grandissants des applications en termes de calcul intensif, de volumes de données, de simplicité de déploiement et d’utilisation via le cloud », note Nouredine Melab, responsable scientifique pour le site lillois Grid’5000 et chercheur dans l’équipe de recherche Dolphin* du centre Inria de Lille.
Une infrastructure unique pour la Recherche scientifique et la formation où se dessinent et se testent les évolutions technologiques de l’IOT
La plateforme a permis de réaliser de nombreuses expériences scientifiques majeures autour des piles logicielles du calcul à haute performance, du traitement de grandes masses de données, des clouds, de l’étude (et de la réduction) de la consommation énergétique des grandes infrastructures, des systèmes pair-à-pair, de l’intelligence artificielle…
Les expériences menées sur Grid’5000 ont donné lieu à plus de 2 500 publications dans des revues et conférences internationales, à la soutenance de quelques 333 thèses et à une cinquantaine de recherches présentant des résultats validés sur l’infrastructure.
Au total, Grid’5000 a rassemblé plus de 6 000 utilisateurs de divers horizons, dont un millier sur la seule dernière année, et totalisé presque 13 millions d’expérimentations sur 600 millions d’heures.
Au-delà de la Recherche, la plateforme joue depuis sa création un rôle clé dans la formation des étudiants aux grands systèmes distribués et une quarantaine de cursus universitaires ou d’écoles d’ingénieurs s’appuient sur Grid’5000 pour initier les futurs chercheurs ou ingénieurs à l’utilisation de clusters et la programmation parallèle. Rien que sur l’infrastructure Lilloise, ce sont ainsi plus de 500 étudiants en master d’informatique « calcul scientifique » qui ont été formés au calcul distribué la plateforme.
Et si Grid’5000 fête ses 20 ans, son modèle est loin d’être dépassé, bien au contraire, tant sa structure distribuée répond plus que jamais aux enjeux de l’IOT, où big data, hétérogénéité des sources de données et edge computing sont au cœur de l’avenir de l’internet des objets et des Clouds en général.
De GRID’5000 à SLICES (Scientific Large-Scale Infrastructure for Computing/Communication Experimental Studies) : cap sur le futur nœud européen de la Recherche sur l’IOT, le edge computing, les systèmes distribués, les réseaux 5G/6G et le calcul haute performance (HPC)
Une fusion a ainsi naturellement été envisagée à partir 2016 entre GRID’5000 et FIT (Future Internet of Things : une infrastructure de test ouverte à grande échelle pour les systèmes et les applications sur les communications sans fil et par capteurs), deux projets 100% français, avec un objectif alors affiché par Frédéric Desprez, directeur scientifique de GRID’5000 : « construire un grand instrument permettant de s’attaquer à tous les défis scientifiques de l’Internet des objets, des centres de données et des réseaux les reliant. Cette plate-forme expérimentale polyvalente préfigurera à une échelle réaliste, les infrastructures qui seront déployées demain afin de tester les modèles, les algorithmes et les langages à grande échelle à travers le monde ».
La nouvelle infrastructure permettra ainsi l’expérimentation de bout en bout des applications à tous les niveaux des couches logicielles, de la capture d’événements (capteurs, actionneurs) au traitement et au stockage des données, en passant par la gestion de la transmission radio et le déploiement dynamique de services informatiques de pointe, permettant une recherche reproductible sur des réseaux programmables tous points.
Un instrument tellement clé pour l’avenir de l’IOT qu’il a donné naissance à un projet encore plus ambitieux : le projet SLICES, continuité européenne du nœud français (infrastructure ESFRI).
Plus de 25 entités européennes (universitaires, académiques et startups) issues de 15 pays sont ainsi rassemblées dans un consortium autour d’Inria, pour bâtir une plateforme encore plus complète qui ne vise rien moins qu’à contribuer à la compétitivité industrielle et à l’impact sociétal du numérique en favorisant aussi bien une recherche de haut niveau qu’une industrie de haute technologie.
SLICES permettra fournira ainsi aux scientifiques européens les ressources nécessaires pour concevoir, expérimenter, exploiter et automatiser en permanence la gestion du cycle de vie complet des infrastructures, des données, des applications et services numériques et de garantir la fiabilité et la reproductibilité des résultats de leurs expériences.
Sources
https://www.inria.fr/fr/grid5000-lexperimentation-informatique-grande-echelle
https://www.inria.fr/fr/slices-iot-cloud-hpc-europe-sciences-numerique
