À l’occasion de la conférence Hot Chips 2020, célébrée ce 18 août, Cerebras Systems a dévoilé les premiers détails de son chip WaferScale Engine (WSE) Generation 2, la nouvelle itération du plus puissant processeur au monde. L’enorme capacité de calcul de ces processeurs répond au développement des nouveaux superordinateurs et intelligences artificielles.
Présenté il y a près d’un an au Hot Chips 2019, le premier WSE a été conçu pour accueillir près de 1,2 billion de transistors installés en 400 000 cœurs gravés à 16nm dans une plaque de 20 cm de côté. Comparé aux plus gros GPU de 2019 (aux environs des 20 milliards de transistors), le WSE est capable de 56 fois plus de puissance de calcul.
Désormais, le nouvel engin de Cerebras sera censé dépasser largement les capacités de son prédecesseur : 2,6 billions de transistors et 850 000 processeurs, le tout possible grâce à une gravure TSMC en 7nm.
Des calculs informatiques de plus en plus exigeants
Pendant longtemps, la puissance de calcul nécessaire à la formation des algorithmes avait doublé tous les deux ans, suivant la célèbre loi de Moore. Cependant, d’après une étude d’OpenAI, cette tendance a commencé à changer depuis 2012. Dans son analyse de 2018, le laboratoire de recherche basé à San Francisco a souligné qu’en six ans, les besoins informatiques ont été multipliés par 300 000, soit une puissance de traitement qui double tous les 3 à 4 mois.
Le graphique d’OpenAI montre la quantité totale de calculs, en pétaflops/s-jours, requise par les principaux systèmes d’intelligence artificielle au monde. En informatique, cela correspond à près de 1015 opérations de calcul effectuées par seconde pendant une journée, tout comme le kW-heure pour l’énergie.
À partir de 2012, l’emploi des CPU en tant qu’unités de calcul a été déplacé en faveur des GPU, généralement munis d’une puissance de traitement plus importante. N’étant pas son but premier, l’usage des GPU pour ces applications a rapidement révélé des défauts dans l’efficacité des calculs. Ces unités de traitement graphique ont été installées en chaines de plus en plus nombreuses, entraînant des embouteillages de données de plus en plus importants.
En réponse à ces nouveaux besoins de calcul, de nouvelles architectures et systèmes de processeurs ont apparu ces dernières années. Deux des plus exigeants logiciels d’intelligence artificielle au monde, AlphaZero et AlphaGoZero, ont été entraînés à l’aide d’unités de traitement du tenseur (TPU) développées par Google.
Avec une architecture différente aux TPU, le WSE introduit en 2019 a été le premier processeur à employer avec succès le système « wafer-scale integration » : un procédé qui permet l’installation de nombreux cœurs interconnectés dans une même plaque. Avant Cerebras, une startup formée en 2016, aucune compagnie n’était parvenue à faire fonctionner un processeur pareil, notamment dû aux différents défis techniques liés à la température émise par un tel engin.
Plus tard dans l’année, la société informatique a introduit le CS-1 : une unité de quelques millions de dollars destinée à alimenter une seule puce WSE et consommant environ 15 kW. De nos jours, l’engin de Cerebras est employé dans la conception d’un superordinateur AI au Pittsburgh Supercomputing Center. Plus récemment, le CS-1 participe également au développement d’un vaccin contre le Covid-19 à l’Argonne National Laboratory, aux États-Unis.
Source de l’image : spectrum.ieee.org