Pourquoi dit-on qu’à l’ère de l’IA, il manquera toujours de mémoire ? En réalité, c’est une chose qui est déjà inscrite dès la naissance. À cause du goulot d’étranglement de Von Neumann !

Les bases des ordinateurs modernes reposent toutes sur l’architecture de Von Neumann. Le cœur de cette architecture est le fait que les programmes et les données sont stockés dans le même type de mémoire : le CPU extrait et exécute les instructions une par une.

À mesure que les CPU/GPU calculent de plus en plus vite, le transport des données ne suit pas la vitesse de réflexion du cerveau ; le cerveau attend souvent des données. C’est de plus en plus évident à l’époque de l’IA : les canaux de données entre la puissance de calcul et la mémoire ne sont pas assez rapides, et le transfert des données ralentit le calcul. C’est le goulot d’étranglement de Von Neumann

C’est un peu comme si le CPU/GPU étaient un cuisinier. La mémoire, c’est l’entrepôt. Le bus/le réseau d’interconnexion, c’est le couloir d’approvisionnement. On a de plus en plus de cuisiniers, des couteaux qui coupent de plus en plus vite, mais l’entrepôt est loin de la cuisine et le couloir est étroit. Résultat : ce n’est pas que le cuisinier ne sait pas cuisiner, c’est qu’il attend les ingrédients.

Dans les serveurs d’IA, aujourd’hui, ce goulot se bloque principalement sur quatre points :

1 : La latence mémoire—combien de temps faut-il attendre avant d’obtenir une donnée ?

2 : Bande passante mémoire : quelle quantité de données peut-on transférer par unité de temps.

3 : La capacité mémoire permet-elle de tout contenir ? Si ce n’est pas possible, il faut recourir à un SSD / disque plus lent.

4：La consommation d’énergie liée au déplacement des données est très élevée. Bien des fois, déplacer une fois des données coûte plus cher que de faire le calcul. L’inférence d’un grand modèle nécessite une lecture continue : poids du modèle, KV cache, entrées et sorties des tokens d’activation. Si la bande passante HBM ne suffit pas, même si la puissance de calcul du GPU est très forte, elle ne sera pas pleinement exploitée.

Alors, comment résoudre ce goulot d’étranglement de Von Neumann ?

Parce qu’on ne peut pas l’éliminer complètement—on ne peut que l’atténuer.

1. Ajouter un cache CPU/GPU : ne pas accéder directement à la mémoire à chaque fois, mais ajouter un cache à plusieurs niveaux.

2. Augmenter la bande passante mémoire. L’idée la plus importante aujourd’hui pour la HBM, qui est le plus souvent le point le plus manquant, consiste à : empiler la mémoire, la placer à côté du GPU, et la relier via une interface ultra-large.

3. Rapprocher le calcul et la mémoire Par exemple : GPU + HBM, CPU + HBM, empilement 3D, encapsulation avancée de type chiplet, extension mémoire CXL. En substance, il s’agit de réduire la distance à parcourir pour les données.

4. Réduire la quantité de données : dans l’IA, on utilise fréquemment la quantification FP8 / INT8 / FP4, la sparsification, la compression du KV cache via la taille de modèles (pruning) ; GQA / MQA / MLA. FlashAttention ne rend pas le canal plus large, il fait surtout en sorte qu’il y ait moins de données à déplacer.

5. Modifier les algorithmes et le logiciel Par exemple : prélecture des données, traitement par lots, fusion d’opérateurs ; modifier la disposition des données pour améliorer le taux de succès du cache ; réduire les lectures/écritures redondantes. Beaucoup de gains de performance ne viennent pas d’un matériel devenu plus fort, mais du logiciel qui fait déplacer les données moins de fois.

6. Interconnexion optique / CPO : lorsque le transport de données entre puces et entre baies devient le goulot, on utilise la lumière.

Après avoir vu tout cela, comprenez-vous enfin que le goulot d’étranglement de Von Neumann n’est pas juste une mauvaise conception isolée, mais la contradiction fondamentale du calcul moderne : le calcul devient de moins en moins cher, tandis que le déplacement des données devient de plus en plus coûteux.

Avant, tout le monde se battait surtout sur la fréquence du CPU. Aujourd’hui, tout le monde se bat sur : le cache HBM, l’encapsulation, la bande passante mémoire, le réseau du datacenter, l’interconnexion optique, le stockage et le calcul en mémoire, la planification logicielle. Donc à l’ère de l’IA, HBM, DRAM, SSD, CPO, modules optiques, OCS deviennent tous importants. En substance, il s’agit tous de résoudre ce goulot.#美股科技股反弹道指创新高