faire tourner des monstres de 250 milliards de paramètres dans votre salon sans hypothéquer votre maison. Le concept tient en un format simple : une carte d'extension dédiée (en PCIe ou en USB haut débit) qui accueille des cartouches de modèles interchangeables.
Architecture matérielle de l'accélérateur local (type MoE 250B+)
1. La Carte Hôte (Socle de Calcul et Gestion du Contexte)
La carte hôte centralise la logique de contrôle, l'alimentation et la mémoire volatile de travail :
- Interface physique : Utilisation d'un socket serveur AMD SP6 (LGA4844) pour garantir l'intégrité du signal et la densité de connexions nécessaires au débit de lecture brut (~1,5 To/s).
- ASIC Hôte Hybride : Architecture combinant un chemin de données câblé en dur (contrôleurs mémoire, PHY du bus SP6, unités de calcul matriciel) pour maintenir le TDP entre 25W et 40W, couplé à un sous-système RISC-V embarqué pour le microcode (ordonnancement, routage des experts MoE, mise à jour des politiques de calcul).
- Mémoire KV Cache (LPDDR5X/6 soudée) : Puces soudées en 8 canaux dédiés (configurations 32 Go ou 64 Go) éliminant les pertes d'intégrité de signal et les surcoûts thermiques des connecteurs amovibles.
- Compression Dynamique du Cache KV : Politique adaptative gérée par le firmware ou paramétrable par l'utilisateur. Le système ajuste la quantification des tenseurs KV à la volée (de 8-bit nominal à 4-bit ou 2-bit) et applique un élagage dynamique (*token eviction*) selon la saturation de la RAM et la longueur du contexte (1 à 2 millions de tokens), évitant toute erreur de mémoire saturée (*OOM*).
2. Gamme des Cartouches de Modèles (De la Monocouche Économique au Multicouche 3D)
L'électronique et les matrices de stockage s'inscrivent dans l'emprise physique stricte du socket SP6 (58,5 × 75,4 mm, soit ~4 410 mm²), déclinées en deux philosophies de fabrication sur nœuds matures (14/28 nm) :
- Cartouche Monocouche (Version Entrée de Gamme / Eco — 30 $ à 50 $) : Structure à une seule couche de silicium plat (*single die / planar*) en surface offrant ~1,2 To à 3 To de Mask-ROM brute, idéal pour les modèles standards ou quantifiés sans surcoût de packaging complexe.
- Cartouche Multicouche (Version Haute Capacité / Pro 3D — 60 $ à 90 $) : Empilement vertical de 4 à 8 couches de dies amincis (*3D die stacking* via micro-bumps ou wire bonding) dans la tolérance de hauteur du boîtier, poussant la capacité brute à 8 To à 16 To pour les mastodontes non compressés ou contextes statiques embarqués.
- Version Passive (Eco) : Lecture directe par l'ASIC hôte à ~1,5 To/s | Ingestion à ~1 500 tokens/s | Génération à ~20 tokens/s.
- Version Active (Pro, avec ASIC secondaire embarqué sur la cartouche) : Pipeline parallelism matériel | Ingestion à +15 000 tokens/s | Génération à 40+ tokens/s.
---
Analyse Comparative des Architectures d'Inférence
Cette Solution (Host SP6 + Mask-ROM Mono/3D)
- Stockage des poids : Physique et immuable sur cartouche Mask-ROM (Monocouche ou 3D Stacking).
- Bande passante des poids : ~1,5 To/s via le bus SP6 (3000+ pins).
- Gestion du KV Cache : LPDDR5X/6 dédiée sur 8 canaux avec compression adaptative.
- Vitesse de génération (250B) : ~20 t/s (Eco) à 40+ t/s (Pro).
- Consommation (TDP) : 25W – 40W.
- Investissement Matériel : ~199 $ pour la carte hôte unique.
- Coût de changement de modèle : 30 $ à 90 $ par cartouche.
GPU Data Center (Nvidia H100/H200)
- Stockage des poids : Volatile en VRAM (HBM3e / GDDR7).
- Bande passante des poids : 3 à 5 To/s (HBM haut de gamme).
- Gestion du KV Cache : VRAM dédiée du GPU.
- Vitesse de génération (250B) : ~30 - 60 t/s en cluster multi-GPU.
- Consommation (TDP) : 700W+ par carte.
- Investissement Matériel : 30 000 $ à 40 000 $.
- Coût de changement de modèle : Infini (nécessite téléchargement et réallocation VRAM).
Carte Graphique Gamer Normale (ex: RTX 5090 à ~2 500 € - 3 000 €)
- Cas favorable (petit modèle / modèle hautement quantifié) : Si le modèle pèse moins de 25 Go (grâce à une quantification poussée de type ternary ou Q1.5), il tient entièrement dans les 32 Go de VRAM. La vitesse de génération est alors très rapide (15 à 30 t/s), mais au prix d'une perte sensible sur la qualité et les capacités de raisonnement du modèle.
- Cas défavorable (mastodonte 250B natif) : Si l'on tente d'y faire entrer un modèle massif, la VRAM sature instantanément. La vitesse s'effondre totalement (< 2 à 5 t/s) car le système doit swapper en permanence via le bus PCIe.
- Consommation (TDP) : 450W à 600W+.
- Investissement Matériel : ~2 500 € à 3 000 €.
- Coût de changement de modèle : Contraint par la limite rigide de la VRAM, nécessitant de retélécharger et réallouer à chaque changement de fichier.
Apple Silicon (Mac Studio Ultra)
- Stockage des poids : Volatile en mémoire unifiée partagée.
- Bande passante des poids : 400 à 800 Go/s.
- Gestion du KV Cache : Mémoire unifiée partagée avec les poids.
- Vitesse de génération (250B) : ~10 - 15 t/s sur un modèle 250B lourdement quantifié.
- Consommation (TDP) : 50W – 120W.
- Investissement Matériel : 2 500 $ à 6 000 $.
- Coût de changement de modèle : Limité par la capacité totale de la mémoire unifiée.
Groq LPU (SRAM Engine)
- Stockage des poids : Volatile en SRAM massive directement sur puce.
- Bande passante des poids : Débit interne astronomique propres à la SRAM.
- Gestion du KV Cache : SRAM interne / DRAM externe selon topologie.
- Vitesse de génération (250B) : ~500 - 1000+ t/s (mais limité aux architectures de taille compatibles SRAM).
- Consommation (TDP) : 200W+ par carte.
- Investissement Matériel : Non disponible au grand public (infrastructure cluster).
- Coût de changement de modèle : Complexe (rechargement global de la grille SRAM).
melbou (./855) :
Si les poids sont stockés en ROM, il faut beaucoup de RAM pour l'inférence?
la ram du contexte (KV cache) doit être relu en intégralité entre deux tokens
il y a des manières hybrides (manba/ssm qui foutent des quantifications différenciées suivant les tokens) ou de la compression comme deepseek le fait ; mais sans ça sous 32/64 c'est chaud visiblement
Godzil (./854) :
Tu as besoin de ram ce n’est pas possible autrement. Le modèle prends de la place en mémoire mais tu as aussi besoin de faire tous les calculs et il y a pas mal de besoin mémoire juste sur ce point.
QUE pour le contexte, le think va aussi dans le contexte ; (mais je trouve que c'est un soucis actuel il faudrait que le contexte soit repris/éclairci/nettoyé en live, la c'est n'imp)