squalyl (./847) :
Tu as tout a fait raison!
profites de cette exclamation pour pour tester holy ! une pause fraîcheur s'impose
la pub sera inclue à vie dans des thèses haha c'est gg wp :- D
vous avez vu passer le rachat de
par amd ?
leurs puces foutent les modèles en hard ; pour l'instant c'est du llama 8B en 3bit et ça tapent du 15k tokens/s
on y est pas encore mais si l'avenir c'est la ram => le contexte seulement avec le modèle en dur dans le cpu ou sur un socket dédié, nvidia ne vaudra plus de l'or et la ram reprendra un prix accessible ... tout en démocratisant à mort et forçant à baisser drastiquement le coût des abonnements des modèles géants.