Quel GPU choisir pour faire tourner une intelligence artificielle en local ?

Aperçu		Nom	Prix
1		Sébastien ABRAHAM Mon Épanouissement Personnel 2.0: Faire De L’intelligence Artificielle Mon Coach Personnalisé	10,47 €
2		L'Intelligence Artificielle, Pas Sans Elles ! : Faire De L'Ia Un Levier Pour L'Égalité	5,49 €
3		Vivien Garcia Que Faire De L'Intelligence Artificielle ? : Petite Histoire Critique De La Raison Artificielle	5,89 €

Choisir un GPU pour IA locale dépend d’abord de la mémoire vidéo disponible et de l’écosystème logiciel visé. Pour faire tourner une IA sur PC, la carte doit charger les poids du modèle, son cache de contexte et les calculs d’inférence. Le choix d’une carte graphique pour l’intelligence artificielle repose donc moins sur ses images par seconde en jeu que sur sa VRAM, sa bande passante mémoire et sa compatibilité avec les outils. Les modèles de langage locaux, ou LLM, peuvent fonctionner hors ligne avec Ollama, LM Studio ou llama.cpp. La taille du modèle, son niveau de quantification et la longueur des conversations déterminent ensuite la configuration nécessaire.

Quelle quantité de VRAM faut-il pour les modèles 7B, 13B ou 70B ?

La VRAM stocke les poids, le cache Key-Value et les tenseurs temporaires. Un modèle de 7 milliards de paramètres en précision 16 bits réclamerait environ 14 Go pour ses seuls poids. En quantification 4 bits, il tient généralement entre 4 et 6 Go, selon le format employé.

Un modèle 13B en 4 bits occupe souvent 8 à 10 Go. Une carte de 12 Go peut donc l’exécuter, mais avec une marge réduite pour le cache de contexte. Les modèles de 32B demandent couramment 20 à 24 Go lorsque l’on souhaite conserver une fenêtre de contexte confortable.

Les versions 70B changent d’échelle. En Q4, leurs poids dépassent en général 35 Go, auxquels s’ajoute le cache lié à la longueur des échanges. Une carte de 48 Go les accueille dans de bonnes conditions, alors que deux GPU peuvent répartir les couches du modèle.

La mémoire système permet un déchargement partiel vers le processeur, mais la vitesse s’effondre dès que le bus PCI Express devient un goulot d’étranglement. Mieux vaut prévoir une marge de VRAM plutôt que viser un chargement au mégaoctet près.

Comparer les GPU pour modèles IA selon le budget et la mémoire

Le rapport qualité-prix dépend surtout du volume de mémoire réellement exploitable. Les tarifs ci-dessous sont des repères issus de configurations et de benchmarks fréquemment publiés. Ils varient fortement selon les stocks, le marché de l’occasion et le pays d’achat.

Le repère RTX 4070 Ti pour le rapport qualité-prix a du sens pour une machine dédiée aux assistants locaux compacts. Ses 12 Go limitent toutefois les modèles plus grands et les contextes étendus. Le chiffre de 80 tokens par seconde sur un modèle 7B dépend du moteur, de la quantification, du prompt et de la température définie pour la génération.

La RTX 4080 apporte 16 Go et se montre plus à l’aise avec une quantification Q5, qui préserve davantage la qualité des réponses qu’un format 4 bits agressif. La catégorie haut de gamme se résume souvent à RTX 4090 pour un maximum de vitesse et de VRAM, avec 24 Go adaptés à de nombreux modèles 32B compressés. La RTX 5090 ajoute de la capacité mémoire et double, dans certains tests comparables, le débit observé sur un 7B.

NVIDIA, AMD ou Intel pour exécuter un LLM local ?

NVIDIA conserve l’avantage pratique grâce aux bibliothèques CUDA, aux pilotes et à l’abondance des builds optimisés. PyTorch, llama.cpp avec cuBLAS et de nombreuses interfaces graphiques proposent une installation directe sur cette plateforme. La compatibilité CUDA réduit les problèmes de dépendances et de performances inattendues.

AMD fonctionne avec ROCm sous Linux, mais la liste des cartes et systèmes réellement pris en charge reste plus étroite. Une Radeon RX 7800 XT ou une Radeon RX 9070 XT peut offrir un volume mémoire intéressant, à condition de vérifier la prise en charge du logiciel précis. Sous Windows, l’écosystème est moins homogène pour l’inférence locale.

Intel propose des accélérateurs et des cartes Arc compatibles avec certaines API ouvertes, dont Vulkan et oneAPI. Ces solutions conviennent à l’expérimentation ou à de petits modèles. Elles restent moins documentées pour les LLM exigeants, surtout lorsqu’il faut résoudre un incident de pilote ou compiler un backend.

La quantification et la bande passante mémoire déterminent la vitesse

La quantification réduit la précision numérique des poids afin de réduire leur empreinte mémoire. Les formats GGUF Q4, Q5 ou Q6 sont courants avec llama.cpp. Un modèle bien quantifié perd peu en qualité sur les tâches générales, tandis que sa taille peut être divisée par trois ou quatre par rapport au format FP16.

La vitesse d’inférence dépend ensuite largement de la bande passante mémoire. La génération d’un token lit une grande partie des poids du modèle, ce qui favorise les cartes dotées d’un bus mémoire large. Les cœurs Tensor accélèrent certains calculs, mais ils ne compensent pas une VRAM insuffisante.

Un 7B produit déjà des réponses fluides à partir de 20 à 30 tokens par seconde. Au-delà de 60 tokens par seconde, le gain devient surtout utile pour les requêtes longues, les agents exécutant plusieurs appels ou les traitements par lots. Un boîtier mal ventilé peut devenir un volcan thermique après plusieurs heures d’inférence continue.

Avant d’ajouter une carte imposante ou une seconde unité, il faut aussi vérifier l’espace disponible, les connecteurs d’alimentation et les lignes PCI Express. Les étapes pour installer une carte graphique dans un PC évitent les erreurs de branchement et de compatibilité mécanique.

Une configuration multi-GPU est-elle utile pour les grands modèles ?

La configuration multi-GPU devient pertinente lorsque le modèle dépasse la VRAM d’une seule carte. Les moteurs capables de découper les couches, comme llama.cpp, peuvent répartir les poids entre deux unités. La mémoire ne fusionne pas automatiquement dans tous les logiciels, ce qui impose de valider le backend avant l’achat.

Le repère de deux RTX 4090 pour les modèles 70B correspond à une enveloppe d’environ 3 300 € dans les comparaisons fournies. Cette solution apporte 48 Go cumulés, mais exige un boîtier spacieux, une carte mère adaptée et une alimentation de 1 200 W ou plus. Une RTX 6000 Ada de 48 Go simplifie l’installation, pour un coût nettement supérieur.

Pour les usages domestiques, une seule carte de 24 ou 32 Go reste souvent plus cohérente. Elle consomme moins, chauffe moins et évite les écarts de débit entre les liens PCI Express. Le multi-GPU se justifie surtout pour les modèles 70B, les contextes très longs ou le fine-tuning à faible rang.

Quels autres composants faut-il prévoir pour une IA locale ?

La mémoire vive doit couvrir le système, le modèle éventuellement déporté et les fichiers temporaires. 32 Go de RAM constituent un plancher réaliste pour les modèles compacts. Avec 64 Go, le chargement CPU partiel et les gros fichiers quantifiés deviennent plus confortables.

Un SSD NVMe de 1 To réduit les temps de chargement et laisse de l’espace aux différentes versions de modèles. Certains fichiers GGUF de 70B dépassent 40 Go. Une alimentation de qualité doit fournir les connecteurs requis et conserver une marge de puissance sous charge prolongée.

Le processeur influence le prétraitement des requêtes, la gestion des outils et l’inférence lorsque des couches basculent hors du GPU. Il ne remplace toutefois pas une carte graphique dotée de VRAM. Une machine équilibrée associe une carte adaptée, 32 à 64 Go de RAM, un SSD NVMe et un refroidissement correctement dimensionné.

Questions fréquentes sur le GPU pour IA locale

Combien de VRAM faut-il pour faire tourner un LLM local ?

12 Go suffisent pour un modèle 7B ou 13B en 4 bits, avec un contexte modéré. 24 Go donnent accès à des modèles 32B quantifiés dans de meilleures conditions. Pour un 70B, 48 Go constituent un seuil plus réaliste.

Une carte graphique de jeu peut-elle servir à l’intelligence artificielle ?

Oui, une carte de jeu récente peut exécuter des modèles locaux si son écosystème logiciel est pris en charge. La quantité de VRAM compte davantage que les performances de rastérisation. Les cartes grand public dotées de 16 à 32 Go sont donc recherchées pour l’inférence.

Peut-on faire tourner une IA locale sans carte NVIDIA ?

Oui, AMD et Intel permettent l’inférence avec des backends comme Vulkan, ROCm ou oneAPI. L’installation demande souvent plus de vérifications sur les pilotes et les versions de bibliothèques. Les performances varient aussi davantage selon le moteur retenu.

La RTX 5090 est-elle nécessaire pour utiliser une IA sur PC ?

Non, elle vise les utilisateurs qui recherchent 32 Go de VRAM et un débit très élevé. Une carte de 12 ou 16 Go est déjà suffisante pour des assistants de code, de rédaction ou de synthèse basés sur un 7B ou un 13B quantifié. Le budget doit suivre la taille réelle des modèles utilisés.

Le bon GPU est celui qui loge le modèle visé avec une marge pour le contexte et conserve un débit adapté à l’usage. Une carte de 16 Go répond à la majorité des besoins personnels, tandis que 24 Go ou plus ouvrent l’accès à des modèles plus denses et plus souples.

Aperçu		Nom	Prix
1		Pierre-Yves Oudeyer C'Est (Pas) Moi, C'Est L'Ia : Pour Apprivoiser L'Intelligence Artificielle Et En Faire Ton Alliée	8,49 €
2		Nicolas Hazard Qu'Est-Ce Qu'On Va Faire De Toi ? : 21 Métiers Du Futur À L'Ère Des Robots Et De L'Intelligence Artificielle	3,89 €
3		Carte d'Aspen [Local Trails] National Geographic	13,50 €