nVidia Project Digits, ou le "nVidia IA mini"
nVidia vient d'annoncer son Project Digits, une sorte de Mac mini pour l'exécution de LLM et d'autres types d'IA.
Le Project Digits est architecturé autour d'une GPU/NPU intégrée sur l'architecture Blackwell, avec une CPU Grace dotée de 20 cœurs ARM, 128 Go de RAM unifiée DDR5X et jusqu'à 4 To de stockage NVME. Il tourne sous une distribution propriétaire nVidia de GNU/Linux.
Ça n'est pas un micro-ordinateur traditionnel, il est entièrement conçu pour exécuter de gros LLM génératifs, mais aussi tous autres types de modèles.
Il supporte le fp4, permettant de compresser du int8 dans l'espace du int4, accélérant les traitements et diminuant la pression sur la mémoire et sa bande-passante.
Dans l'exécution d'IA, on peut compter sur plus de 100 Go de RAM unifiée pour le ou les modèles, autorisant l'usage de modèles jusqu'à 200 milliards de paramètres (weights) et même 405 milliards en couplant 2 Project Digits!
Les performances théoriques maxi sont de 1000 Tflops, pas de quoi se vanter face aux nVidia RTX 5000, mais celles-ci ne peuvent supporter des modèles aussi grand, même de très loin avec leur RAM limitée à 32Go!
Le Project Digits promet de faire tourner localement des IA LLM très puissantes, et aussi de pouvoir partager sa puissance de traitement entre plusieurs utilisateurs.
Il sera rentable en moins de 2 ans face aux abonnements, pour peu qu'on le partage à une dizaine d'usagers.
Il devrait aussi être possible de faire tourner simultanément plusieurs LLM moyenne d'une douzaine de milliards de paramètres (weights).
Le Projet Digits devrait être proposé à la vente à partir de Mai 2025, pour le prix unitaire de $3000 ht. On devrait être probablement proche de 4000 € ttc en France.
À ce prix-là il n'a strictement aucun concurrent pour l'exécution de gros LLM!
Jusqu'à présent dans les machines grand-public, seuls les Mac M1 Ultra, M2 Ultra, M3 Max et M4 Max étaient capable de faire tourner ces mêmes grosses LLMs avec 128 Go de RAM unifiée ou plus, mais ils sont bien plus chers et théoriquement incroyablement plus lents!