mlX: un framework IA Open-Source d'Apple
Apple vient de dévoiler un framework IA en Open-Source a destination principale des Mac ARM, mais pouvant potentiellement fonctionner sur d'autres plateformes en version CPU, les back-end GPU étant écrits pour Metal.
Vous pouvez cloner les repos ici: https://github.com/ml-explore/
Ses API sont similaires à celles de NumPy ou PyTorch coté Python et aussi une API proche pour du C++, transformations de fonctions composable, évaluation à la demande (Lazy), construction de graphes dynamiques, support CPU et GPU via Metal, et évidemment la mémoire unifiée.
Le but est de proposer un framework IA optimisé pour les Mac, sachant exploiter leurs GPU via Metal, évitant la copie mémoire qui tue les performances sur de gros modèles, pour permettre de faire tourner des LLM générateurs de texte comme LLaMA (similaire à ChatGPT), de générer des images avec Stable Diffusion, de la reconnaissance de parole avec Whisper, etc.
La cible ce sont les étudiants, chercheurs et développeurs dans le domaine des IA pour exploiter leurs Mac au maximum, et il est intéressant de voir Apple sortir ses créations en Open-Source.