🔒 Faire tourner le LLM Mistral en local sur son desktop. 💨 📺

En juin dernier, après une levée de fonds de 105 millions d'euros, Mistral AI a présenté son tout premier modèle de langage avancé nommé Mistral 7B. Ce nom reflète les 7 milliards d'hyperparamètres que le modèle utilise.

Avec ses 7 milliards de paramètres, Mistral 7B ne cherche pas à rivaliser directement avec des modèles plus larges comme le GPT-3.5 ou le 4 d'OpenAI, ou encore le Palm 2 de Google. Il vise plutôt à se positionner parmi les LLM de moindre envergure tels que Llama 2 (13B) ou 1 (34B), et Code Llama de Meta.

Ce qui est impressionnant, c'est de pouvoir faire fonctionner ce modèle sur son ordinateur. Et donc conserver une confidentialité totale sur les données échangées, mais aussi éviter les coûts d'une connexion à une API comme celle de openAI par exemple. Il faut pour cela un mac M1/M2/M3 pour cela ou un PC un peu gonflé...

Nous vous montrons comme faire pas à pas avec cette video. 👇