Si vous aviez envie de lancer quelque chose comme ChatGPT et que vous disposez d’un ordinateur assez puissant, par exemple avec une carte vidéo Nvidia RTX, alors vous pouvez exécuter le projet ollama, qui vous permettra d’utiliser l’un des modèles LLM prêts à l’emploi sur votre machine locale, absolument gratuite. ollama offre la possibilité de communiquer avec les modèles LLM, à la manière de ChatGPT également dans la dernière version, la possibilité de lire des images et de formater les données de sortie au format json a été annoncée ;
J’ai également exécuté le projet lui-même sur un MacBook équipé d’un processeur Apple M2 et je sais que les derniers modèles de cartes vidéo AMD sont pris en charge.
Pour installer sur macOS, rendez-vous sur le site ollama :
https://ollama.com/download/mac
Cliquez sur “Télécharger pour macOS”, vous téléchargerez une archive du formulaire ollama-darwin.zip, à l’intérieur de l’archive il y aura Ollama.app qui doit être copié dans “Applications”. Après cela, lancez Ollama.app, le processus d’installation se produira probablement la première fois que vous le lancerez. Après cela, dans le plateau, vous avez vu l’icône ollama, le plateau se trouve en haut à droite à côté de l’horloge.
Après cela, lancez un terminal macOS standard et tapez la commande pour télécharger, installer et exécuter n’importe quel modèle ollama. Une liste des modèles disponibles, leurs descriptions et leurs caractéristiques sont disponibles sur le site ollama :
https://ollama.com/search
Choisissez le modèle avec le moins de paramètres s’il ne rentre pas dans votre carte vidéo au lancement.
Par exemple des commandes pour exécuter le lama3.1:latest model :
ollama run llama3.1:latest
L’installation pour Windows et Linux est généralement similaire, dans un cas, il y aura un programme d’installation ollama et travaillera davantage avec lui via Powershell.
Pour Linux, l’installation se fait à l’aide d’un script, mais je recommande d’utiliser la version de votre gestionnaire de packages spécifique. Sous Linux, ollama peut également être lancé via un terminal bash classique.
Sources
https://www.youtube.com/watch?v=Wjrdr0NU4Sk
https://ollama.com
