Kodaizen

Développement web & mobile

Ollama : un outil pour utiliser des LLM localement

Un modèle de langage large (LLM) est une technologie d’apprentissage automatique spécialisée dans la compréhension et la génération de langage naturel. Vous avez probablement déjà testé le plus connu : ChatGPT.
Mais il n’y une multitude d’autres modèles comme par exemple le Mistral, le modèle de l’entreprise française Mistral AI.

Ce modèle est Open Source et peut fonctionner localement sur sa machine.

Faire tourner ces modèles en local présente des avantages par rapport aux versions en ligne, comme ChatGPT :

  • Confidentialité et Sécurité : En gardant les modèles localement, vous avez un contrôle total sur les données sensibles. Cela renforce la confidentialité et la sécurité, éliminant les risques de fuite de donnée.
  • Utilisation Efficace des Ressources : L’exécution locale minimise la pression sur les serveurs externes, ce qui permet une utilisation plus efficace des ressources de votre machine. Vous pouvez gérer la charge sans dépendre des serveurs distants.
  • Développement Hors Ligne : Les développements peuvent parfois se dérouler dans des environnements sans accès Internet fiable. Faire tourner un llm localement permet de continuer à travailler sans interruption, même dans des conditions hors ligne.

Pour faire tourner un LLM localement, il existe plusieurs outils. Ollama se démarque par sa simplicité d’utilisation.

Ollama se positionne comme un outil simplifié, conçu pour exécuter localement des LLMs open-source tels que Mistral et Llama 2.

Supportant une variété de LLMs, dont LLaMA-2, LLaMA non censuré, CodeLLaMA, Falcon, Mistral, Vicuna model, WizardCoder et Wizard non censuré, Ollama est assez flexible pour s’adapter à vos besoins spécifiques.

Installation:

Les instructions pour installer Ollama se trouvent sur cette page: https://ollama.ai/download

Lancement du modèle Mistral depuis un terminal:

ollama run mistral

Ollama propose également une API:

curl http://localhost:11434/api/generate -d '{
  "model": "mistral",
  "prompt":"Why is the sky blue?"
}'

On peut par exemple imaginer utiliser cette API pour effectuer de la modération de contenu en communiquant avec une application en ligne via son API .