Déploiement d’un LLM avec RAG local Jan, HuggingFace_HUB et PrivateGPT

POC pour obtenir votre IA privée et gratuite avec Jan, HuggingFace et PrivateGPT

Cet article fait suite à mon premier article sur un déploiement analogue mais dont la technologie de base, pour fournir le modèle LLM sur un serveur localhost, c’est à dire un serveur d’inférence local, n’était pas conforme à mes attentes en terme de licence d’utilisation. Il s’agissait en effet de LM Studio dont la licence propriétaire est très restrictive en juin 2024 !

Ici nous allons créer ce POC avec Jan qui est distribué gracieusement sous licence Open Source AGPLv3. https://jan.ai/

Je pars du principe que vous avez suivi mon premier article, à minima pour les explications théoriques et les outils de base nécessaires à la construction de ce POC. Sinon je vous invite grandement à le faire si vous n’avez pas déjà les compétences requises dans ce domaine !

Entrons dans le vif du sujet !

Comme indiqué plus haut, je pars du principe que vous savez gérer les outils de base nécessaires au fonctionnement de PrivateGTP (Homebrew, Python, Pyenv, Poetry…) ou bien que vous avez consulté mon précédent article pour pouvoir les déployer.

Déploiement des composants

Pour l’installation des composants autres que Jan, si vous ne lez avez pas déjà déployer, je vous invite à vous référer à mon article précédent, ce sera la même chose ici.

Si vous avez déjà déployé LM Studio, Private_GPT, HuggingFace_Hub en suivant mon article précédent, alors je vous propose de créer une nouvelle branche de votre Git afin d’y faire vos tests pour Jan. C’est ce que je vais présenter ici :

Création d’une nouvelle branche Git pour PrivateGTP, dédiée à Jan

Placez vous dans votre répertoire /private-gpt

Vérifiez que vous êtes dans votre branche principale “main”, votre terminal doit vous afficher ceci :

private-gpt git:(main)

Sinon, passez dans votre branche main avec la commande :

git checkout main

Créez une nouvelle branche adaptée à ce projet avec Jan, dans mon cas je l’ai appelée “jan-local-embeddings” pour garder la logique de mon article précédent.

git checkout -b jan-local-embeddings

Vous êtes maintenant dans votre nouvelle branche fonctionnelle, votre terminal indique :

private-gpt git:(jan-local-embeddings)

Profitez-en pour mettre à jour votre environnement Poetry si pas fait récemment, à la date de rédaction de cet article, je suis en version 1.8.3 :

poetry self update

Installation de Jan

Site officiel de Jan : https://jan.ai/

Récupérez le fichier correspondant à votre système d’exploitation, dans mon cas c’est la version pour Apple Silicon (processeurs M1, M2, M3 et M4).

Notez que vous pouvez aussi installer Jan avec Homebrew, dans ce cas la commande est la suivante :

brew install --cask jan

Au moment où j’ai réalisé cette documentation nous en étions à la version 0.5.0 sortie début juin.

Par défaut Jan s’installe dans votre répertoire personnel : ~/jan

Si tout est bien installé vous allez déjà pouvoir jouer avec une IA générative locale sur votre mac. Vérifiez que tout fonctionne et téléchargez au moins le modèle LLM Llama 3, histoire de comparer avec le test précédent sous LM Studio. Puis sélectionnez ce modèle avant de lancer votre première conversation.

Pour vérifier que le rôle de serveur local de votre LM Studio fonctionne, après l’avoir démarré via l’icône située en bas à gauche, vous pouvez faire une requête de test pour connaître le modèle chargé. Notez qu’avec Jan, le port d’écoute par défaut est 1337.

Donc pour le test rapide, en ligne de commande, depuis votre terminal iTerm2 ou équivalent, tapez cette commande :

curl http://localhost:1337/v1/models

Vous devriez obtenir une réponse identique à celle-ci dans les logs du serveur Jan (pour le modèle Llama 3) :

Et un message bien plus verbeux dans votre fenêtre de terminal :)

Paramétrage de PrivateGPT

Nous allons maintenant modifier le fichier de configuration adapté à notre POC, à savoir le fichier settings-vllm.yaml, que vous devez trouver à la racine de votre répertoire private-gpt.

Pourquoi celui-ci et pas un autre ? Tout simplement parce qu’il s’agit du fichier le mieux adapté, à date, pour se connecter à Jan. Tout comme pour LM Studio, il manque encore les composants permettant d’exploiter le “text embeddings” pour la vectorisation directement depuis Jan.

Pour éditer le fichier, dans votre terminal, je vous conseille l’utilisation de l’éditeur nano :

server:
  env_name: ${APP_ENV:vllm}

llm:
  mode: openailike
  max_new_tokens: 512
  tokenizer: mistralai/Mistral-7B-Instruct-v0.2
  temperature: 0.1

embedding:
  mode: huggingface
  ingest_mode: simple

huggingface:
  embedding_hf_model_name: BAAI/bge-small-en-v1.5

openai:
  api_base: http://localhost:1337/v1
  api_key: EMPTY
  model: llama3-8b-instruct
  request_timeout: 600.0

Ce sont mes réglages, qui fonctionnent bien pour ce POC, à savoir pour rappel, faire une démonstration de la puissance d’une IA générative associée à un RAG pour perfectionner le modèle de LLM utilisé sur vos datas (vos fichiers à faire digérer par le RAG), le tout en local sur une machine “abordable”. Ici en utilisant des outils pleinement Open Source contrairement à LM Studio, le serveur d’inférence utilisé dans mon précédent article.

Vous pouvez bien entendu changez de modèles de LLM et de text embeddings, tester d’autres valeurs pour la température ou encore le nombre de tokens max que le LLM doit utiliser.

Démarrage de PrivateGPT

C’est le grand moment, si tout s’est bien passé jusqu’ici il n’y a pas de raison que ça ne puisse pas fonctionner, suspens…

Toujours dans votre répertoire private-gpt, en ligne de commande lancez PrivateGPT avec make, notez qu’il vous faudra maintenant toujours utiliser cette série de commande pour démarrer votre instance de PrivateGPT :

export PGPT_PROFILES=vllm 
make run

Et si tout est OK, vous devriez obtenir une série de lignes indiquant le bon démarrage de PrivateGPT et de son interface graphique Gradio UI disponible en localhost sur le port TCP 8001 (sans certificat SSL) :

Si ça ne fonctionne pas je vous invite, encore une fois je sais, à relire et réaliser mon précédent article. Hormis LM Studio et Jan, tous les autres composants et toutes les étapes qui y sont listées sont validées sur macOS Sonoma 14.5 Sillicon (M2).

Utilisation de l’interface de PrivateGPT et test du RAG

Connectez-vous à l’aide de votre navigateur web préféré à l’adresse http://localhost:8001

Vous devriez obtenir ceci :

Comme j’utilise la même instance que pour mes tests précédents avec LM Studio je retrouve ici mes documents déjà ingérés par mon RAG local PrivateGPT. A savoir 3 documents PDF, des notes de cours en français, pour un total d’environ 30 000 mots.

Sur le modèle Llama 3 de META, sans aucun tunning fin, les résultats sont encore plus bluffants qu’avec mon POC précédent sous LM Studio. Cette fois je suis aussi rapide qu’un ChatGPT 4o ; sur ma machine j’obtiens une réponse finalisée en 10 secondes environ soit 6 à 7 fois plus rapide que LM Studio.

Amusez-vous à comparer des requêtes avec le contexte de vos documents (bouton Query Files activé) versus des requêtes sans le contexte (bouton LLM Chat activé).

Pour la suite

Je prévois de vous présenter prochainement une autre maquette avec Ollama (Solution en Open Source sous licence MIT), toujours sur le même dataset, pour comparer avec LM Studio et Jan.