Problème de taux / seuil de similarité

[inactinique]

Les similarités entre les chunks issus de la base de données vectorielle et ceux issus du graph de connaissance ne sont pas équivalent

Gemma2 par exemple considère les chunks RAG comme ayant systématiquement peu de rapports avec le prompt même quand le prompt est directement en relation avec l'article dont est issu le chunk.

[inactinique]

🔧 Plan d'implémentation

Analyse du code :

• Le seuil de similarité actuel est très bas : similarityThreshold: 0.12 dans config.ts
• Ceci est intentionnel pour gérer les requêtes multilingues (FR → EN)
• Les scores du knowledge graph (getSimilarDocuments) utilisent un seuil de 0.7
• Le problème : ces deux échelles ne sont pas comparables

Diagnostic probable :

1. Les embeddings (nomic-embed-text) sont optimisés pour l'anglais
2. Une requête en français vers des documents anglais donne des scores plus faibles
3. Gemma2 ne fait pas la différence entre "score faible mais pertinent" et "vraiment non pertinent"

Solutions possibles :

Option A : Normalisation des scores

Normaliser les scores de similarité sur une échelle 0-1 relative aux résultats trouvés :

// Avant d'envoyer au LLM
const maxSim = Math.max(...results.map(r => r.similarity));
const minSim = Math.min(...results.map(r => r.similarity));
results.forEach(r => {
  r.normalizedSimilarity = (r.similarity - minSim) / (maxSim - minSim);
});

Option B : Ne pas montrer le score au LLM

Supprimer ou minimiser l'affichage du score de similarité dans le prompt envoyé au LLM. Les chunks sont déjà triés par pertinence.

Option C : Seuils adaptatifs par langue

Détecter la langue de la requête et adapter le seuil :

• FR → EN : seuil 0.10
• EN → EN : seuil 0.25
• etc.

Fichiers à modifier :

• src/main/services/chat-service.ts (normalisation avant envoi)
• backend/core/llm/SystemPrompts.ts (si on modifie l'explication des scores)

Question : Quelle approche préférez-vous ? Je recommande l'Option B (ne pas montrer les scores bruts au LLM) comme première étape.

Complexité estimée : Moyenne

---

🤖 Analyse par Claude Code

[inactinique]

✅ Implémentation terminée

Approche choisie : Ne pas montrer les scores de similarité au LLM

Problème résolu :
Les scores de similarité (issus des embeddings vectoriels) ne sont pas fiables pour le LLM, surtout dans un contexte multilingue (requête FR → documents EN). Montrer ces scores au LLM le biaisait à ignorer des sources pertinentes avec des scores "faibles".

Modifications effectuées :

1. OllamaClient.ts :

   • Retiré les pourcentages de pertinence des sources (Pertinence: XX%)
   • Retiré les instructions au LLM sur comment interpréter les scores
   • Le LLM évalue maintenant lui-même la pertinence basé sur le contenu

2. EmbeddedLLMClient.ts :

   • Même modification pour le modèle embarqué Qwen

Avant :

[Source 1 - Pertinence: 23% - Smith (2020), p. 45]
...
Privilégie les sources avec un score de pertinence élevé (>50%)

Après :

[Source 1 - Smith (2020), p. 45]
...
Évalue toi-même la pertinence de chaque extrait

Note : Les sources restent triées par pertinence décroissante côté serveur, mais le LLM n'est plus influencé par les scores numériques.

Branche : fix/issues-corrections

---

🤖 Implémentation par Claude Code