- Le problème de la confiance pour les systèmes de RAG
Travaux réalisés
- Construction d'un dataset
- Adaptation du modèle RAG4HN
- Cartographie d'un modèle d'extraction d'information
- Méthodologie
- Résultats et Analyse
- Perspectives ?
- Conclusion et Perspectives
# Détail des sous parties
## Environnement du stage
- Stage à lieu au LIFO, dans l'équipe CA, encadré par ...
- Stage de fin de master d'informatique Minerve GPEx
- Challenge@EvalLLM comme cas d'usage, participation envisagée mais timing pas OK
- différents événements et sorties organisées pendant le stage
- TransIA : Tours, Présentations pluridisciplinaires sur l'intégration de l'IA (sous toutes ses formes) dans la société
- TAL-I : journée du GDR TaL-I à Paris (Jussieu) sur les travaux portant sur l'interprétabilité et l'explicabilité dans le contexte des tâches de traitement de la langue naturelle
- 2nd Symposium on Mental Health and AI : deux jours de conférence (suivi en pointillé en distanciel) présentation des travaux à la croisée entre santé mentale et intelligence artificielle (impact, outils de détection, de prise en charge)
- Place du Numérique : événement public de sensibilisation et de communication sur le Numérique organisé place du Martoi à Orléans (Des événements similaires organisés dans chaque département de la région CVL) J'ai participé à la tenue du stand de l'université, été ambassadrice de l'événement et ai joué le rôle d'un témoin dan sle tribunal des génération futures portant sur "L'IA nous contrôle-t-elle?
- Présentation aux journées d'équipe CA
## Outils utilisés au cours du stage
- Développement de l'architecture et réalisation des expérimentations en python dans 3 formats (script, implémentation d'un CLI, notebook)
- Principales librairies python utilisées : PyTorch, TransformerLens, HuggingFace, PyMuPDF4LLM,...
- Utilisation de plusieurs git pour assurer le suivi des versions des outils développé lors du stage
- Pour l'execution de tâches demandantes en charge de calcul (Génération de la base de représentation des données, execution des différentes architectures explorées et/ou implémentées) : utilisation des grappes de calcul accessibles aux chercheurs du LIFO CaSciModOT et Mirev
- utilisation d'outils à base d'IA très modérée et pour les tâches de l'ordre de reformulation (ChatGPT), traduction (DeepL), exploration de la littérature (LitMaps, Perplexity), rédaction de petites fonctions et outils python (ChatGPT)
## Introduction du sujet du stage
TODO
## Générateurs et Modèles de Langue Augmentés par l'Extraction (RAG et RALLM)
-**Besoin et définition**
- Les modèles profonds apprennent sur les données [ref à récupérer de Lewis+20]
- Le problème des modèles génératifs : hallucination et connaissance bornée dans le temps [ref à récupérer de Lewis+20]
- Il y a quelques années, on a cherché à associer un base de connaissances à ces modèles [Lewis+20](= définition de RAG)
- Parmis ces approches, on retrouve le cas des modèles de langue : RALLM
-**L'architecture RAG** Description de l'archi de façon plus avancée
- Ces modèles peuvent être utilisés pour différents types de tâches (voir tableau csv sur RAGRights)
- Avec le temps, l'idée de [Lewis+20] a été adaptée et augmentée de composants supplémentaires
-[Fan+23] propose la structure générique ... (exploiter slides Séminaire CA)
-**RAG amélioré**??? Au delà de l'innovation de l'architecture, on retrouve des innovations sur plusieurs caratéristiques de ces modèles : [R24/04][R16/02]
- Multimodal [Liu+25]
- Chain of Thought [Xu+24]
- Gestion BDD dynamique [ref à trouver dans R24/05]
- BDD sparse et interprétable [Prouteau]???
-**Modèle et Architecture utilisées durant le stage** Dans le cadre du stage,
- travailler sur une adaptation du modèle RAG4HN. [Tran+25]
- _description de l'architecture RAG4HN_ + parallèle avec l'architecture générique de [Fan+23]
- L'extracteur de RAG4HN est mE5 [Wang+25b](version multilingue de E5 [Whang+25a])
## Construire des systèmes RAG de confiance
-**Trustworthy AI** La définition d'IA de confiance (Trustworthy AI) tend à varier en fonction des situation et des utilisations de cette expression. Danss le contexte du Machine Learning, on désigne l'IA de confiance comme l'ensembles des systèmes d'IA dans lesquels il est légitime (dans le sens humainement entendable) d'avoir confiance. Le NIST (National Institute of Standards and Technology (US)) propose différents axes ou composantes de l'IA de confiance : ...
-**Explicabilité dans le contexte du RAG** Dans la suite, nous nous concentrons sur l'explicabilité dans le contexte du RAG. [Ni+25] distingue deux temps pour l'explicabilité : Extraction et génération ... (prévoir la question de l'association/intégration des deux)
- Métrique ??
-**Interprétabilité Mécaniste**[Somvanshi+25]
- Interprétabilité vs Explicabilité
- Définition d'Interprétabilité Mécaniste et approches (Manual Circuit Tracing, *Intervention-based technique*, Representation analysis, Toy Model and synthetic tasks)
-**Activation patching**
- Définition de activation patching [Chen+24][R30/04][Séminaire CA]
- MechIR [Parry+25]
- Perturbation
- Données produites, visualisation et interprétation des graphiques
