Commit 0fb19880 authored by Delvallez Delvallez's avatar Delvallez Delvallez

SOTA V0.9

parent fd1ee5ce
......@@ -62,6 +62,22 @@
year = {2024},
}
@inproceedings{wang_minilmv2_2021,
address = {Online},
title = {{MiniLMv2}: {Multi}-{Head} {Self}-{Attention} {Relation} {Distillation} for {Compressing} {Pretrained} {Transformers}},
shorttitle = {{MiniLMv2}},
url = {https://aclanthology.org/2021.findings-acl.188/},
doi = {10.18653/v1/2021.findings-acl.188},
urldate = {2026-06-02},
booktitle = {Findings of the {Association} for {Computational} {Linguistics}: {ACL}-{IJCNLP} 2021},
publisher = {Association for Computational Linguistics},
author = {Wang, Wenhui and Bao, Hangbo and Huang, Shaohan and Dong, Li and Wei, Furu},
editor = {Zong, Chengqing and Xia, Fei and Li, Wenjie and Navigli, Roberto},
month = aug,
year = {2021},
pages = {2140--2151},
}
@article{somvanshi_bridging_2026,
title = {Bridging the {Black} {Box}: {A} {Survey} on {Mechanistic} {Interpretability} in {AI}},
volume = {58},
......
......@@ -91,7 +91,7 @@ de [Fan+23]
- L'extracteur de RAG4HN est mE5 [Wang+25b] (version multilingue de E5 [Whang+25a])
\end{verbatim}
Dans la suite, nous utilisons une version simplifiée de l'architecture RAG4HistoricalNewspaper conçue par \cite{tran_retrieval_2024}. Cette architecture est conçue pour faciliter l'exploration d'archives de journaux historiques. Comme illustré dans le Figure~\ref{fig:RAG4HN}, un premier extracteur récupère les articles pertinents au regard de leur titre. Ces informations sont utilisées pour orienter l'extraction des extraits articles. Dans le cas où aucun titre ou document ne sont extraits, des ressources sont récupérées via une recherche Web. La première extraction peut être vue comme une amélioration de la requête pour l'extraction des extraits d'articles. Les deux extracteurs utilisent le modèle E5 multilingue de \cite{wang_multilingual_2024} et ChromaDB pour la gestion des données. Après l'extraction, les articles obtenus sont reclassés. Le score utilisé est issu d'une combinaison linéaire entre le score de Cohere et le TF-IDF des titres concaténés avec les étiquettes des entités nommées qu'ils contiennent. Seuls les trois meilleurs documents au dessus d'un certain seuil sont conservés. Ce reclassement est une technique d'amélioration des ressources extraites. Pour finir, les documents et la question initiale sont fournis à travers une prompt template à LLaMa3 \cite{touvron_llama_2023} qui est utilisé comme générateur.
Dans la suite, nous utilisons une version simplifiée de l'architecture RAG4HistoricalNewspaper conçue par \cite{tran_retrieval_2024}. Cette architecture est conçue pour faciliter l'exploration d'archives de journaux historiques. Comme illustré dans le Figure~\ref{fig:RAG4HN}, un premier extracteur récupère les articles pertinents au regard de leur titre. Ces informations sont utilisées pour orienter l'extraction des extraits articles. Dans le cas où aucun titre ou document ne sont extraits, des ressources sont récupérées via une recherche Web. La première extraction peut être vue comme une amélioration de la requête pour l'extraction des extraits d'articles. Les deux extracteurs utilisent le modèle mE5-small de \cite{wang_multilingual_2024} et ChromaDB pour la gestion des données. Après l'extraction, les articles obtenus sont reclassés. Le score utilisé est issu d'une combinaison linéaire entre le score de Cohere et le TF-IDF des titres concaténés avec les étiquettes des entités nommées qu'ils contiennent. Seuls les trois meilleurs documents au dessus d'un certain seuil sont conservés. Ce reclassement est une technique d'amélioration des ressources extraites. Pour finir, les documents et la question initiale sont fournis à travers une prompt template à LLaMa3 \cite{touvron_llama_2023} qui est utilisé comme générateur.
\begin{figure}
\includegraphics[width=\textwidth]{images/RAGHN.drawio.png}
......@@ -99,6 +99,8 @@ de [Fan+23]
\label{fig:RAG4HN}
\end{figure}
L'extracteur utilisé dans RAG4HistoricalNewspapers utilise l'encodeur mE5-small. La famille de modèles E5 proposée par \cite{wang_text_2022} d'embedding de textes. Leur entraînement est fait par contrastive learning à partir du dataset CCPairs conçu à l'occasion pour les versions anglophones et un échantillon de datasets multilingues pour les versions multilingues \cite{wang_multilingual_2024}.
\section{Interprétabilité pour les systèmes de RAG}
Les systèmes RAG et RA-LLM comme une grande partie des modèles profonds actuels sont opaques. Il est difficile voire impossible de suivre leur raisonnement lors de leur utilisation. Dans certains contextes, cette opacité est problématique car les décisions prises peuvent avoir des conséquences importantes. Cette problématique illustre le besoin d'une Intelligence artificielle de confiance.
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment