- on s'intéresse aux perturbations de type replace pour travailler sur l'impact des mots importants
(car liés au vocabulaire de spécialité) en les replaçant
- La conception de perturbations necessite de bien choisir les mots à remplacer (traité dans la sous partie 1) et les mots remplaçants (traité dans la sous partie 2).
- La sous partie 3 propose un nouveau type de perturbations
\end{verbatim}
\subsection{Identification des mots cibles}
\subsection{Identification des mots cibles}
\md{Peut être à placer en 3e sous section (après niveau et full\_replace)}
\begin{verbatim}
\begin{verbatim}
- Le choix des remplaçant est fait par jugement humain
- Le choix des remplaçant est fait par jugement humain
- Le choix des mots à remplacer se fait à l'aide de
- Le choix des mots à remplacer se fait à l'aide de
...
@@ -16,8 +21,6 @@
...
@@ -16,8 +21,6 @@
\subsection{Perturbation replace par niveau}
\subsection{Perturbation replace par niveau}
\begin{verbatim}
\begin{verbatim}
- on s'intéresse aux perturbations de type replace pour travailler sur l'impact des mots importants
(car liés au vocabulaire de spécialité) en les replaçant
- On propose plusieurs candidats au remplacement classé en 4 niveaux ...
- On propose plusieurs candidats au remplacement classé en 4 niveaux ...
- Rq : il faudrait fonder l'estimation du niveau des perturbations
- Rq : il faudrait fonder l'estimation du niveau des perturbations
\end{verbatim}
\end{verbatim}
...
@@ -25,35 +28,56 @@
...
@@ -25,35 +28,56 @@
\subsection{Perturbations de type full\_replace}
\subsection{Perturbations de type full\_replace}
\begin{verbatim}
\begin{verbatim}
- pour augmenter le nombre de document perturbé et limiter l'impact d'un mot seulement dans la
- pour augmenter le nombre de document perturbé et limiter l'impact d'un mot seulement dans la
cartographie, on propose un nouveau type de perturbation : full_replace
cartographie (avoir une apperçu plus global), on propose un nouveau type de perturbation : full_replace
- on étend les niveaux à ce nouveau type de perturbations
- on étend les niveaux à ce nouveau type de perturbations
\end{verbatim}
\end{verbatim}
\section{Estimation de la pertinence d'une perturbation}
\section{Estimation de la pertinence d'une perturbation}
\begin{verbatim}
\begin{verbatim}
SI PAS DÉJÀ PRÉSENTÉ DANS PARTIE DE L'ÉTAT DE L'ART SUR MECHIR
SI PAS DÉJÀ PRÉSENTÉ DANS PARTIE DE L'ÉTAT DE L'ART SUR MECHIR
- On visualise des scores de similarité entre questoin et document
- On visualise des scores de similarité entre question et document
- graphique d'exemple + texte d'accompagnement à la lecture
- graphique d'exemple + texte d'accompagnement à la lecture
- Un perturbation peut être considérée comme pertinente lorsqu'elle modifie significativement
- Un perturbation peut être considérée comme pertinente lorsqu'elle modifie significativement
(jugement humain) la distribution des cores pour l'échantillon du dataset étudié
(jugement humain) la distribution des cores pour l'échantillon du dataset étudié
\end{verbatim}
- on propose d'autres visualisations et confrontation de la distribution des scores entre perturbation :
- observation de la distribution des scores pour les documents pertinents et non-pertinents (sont-ils très séparés initialement?, Quel impact de la perturbation sur la distribution des documents pertinents/ non-pertinents?, La tendance est-elle systématique pour toutes les perturbations de même type? de même niveau?, pour un même mot cible?)
- observation de la distribution des scores d'un niveau de perturbation à l'autre pour un mot cible (quel comportement d'un niveau à l'autre? comportement commun à plusieurs mots?)
\end{verbatim}
\subsection{Interprétation des résultats de l'Activation Patching}
\section{Interprétation des résultats de l'Activation Patching}
\begin{verbatim}
Un fois la ou les perturbations choisies, on peut appliquer l'activation patching à l'aide de l'outil MechIR. ON propose dans cette partie des visualisation des résultats supplémentaires pour faciliter et/ou éclairer l'analyse.
\end{verbatim}
\subsection{Visualistaion des résultts proposée par MechIR}
\begin{verbatim}
\begin{verbatim}
SI PAS DÉJÀ FAITE DANS SOTA sur MechIR
SI PAS DÉJÀ FAITE DANS SOTA sur MechIR
- graphique + accompagnement à la lecture (on obtient une sensibilité de chaque
- graphique + accompagnement à la lecture (on obtient une sensibilité de chaque
noeuds pour chaque paire (Question, document), on visualise la moyenne)
noeuds pour chaque paire (Question, document), on visualise la moyenne)
\end{verbatim}
\subsection{Autres visualisations de la sensibilité du modèle à la perturbation}
\md{à placer : confronter les matrices d'une perturbation à l'autre}
\begin{verbatim}
- étant donné la construction de ces valeurs, on s'intéresse aussi aux écarts-types
- étant donné la construction de ces valeurs, on s'intéresse aussi aux écarts-types
- pour faciliter la visualisation et la comparaison en cas de sensibilité variable
- pour faciliter la visualisation et la comparaison en cas de sensibilité variable
d'une perturbation à l'autre on propose de rescaler les poids des matrices
d'une perturbation à l'autre on propose de rescaler les poids des matrices
\end{verbatim}
\subsection{Critère d'identification des noeuds sensibles}
\begin{verbatim}
- L'identification des noeuds sensibles doit reposer sur un critère commun. On propose
- L'identification des noeuds sensibles doit reposer sur un critère commun. On propose
un critère de sensibilité ...
un critère de sensibilité ...
- Visualisation des noeuds sensibles commun à plusieurs perturbation (matrice des noeuds sensibles)
\end{verbatim}
\subsection{Matrice des noeuds sensibles}
\begin{verbatim}
- Pour faciliter le besoin de mise en perspective des matrice de snesibilité d'un perturbation à l'autres ...
- Visualisation des noeuds sensibles **commun à plusieurs perturbation** (matrice des noeuds sensibles)
-> croiser les différentes caractéristiques (mot remplacé, type, niveau)
-> croiser les différentes caractéristiques (mot remplacé, type, niveau)
-> critique des noeuds sensibles de la dernière couche
-> critique des noeuds sensibles de la dernière couche
Le graphique de gauche associe à chaque perturbation (dans l'ordre cité) la différence entre les scores de similarité à la question de la question perturbée et la question paddée pour la perturbation. Les points en rouge correspondnet à aux différences négatives et les points en vert aux différences positives. On attend des scores positifs car perturber un objet (en l'occurrence une question) réduit sa similarité à lui même. Les pints sont séparés pour identifier les pertubations de type replace de diférent niveau (1 à 4 de gauche à droite). Le cinquième (dernier) groupe correspond aux pertuabtions de type full\_replace (niveau 1 à 4 de gauche à droite)\\
Le graphique de gauche associe à chaque perturbation (dans l'ordre cité) la différence entre les scores de similarité à la question de la question perturbée et la question paddée pour la perturbation. Les points en rouge correspondnet à aux différences négatives et les points en vert aux différences positives. On attend des scores positifs car perturber un objet (en l'occurrence une question) réduit sa similarité à lui même. Les pints sont séparés pour identifier les pertubations de type replace de diférent niveau (1 à 4 de gauche à droite). Le cinquième (dernier) groupe correspond aux pertuabtions de type full\_replace (niveau 1 à 4 de gauche à droite)\\
Le grphique de droite représente la distribution de ces différences.
Le graphique de droite représente la distribution de ces différences.
\paragraph{Analyse des graphiques}
\paragraph{Analyse des graphiques}
Pour le premier graphique, on constate une augmentation de da différence pour les niveau les plus élevés concernant les perturbations de type replace. Les perturbation de type full\_replace ont un effet de perturbation moins important que le padding induit par le modèle. On peut lier ce phénomène au fait que les modèles récents sont capables d'associer les expressions de même sens et de faire abstraction du contenu incohérent au sein d'un texte.
Pour le premier graphique, on constate une augmentation de da différence pour les niveau les plus élevés concernant les perturbations de type replace. Les perturbation de type full\_replace ont un effet de perturbation moins important que le padding induit par le modèle. On peut lier ce phénomène au fait que les modèles récents sont capables d'associer les expressions de même sens et de faire abstraction du contenu incohérent au sein d'un texte.
Ces graphiques représentent la répartition des scores de similarité entre la question et chaque document pour la perturbation \texttt{Full-replace Synonyme 1}. En rouge sont représentées les documents désignés pertinent vis à vis de la question, en bleu les documents non pertinent et en noire l'ensemble des documents. Le graphique de gauche correspond au cas des documents paddés et les graphiques de droite correspond aux documents perturbés.
Ces graphiques représentent la répartition des scores de similarité entre la question et chaque document pour la perturbation \texttt{Full-replace Synonyme 1}. En rouge sont représentées les documents désignés pertinent vis à vis de la question, en bleu les documents non pertinent et en noire l'ensemble des documents. Le graphique de gauche correspond au cas des documents paddés et les graphiques de droite correspond aux documents perturbés.
