\section{Construction des perturbations}
%     \begin{verbatim}
% - on s'intéresse aux perturbations de type replace pour travailler sur l'impact des mots importants
% (car liés au vocabulaire de spécialité) en les replaçant
% - La conception de perturbations necessite de bien choisir les mots à remplacer (traité dans la sous partie 1) et les mots remplaçants (traité dans la sous partie 2). 
% - La sous partie 3 propose un nouveau type de perturbations
%     \end{verbatim}

    Dans un premier temps, on se concentre sur les perturbations de type \replace. Cela permet d'exploiter la multiplicité des sens (polysémie) de certains mots de spécialité en jouant sur leur sens de spécialité et leur sens commun ou issu d'une aussi spécialité (ex: \textit{grenade} ). \\
    Pour construire des perturbations de type \replace qui impactent le modèle et qui soient pertinentes à interpréter, il faut bien choisir le mot à remplacer et le mot remplaçant. On propose aussi un nouveau type de perturbation.

    \subsection{Identification des mots cibles}
        \begin{verbatim}
- Le choix des remplaçant est fait par jugement humain
- Le choix des mots à remplacer se fait à l'aide de 
    - fréquence dans l'échantillon de données sélectionné
    - IDF 
    - appartenance au vocabulaire de spécialité (jugement humain)
    - présence du mot dans la question étudiée (cas du dataset à 1! question)
- la bonne couverture des documents est importante (commentaire sur NaN) 
pour avoir des résultats lisibles
- cas du voc de spécialité : ne pas être un stop word / les critères précédents permettent en association avec un doci ou un simple jugement humain d'identifier le vocabulaire de spécialité
        \end{verbatim}

        Pour qu'une perturbation de type \replace impacte un modèle, elle doit s'appliquer à un très grand nombre voire tous les documents. Lorsqu'un document n'est pas modifié par une perturbation (ie. ne contient pas le mot remplacé), il apportera un score de sensibilité de valeur \texttt{NaN} à cause de la division par zéro induite par l'activation patching. Pour réduire cette difficulté, on peut limiter le nombre de documents utilisés pour appliquer l'activation patching.

        Après avoir écarté les mots vides (stop-words), on propose les critères de sélection des mots suivants pour impacter le modèle et s'appliquer à un grand nombre de documents:
        \begin{itemize}
            \item Fréquence du mot dans le dataset
            \item L'IDF du mot dans le dataset
            \item La présence du mot dans la question ciblée
        \end{itemize}

        
        Les indicateurs de fréquence permettent de faciliter l'identification du vocabulaire de spécialité. On peut aussi s'aider d'un dictionnaire. 



    \subsection{Perturbation replace par niveau}
        \begin{verbatim}
- On propose plusieurs candidats au remplacement classé en 4 niveaux ...
- Rq : il faudrait fonder l'estimation du niveau des perturbations
        \end{verbatim}

        

    \subsection{Perturbations de type full\_replace}
        \begin{verbatim}
- pour augmenter le nombre de document perturbé et limiter l'impact d'un mot seulement dans la 
cartographie (avoir une apperçu plus global), on propose un nouveau type de perturbation : full_replace
- on étend les niveaux à ce nouveau type de perturbations
        \end{verbatim}

\section{Estimation de la pertinence d'une perturbation}
    \begin{verbatim}
SI PAS DÉJÀ PRÉSENTÉ DANS PARTIE DE L'ÉTAT DE L'ART SUR MECHIR
- On visualise des scores de similarité entre question et document
- graphique d'exemple + texte d'accompagnement à la lecture
- Un perturbation peut être considérée comme pertinente lorsqu'elle modifie significativement 
(jugement humain) la distribution des cores pour l'échantillon du dataset étudié

- on propose d'autres visualisations et confrontation de la distribution des scores entre perturbation :
  - observation de la distribution des scores pour les documents pertinents et non-pertinents (sont-ils très séparés initialement?, Quel impact de la perturbation sur la distribution des documents pertinents/ non-pertinents?, La tendance est-elle systématique pour toutes les perturbations de même type? de même niveau?, pour un même mot cible?)
  - observation de la distribution des scores d'un niveau de perturbation à l'autre pour un mot cible (quel comportement d'un niveau à l'autre? comportement commun à plusieurs mots?)

    \end{verbatim}

    

\section{Interprétation des résultats de l'Activation Patching}
    \begin{verbatim}
Un fois la ou les perturbations choisies, on peut appliquer l'activation patching à l'aide de l'outil MechIR. On propose dans cette partie des visualisation des résultats supplémentaires pour faciliter et/ou éclairer l'analyse.
    \end{verbatim}
    \subsection{Visualisation des résultats proposée par MechIR}
        \begin{verbatim}
SI PAS DÉJÀ FAITE DANS SOTA sur MechIR
- graphique + accompagnement à la lecture (on obtient une sensibilité de chaque 
noeuds pour chaque paire (Question, document), on visualise la moyenne)
        \end{verbatim}

    \subsection{Autres visualisations de la sensibilité du modèle à la perturbation}
    \md{à placer : confronter les matrices d'une perturbation à l'autre}
        \begin{verbatim}

- étant donné la construction de ces valeurs, on s'intéresse aussi aux écarts-types
- pour faciliter la visualisation et la comparaison en cas de sensibilité variable 
d'une perturbation à l'autre on propose de rescaler les poids des matrices
        \end{verbatim}

    \subsection{Critère d'identification des noeuds sensibles}
        \begin{verbatim}
- L'identification des noeuds sensibles doit reposer sur un critère commun. On propose
un critère de sensibilité ...
        \end{verbatim}

    \subsection{Matrice des noeuds sensibles}
        \begin{verbatim}
- Pour faciliter le besoin de mise en perspective des matrice de sensibilité d'un perturbation à l'autres ...
- Visualisation des noeuds sensibles **commun à plusieurs perturbation** (matrice des noeuds sensibles)
    -> croiser les différentes caractéristiques (mot remplacé, type, niveau)
    -> critique des noeuds sensibles de la dernière couche
        \end{verbatim}
