Image du logo de la CERTT Image cliquable

Introduction à la précision et au rappel : L'équipe de la CERTT explique

Concepts clés

  1. La précision
  2. Le rappel
  3. Le bruit
  4. La silence

La précision

La précision est une mesure de l’efficacité de certains logiciels qui visent à identifier dans des textes des mots spécifiques, des candidats-termes, et d’autres unités. (L’autre mesure couramment utilisée est le rappel.)

La précision mesure la proportion des résultats d’un logiciel qui sont considérés comme pertinents ou corrects. Par exemple, si un logiciel cherche des termes dans un document et trouve 100 candidats, dont 65 sont vraiment des termes (c’est-à-dire, 65 sur les 100 résultats sont corrects), la précision des résultats du logiciel est 0.65. (Les 35 autres résultats non-pertinents s’appellent du bruit.)

La précision et le rappel varient généralement de façon inverse ; c’est-à-dire, quand la précision augmente, le rappel va généralement diminuer, et inversement. Il peut alors être très difficile d’attendre une précision et un rappel élevés en même temps. Généralement, les logiciels visent à trouver le meilleur équilibre possible entre les deux mesures, mais selon les besoins d’un utilisateur spécifique ou d’une application donnée, il peut être plus utile de maximiser l’une ou l’autre des deux mesures.

Pour en apprendre plus à ce sujet, consultez l'exemple ici.

Le rappel

Le rappel est une mesure de l’efficacité de certains logiciels qui visent à identifier des occurrences de chaînes recherchées, de candidats-termes et d’autres unités dans des textes (L’autre mesure couramment utilisée est la précision.)

Le rappel mesure la proportion de tous les résultats corrects qu’un logiciel pourrait théoriquement trouver et qu’il trouve vraiment, dans la pratique. Par exemple, imaginez que vous utilisez un logiciel pour extraire des termes d’un document qui en contient en tout 90. (Vous le savez bien, puisque vous les avez comptés.) Si le logiciel trouve 65 de ces termes, le rappel du logiciel est 65 sur 90, ou 0,72. (Les 25 termes qui n’ont pas été trouvés par le logiciel s’appellent des silences.)

Bien sûr, on ne mesure pas le rappel d’un logiciel chaque fois qu’on utilise un logiciel, puisque l’on n’a généralement pas envie de faire le bilan de tous les résultats corrects soi-même avant d’utiliser un logiciel pour le faire ! Il permet aussi de déterminer si, quand et comment un outil pourrait être utile à l’avenir, et de découvrir comment on peut ajuster les paramètres de certains outils pour mieux combler des besoins (par exemple, en trouvant le bon équilibre entre précision et rappel).

La précision et le rappel varient généralement de façon inverse ; c’est-à-dire, quand la précision augmente, le rappel va généralement diminuer, et vice versa. Il peut alors être très difficile d’atteindre une précision et un rappel élevés en même temps. Généralement, les logiciels visent à trouver le meilleur équilibre possible entre les deux mesures, mais selon les besoins d’un utilisateur spécifique ou d’une application donnée, il peut être plus utile de maximiser l’une ou l’autre des deux mesures.

Pour en apprendre plus à ce sujet, consultez l'exemple ici.

Le bruit

Nous appelons bruitdes instances non pertinentes qui apparaissent dans les résultats d’une recherche, dans une liste de candidats-termes, ou dans la sortie d’autres logiciels. Par exemple, si vous cherchez le substantif ferme et vous trouvez des occurrences de l’adjectif ferme à cause de l'ambiguïté catégorielle, ces occurrences de l’adjectif constituent du bruit.

Le taux de bruit est une des mesures de l’efficacité de certains logiciels. Il constitue la base pour le calcul de la précision. On le compare souvent au taux de silences. Souvent, les taux de bruit et de silence varient de façon inverse.

Pour en apprendre plus à ce sujet, consultez l'exemple ici.

Les silences

Des silences sont des résultats d’une recherche, d’une extraction terminologique, ou d’un autre processus informatisé qui sont présents dans les données traitées mais que le logiciel n’arrive pas à identifier ou à présenter à l’utilisateur. Ils servent de base pour calculer le rappel. (La proportion des silences dans les résultats d’un logiciel est souvent comparée à la proportion de bruit.)

Imaginez que vous avez un document qui contient 90 termes. Si un logiciel qui cherche des candidats-termes en trouve 65, les 25 termes qui ne sont pas trouvés constituent des silences. Des silences posent des difficultés importantes dans l’exploitation des logiciels, puisqu’un utilisateur peut ignorer complètement l’existence de résultats possibles importants si l’outil n’arrive pas à les présenter.

Pour en apprendre plus à ce sujet, consultez la discussion ici.

Et enfin un exemple...

Il peut être très difficile à première vue de comprendre les concepts de bruit et de silence, de la précision et du rappel, et les liens entre ces derniers. Voici un aide-mémoire qui pourra clarifier ces concepts.

Imaginez que vous avez un document de 10 000 mots. Si vous lisez le document vous-même (une tâche qui sera bien sûr assez longue !) vous trouverez qu’il contient 90 termes (et bien sûr, de nombreux mots qui ne sont pas des termes). Lorsque vous faites traiter le document par un extracteur terminologique (pour accomplir cette tâche plus facilement et rapidement), ce dernier trouve 100 candidats-termes, dont 65 apparaissent aussi sur votre liste de « vrais » termes. Ceci veut dire que :

Ces mesures varient généralement de façon inverse. C’est-à-dire, si vous ajustez les paramètres d’un logiciel pour atteindre une précision très élevée (par exemple, en ciblant très spécifiquement certains types de résultats), vous allez probablement aussi augmenter le taux de silences (résultats corrects qui ne sont pas trouvés), et ainsi réduire le rappel. Si vous ajustez ces mêmes paramètres pour trouver plus de résultats pertinents (par exemple, en incluant plus de candidats), vous allez généralement avoir plus de bruit dans ces résultats, et donc une précision réduite. Il est très difficile de maximiser ces deux mesures en même temps. Généralement, on essaie de trouver un équilibre qui convient à un usage ou à un utilisateur donné.

Tous droits réservés CERTT 2011