1Répondre à une question ouverte lors d’un examen ou rédiger une dissertation sont des dispositifs évaluatifs, mais également des outils de formation particulièrement importants dans le champ de l’éducation. Non seulement ils permettent une évaluation plus fine et plus riche des compétences de l’étudiant qu’un questionnaire à réponses fermées (Magliano et Graesser, 2012), mais surtout la mise en évidence par l’évaluation des points forts et des points faibles de ces textes est formative pour l’étudiant. La lourdeur de l’évaluation et les fréquents désaccords observés lorsque les avis de plusieurs évaluateurs sont comparés limitent souvent le recours à ces modalités d’évaluation (Miller, 2003).
2Dans ce contexte, l’évaluation automatique de textes est devenue un enjeu capital. Selon la tâche demandée à l’étudiant, deux grands types d’approches ont été développés. Lorsqu’il s’agit de faire preuve d’un niveau suffisant de connaissance sur un sujet donné, l’approche classique consiste à comparer le texte de l’étudiant avec la réponse attendue, le plus souvent en évaluant son contenu sémantique (Rehder et al., 1998 ; Landauer et Psotka, 2000). Lorsque le contenu du texte à produire est plus libre, comme dans le cas de dissertations, on emploie des indices linguistiques plus ou moins fortement en corrélation avec la qualité de l’essai. Le prototype de ce genre d’approche est certainement e-Rater, développé par Educational Testing Services (ETS), qui se base, entre autres, sur les erreurs d’orthographe ou grammaticales qui peuvent être détectées automatiquement, la richesse lexicale et la longueur de l’essai (Burstein, Chodorow et Leacock, 2004 ; Burstein, 2009). De tels systèmes sont particulièrement utiles dans le domaine de l’apprentissage d’une langue étrangère où être capable de rédiger un texte de qualité est un des objectifs principaux de la formation.
3Le développement de procédures automatiques d’évaluation requiert la collaboration de chercheurs en psychologie et éducation, en linguistique et en traitement automatique du langage (TAL). La psychologie et les sciences de l’éducation apportent des modèles de la production de textes et des études de l’évolution des compétences tout au long du développement cognitif. La linguistique propose des indices susceptibles de mesurer la qualité des textes. Le TAL développe des techniques qui permettent d’extraire automatiquement ces indices des textes.
4Si ce champ de recherche appliquée a déjà une longue histoire, les premiers systèmes datant des années soixante (Page, 1966), la prise en compte de la dimension discursive n’est encore qu’à ses balbutiements (Deane et Quinlan, 2010). Récemment, une série d’études ont essayé de faire profiter l’évaluation automatique des textes des résultats récents en linguistique, en psychologie et en TAL qui permettent la prise en compte de la cohésion dans les textes. D’une manière générale, les résultats obtenus sont décevants et même contre-intuitifs : les meilleurs textes sont ceux dont la cohésion, mesurée de manière automatique, est la plus faible. Après avoir présenté ces travaux et leurs principales limitations, la présente recherche propose d’employer un nouvel indice de cohésion dérivé des travaux en segmentation thématique de textes (Morris et Hirst, 1991 ; Choi, 2000). L’efficacité de cette approche est évaluée au travers de l’analyse d’un corpus de 223 textes d’apprenants de l’anglais comme langue étrangère. Le résultat le plus important de cette étude exploratoire est de souligner la nécessité d’une approche pluridisciplinaire du discours lorsqu’on vise des objectifs appliqués.
5Si quelques recherches ont proposé de s’appuyer sur les chaînes de référence pour mesurer la cohésion dans des textes (Miltsakaki et Kukich, 2004 ; Lapata et Barzilay, 2005), l’approche la plus fréquemment employée pour atteindre cet objectif est sans aucun doute l’analyse sémantique latente (Latent Semantic Analysis – LSA). Au dire même de Landauer et al. (2007 : 10), éditeurs du Handbook of Latent Semantic Analysis, cette technique « accurately estimates passage coherence ». La présente section décrit les caractéristiques les plus importantes de cette technique et sert donc d’introduction à la section suivante qui discute les résultats obtenus lorsqu’elle est appliquée à l’analyse automatique de la cohésion de textes dans le but de prédire leur qualité. Une présentation plus technique est donnée dans Landauer, Foltz et Laham (1998).
6Depuis une vingtaine d’années, l’analyse sémantique latente (désormais ASL) est utilisée dans un nombre de plus en plus important de recherches en TAL, psychologie, et sciences de l’éducation (Landauer et al., 2007). L’ASL vise à construire un espace sémantique de très grandes dimensions à partir de l’analyse statistique des cooccurrences dans un corpus de textes. Cet espace sémantique est ensuite employé pour estimer la similarité sémantique entre des mots, des phrases, des paragraphes et même des textes. L’idée sous-jacente, bien établie en linguistique, est que des mots similaires apparaissent dans des contextes similaires. Le point de départ de l’analyse est un tableau lexical qui contient le nombre d’occurrences de chaque mot dans chacun des documents qui composent un corpus souvent constitué de plusieurs millions de mots, un document pouvant être un texte, un paragraphe ou même une phrase. Pour extraire les dimensions sémantiques, ce tableau de fréquence fait l’objet d’une décomposition en valeurs singulières, une sorte d’analyse factorielle, qui en extrait les dimensions orthogonales les plus importantes. Cette compression de la matrice de cooccurrences initiale apporte deux bénéfices : elle élimine les cooccurrences les plus anecdotiques et elle permet la prise en compte, non seulement des relations de premier ordre, celles qui établissent comme similaires des mots qui apparaissent dans un même contexte, mais aussi des relations de deuxième ordre pour lesquelles deux mots sont similaires même s’ils n’apparaissent pas dans un même contexte, parce que les contextes dans lesquels ils apparaissent sont similaires.
7Tant les mots que les segments originaux sont positionnés dans cet espace sémantique, ce qui permet de mesurer leur proximité. Plus précisément, le sens de chaque mot y est représenté par un vecteur. Pour mesurer la similarité sémantique entre deux mots, on calcule le cosinus entre les vecteurs qui les représentent. Plus deux mots sont sémantiquement proches, plus les deux vecteurs qui les représentent pointent dans la même direction et donc plus leur cosinus se rapproche de 1. À titre d’illustration, le Tableau 1 présente quelques-uns des plus proches voisins des mots amour et vol, calculés à partir d’une base sémantique dérivée de l’analyse de 206 contes de Maupassant (voir Bestgen et Cabiaux, 2002). Le caractère ambigu du sens de vol apparaît très nettement dans les deux types de voisins qui lui sont associés.
Tableau 1. Les plus proches voisins d’amour et de vol selon la mesure du cosinus
Mot |
Amour Cosinus |
Mot |
Vol Cosinus |
passion |
0,70 |
malfaiteur |
0,36 |
tendresse |
0,66 |
gendarme |
0,36 |
aimer |
0,58 |
tourbillonner |
0,32 |
passionné |
0,56 |
délit |
0,32 |
caresse |
0,55 |
corbeau |
0,31 |
cœur |
0,54 |
justice |
0,31 |
8Les mêmes calculs peuvent être effectués sur les vecteurs qui représentent les documents analysés. La technique est encore plus générale puisqu’elle permet de calculer le vecteur qui correspond à un groupe de mots même si ce groupe de mots ne constitue pas un document analysé en tant que tel. Il est ainsi possible d’analyser la proximité sémantique entre deux paragraphes ou deux phrases qui se suivent dans un texte, même si ce texte n’était pas présent dans le corpus dont a été extrait l’espace sémantique (Foltz, Kintsch et Landauer, 1998).
- 1 L’ASL n’est pas la seule technique proposée pour répondre à ces problèmes (voir, par exem (...)
9L’intérêt majeur de l’ASL pour la mesure de la cohésion lexicale est qu’elle apporte une réponse aux problèmes posés par les phrases qui relèvent d’un même thème tout en ne partageant aucun mot commun ou par la présence de synonymes et d’hyperonymes1. En cela, l’ASL permet d’aller au-delà du modèle classique vectoriel (Manning et Schütze, 1999 : 539 sq.) fréquemment employé pour mesurer la cohésion lexicale entre des phrases (Hearst, 1997 ; Choi, 2000 ; Kehagias, Pavlina et Petridis, 2003). Dans le modèle vectoriel, la similarité entre deux phrases est basée uniquement sur les mots communs. Ainsi, comme le montre la Figure 1, des phrases thématiquement très similaires peuvent être déclarées non liées parce qu’elles ne partagent aucun mot. L’ASL, en revanche, met en évidence une similarité importante parce qu’elle prend en compte le fait que des mots comme incendie et flamme (cos = 0,89) ou comme camp et tente (cos = 0,37) sont liés.
Figure 1. Cohésion lexicale estimée sur la base de la simple répétition de mots ou d’une ASL pour deux phrases contiguës d’un article du journal Le Monde
- 2 Le cosinus peut également être calculé entre les paragraphes contigus ou entre chaque phr (...)
10Cette figure illustre également la principale manière dont l’ASL est employée pour mesurer la cohésion lexicale dans un texte : calculer le cosinus entre toutes les paires de phrases contiguës2 (Foltz, Kintsch et Landauer, 1998 ; Bestgen, Degand et Spooren, 2006 ; Foltz, 2007). Le degré de cohésion du texte dans son ensemble est alors estimé par la moyenne de tous ces cosinus.
11Afin de montrer que l’ASL permet une quantification efficace de la cohésion, une série de recherches ont eu recours à des textes dont le degré de cohésion avait été manipulé dans le but de permettre une étude des facteurs qui affectent les processus cognitifs à l’œuvre lors de la lecture (Foltz, Kintsch et Landauer, 1998 ; Foltz, 2007 ; Graesser et McNamara, 2011). Tout particulièrement, ces travaux ont comparé le degré de cohésion lexicale estimé par l’ASL pour deux versions des mêmes textes : la version originale et une version réécrite dans le but d’en accroître l’intelligibilité. Ces analyses ont systématiquement mis en évidence une cohésion, mesurée par l’ASL, plus grande dans les textes réécrits.
12Ces trois dernières années, quelques recherches ont tenté de déterminer s’il était possible de prédire la qualité de textes produits en langue maternelle et en langue seconde à partir d’indices de cohésion lexicale issus de l’ASL (Bestgen, Lories et Thewissen, 2010 ; Crossley, Roscoe et McNamara, 2011 ; Crossley et McNamara, 2012). Dans toutes ces études, la procédure employée consiste à calculer la corrélation entre ces indices de cohésion et les évaluations de la qualité de textes par des experts. Les résultats sont sans appel : soit aucune relation n’est observée, soit la relation est l’inverse de celle qui était attendue, les meilleurs textes pour les experts humains étant les moins cohésifs selon la procédure automatique (Bestgen, Lories et Thewissen, 2010 ; Crossley et McNamara, 2012).
13Comment expliquer ces résultats ? Il semble difficile d’incriminer les indices linguistiques de la cohésion pris en compte, ceux-ci étant justifiés par de très nombreuses recherches en linguistique depuis les travaux séminaux de Halliday et Hasan (1976). De même, l’implémentation de ces indices, même si elle ne peut pas être considérée comme parfaite, repose sur des techniques de TAL qui ont fait leur preuve (Bestgen, 2006 ; Landauer et al., 2007). De plus, comme indiqué ci-dessus, plusieurs études ont montré que l’ASL est efficace pour distinguer les textes ou extraits de textes très et peu cohésifs (Foltz, Kintsch et Landauer, 1998 ; Bestgen, Degand et Spooren, 2006 ; Graesser et McNamara, 2011).
14En revanche, on peut s’interroger à propos du postulat sur lequel reposent ces analyses : le lien entre cohésion forte et haute qualité des textes (Crossley et McNamara, 2012). Un bon texte doit-il nécessairement présenter une plus forte cohésion lexicale entre les phrases contiguës ? On peut en douter comme le souligne Foltz (2007 : 177) : « better essays often tend to have low coherence », même s’il n’apporte pas d’argument empirique à l’appui de cette assertion. Ce n’est pas tant la quantité que la qualité qui compte. En d’autres mots, ce n’est pas la force de la cohésion lexicale mesurée par le cosinus moyen entre les phrases contiguës qui importe, mais la distribution de cette cohésion dans des textes de bonne et de moins bonne qualité. De plus, on peut penser que le cosinus moyen interphrases est influencé par d’autres facteurs qui interviennent dans la qualité d’un texte, comme la richesse lexicale : moins le vocabulaire d’un texte est riche et plus ce cosinus est élevé puisque rien n’est lexicalement plus semblable que deux mots identiques.
15Afin de proposer une hypothèse psychologiquement crédible qui lie cohésion et qualité des textes, la section suivante synthétise des travaux menés dans les années quatre-vingt par des chercheurs dont l’objectif était de modéliser le développement des compétences rédactionnelles d’enfants et d’adolescents.
16S’appuyant sur une analyse détaillée de protocoles verbaux recueillis lors de la rédaction de textes produits par des enfants, des adolescents et des adultes, Scardamalia et Bereiter (1987) ont identifié deux stratégies rédactionnelles, la stratégie des connaissances rapportées ou knowledge-telling strategy et celle des connaissances transformées ou knowledge-transforming strategy (Chanquoy et Alamargot, 2003). La première est la seule à laquelle les rédacteurs novices peuvent avoir recours. Elle consiste en une série de cycles de récupération d’informations en mémoire et de formulation de celles-ci (McCutchen, 1996). À partir du sujet du texte, le rédacteur cherche une idée pertinente, il retranscrit directement les informations que cette idée permet de récupérer et ensuite cherche une autre idée pouvant être produite. Comme le soulignent Chanquoy et Alamargot (2003), cette stratégie permet aux rédacteurs novices de produire un texte cohérent malgré l’importance de la charge cognitive requise par cette tâche. Dans ce texte, les informations sont organisées exclusivement sur les bases de leur association en mémoire à long terme (Galbraith, 2009). Aucune réorganisation n’est effectuée.
17La stratégie des connaissances transformées complète la stratégie précédente en ajoutant à la récupération des informations des processus de transformation et d’organisation de celles-ci. La rédaction d’un texte est traitée comme un problème à résoudre qui requiert planification et prise en compte de l’audience à laquelle le texte est destiné. La dimension pragmatique et rhétorique de la communication devient centrale. Les informations récupérées en mémoire sont approfondies et restructurées afin de mieux répondre aux objectifs communicationnels du rédacteur (Chanquoy et Alamargot, 2003).
18Comme l’ont souligné plusieurs chercheurs (McCutchen, 1996 ; Chanquoy et Alamargot, 2003 ; Galbraith, 2009), la stratégie des connaissances transformées ne peut être mise en pratique que si le rédacteur dispose de ressources cognitives suffisantes et donc si une partie importante des processus à mettre en œuvre lors de la rédaction d’un texte (recherche en mémoire, retranscription, gestion de l’orthographe) est automatisée, ce qui n’est pas le cas pour le rédacteur novice, ni même pour le rédacteur expert lorsque la situation de production est coûteuse en ressources cognitives.
19Dans le cadre de ce modèle du développement des capacités rédactionnelles, les textes de moindre qualité devraient se présenter comme une suite non structurée de blocs de phrases fortement connectées entre elles, mais les relations entre ces blocs résulteraient seulement de leurs connexions au sujet du texte alors que la structure des textes de meilleure qualité serait beaucoup plus diffuse, basée sur des relations plus complexes. Cette analyse a deux implications pour l’étude de la relation entre cohésion et qualité des textes.
- Tout d’abord, elle plaide pour l’emploi de techniques qui permettent d’analyser la structure interne des textes et non en faveur du calcul d’un score global de cohésion par texte. Tout particulièrement, il est nécessaire de disposer de techniques de TAL capables de mettre en évidence la structure en blocs isolés composés de phrases fortement connectées, postulée pour les textes de moindre qualité. De telles techniques ont été développées dans le champ de la segmentation thématique de textes sur la base de la cohésion lexicale (Morris et Hirst, 1991 ; Kozima, 1993 ; Choi, Wiemer-Hastings et Moore, 2001). Parmi ces techniques, la procédure proposée par Choi (2000) est fréquemment considérée comme état de l’art et employée comme point de repère pour évaluer d’autres techniques. Choi, Wiemer-Hastings et Moore (2001) ont proposé de combiner cette procédure avec l’ASL et Bestgen (2006) a confirmé qu’une telle combinaison en améliore l’efficacité.
- La deuxième implication est qu’il est souhaitable d’analyser des textes produits dans une situation susceptible de faire apparaître les deux types de stratégie. Galbraith (2009 : 12-13) a récemment souligné que la production de textes en langue étrangère remplit parfaitement cette condition : « L2 language proficiency would be expected to affect not just how well-formed the written product is from a linguistic point of view, but also the writer’s capacity to engage in the higher level problem-solving activities characteristic of expert writing. Thus, even when L2 production is linguistically accurate, to the extent that L2 language production in L2 remains more effortful than in L1 one might expect writers to be less able to engage in goal directed creation of content and the quality of the text to suffer accordingly » (voir aussi Piérard et Bestgen [2008] pour le même argument en production orale).
20L’objectif de la présente recherche est d’apporter une première vérification empirique de ces conjectures en analysant 223 essais produits en langue étrangère et en comparant l’efficacité du cosinus interphrases et de la segmentation automatique de textes pour prédire les évaluations de la qualité des textes effectuées par deux juges.
21Les essais analysés dans cette étude ont été extraits de la seconde version de l’International Corpus of Learner English (ICLE) (Granger et al., 2009), un corpus d’essais écrits par des apprenants de l’anglais comme langue étrangère d’un niveau intermédiaire à un niveau avancé. ICLE est le résultat de dix années de collaboration entre un grand nombre d’universités internationales. Il contient plus de deux millions de mots produits par 3 640 étudiants de 11 langues maternelles différentes. Au total, 223 essais argumentatifs ont été sélectionnés d’une manière aléatoire dans trois sous-corpus ICLE : 74 essais du composant français, 71 du composant allemand et 78 du composant espagnol. Pour pouvoir être choisis, les essais devaient répondre à deux critères : ils devaient compter entre 500 et 900 mots et être argumentatifs. Ils ont été choisis dans le cadre d’un projet de doctorat mené au Centre for English Corpus Linguistics, Louvain-la-Neuve, Belgique (Thewissen, 2012).
22Deux évaluateurs professionnels, ayant participé à l’évaluation de la qualité de textes pour l’université de Cambridge, ont été invités à évaluer chacun des 223 textes. On leur a notamment demandé d’attribuer un score holistique à chaque texte afin de donner leur impression globale de la qualité de celui-ci sur la base des descripteurs du Cadre européen commun de la référence pour les langues (CECR) (Council of Europe, 2001). Le CECR inclut six niveaux de compétence qui peuvent être décomposés en trois groupes de deux, à savoir A1 et A2 (niveau de compétence élémentaire), B1 et B2 (niveau de compétence intermédiaire), C1 et C2 (niveau de compétence avancé). Les juges ne pouvaient pas employer les niveaux A1 et A2 parce que le CECR spécifie que les étudiants ont besoin d’être au moins au niveau de compétence B1 pour pouvoir entreprendre la rédaction d’un essai. Les évaluateurs pouvaient employer un signe + ou un signe – pour spécifier plus finement la qualité des textes dans chaque niveau de compétence (par exemple B2– ou C1+). Les évaluations obtenues ont été transformées en nombres sur une échelle numérique de 11 points (c.-à-d. B1– = 0,66, B1 = 1, B1+ = 1,33, etc. jusqu’à C2 = 4). La corrélation entre les deux évaluateurs sur cette échelle de notation est de 0,69. Afin d’attribuer un score CECR final à chaque texte, nous avons calculé les moyennes des scores donnés par les deux évaluateurs.
- 3 Un espace sémantique extrait d’une version légèrement différente de ce corpus est dis (...)
23Pour estimer les proximités entre les paires de phrases de chaque texte, un espace sémantique a été extrait du corpus TASA – General Reading up to 1st Year College, qui est le corpus de référence pour les travaux psycholinguistiques qui s’appuient sur l’ASL (Landauer, Foltz et Laham, 1998 ; Landauer et al., 2007). Ce corpus est composé d’extraits de textes, d’une longueur moyenne approximative de 290 mots, obtenus par un échantillonnage aléatoire de textes que lisent les élèves et les étudiants américains. La version à laquelle T.K. Landauer (Institute of Cognitive Science, University of Colorado, Boulder) nous a donné accès contient 44 486 documents et approximativement 12 millions de mots3. Ce corpus a été lemmatisé au moyen de TreeTagger (Schmid, 2003) et une série de mots outils (and, be, the, that…) ont été supprimés ainsi que tous les mots dont la fréquence totale est inférieure à 2. La matrice de cooccurrences a été soumise à une décomposition en valeurs singulières au moyen du programme SVDPACKC (Berry et al., 1993) et les 300 premiers vecteurs propres ont été conservés, ce nombre étant habituellement considéré comme optimal (Landauer, Laham et Derr, 2004).
24Cet espace sémantique a été utilisé pour calculer les cosinus entre les phrases adjacentes de chaque texte et la moyenne de ces cosinus est utilisée comme estimation de la cohésion lexicale de chacun des textes.
25La procédure proposée par Choi (2000 ; Choi, Wiemer-Hastings et Moore, 2001) pour segmenter des textes a été employée. Elle est composée de trois étapes. Tout d’abord, le document à segmenter est découpé en unités textuelles minimales, dans le cas présent il s’agit des phrases. Les mots composant ces phrases sont soumis à différents traitements, comme la suppression de mots peu informatifs sur le thème du texte (article, pronom, verbes très fréquents…) et une lemmatisation. Ensuite, une mesure de similarité entre toutes les paires de phrases prises deux à deux est calculée. Enfin, le document est segmenté de façon récursive en fonction des frontières entre les unités textuelles qui maximisent la somme des similarités moyennes à l’intérieur des segments ainsi constitués. Le nombre de segments à constituer dans un texte donné est déterminé automatiquement par l’algorithme. L’ASL intervient lors de la deuxième étape, les similarités entre les phrases étant obtenues en appliquant la métrique du cosinus aux vecteurs pondérés par les dimensions sémantiques dérivées d’un corpus. Choi (2000) et Choi, Wiemer-Hastings et Moore (2001) ont montré que cet algorithme était plus efficace qu’une série d’autres approches telles que TextTiling de Hearst, DotPlot de Reynar, Segmenter de Kan et al. et le Maximum-Probability Segmentation Algorithm de Utiyama et Isahara.
26L’indice extrait de cette analyse est la longueur moyenne d’un segment dans un texte qui présente l’avantage sur le nombre de segments de prendre en compte la longueur du texte (2 segments dans un texte de 20 phrases correspondent à 4 segments dans un texte de 40 phrases).
27Le Tableau 2 présente les moyennes et écarts types des deux indices calculés ainsi que la corrélation entre ceux-ci et l’évaluation des experts. Les deux corrélations sont significatives pour un seuil de 0,0001 (N = 223).
Tableau 2. Indices de cohésion : statistiques descriptives et corrélation avec l’évaluation
Indices |
Moyenne |
Écart type |
Corrélation avec l’évaluation |
Cosinus moyen entre les phrases contiguës |
0,18 |
0,07 |
–0,31 |
Longueur moyenne des segments |
18,29 |
10,06 |
0,26 |
28La corrélation obtenue pour l’indice de cohésion lexicale extrait de l’ASL confirme les observations récentes : plus un essai présente un score de cohésion élevé, moins il est évalué positivement par les experts. Cette relation négative est probablement renforcée par plusieurs spécificités des apprenants d’une langue étrangère. Il est en fait bien établi dans la littérature que :
- la diversité lexicale des textes d’apprenants s’accroît en fonction de l’amélioration de leur compétence dans la langue en question (Cumming, 2001 ; McCarthy, 2005) ;
- la diversité lexicale est un excellent prédicteur de l’évaluation d’un texte par des experts (Yu, 2010) ;
- par construction, le cosinus interphrases, même obtenu par ASL, est d’autant plus élevé que deux phrases contiennent un plus grand nombre de mots communs.
29Il s’ensuit que plus le vocabulaire d’un texte est diversifié, moins le cosinus est élevé et meilleure est l’évaluation de ce texte par des experts. Dans la présente recherche, cette interprétation est justifiée par l’analyse des corrélations entre une mesure de diversité lexicale, le Type / Token Ratio (TTR) (le rapport entre le nombre de mots différents et le nombre total de mots dans un texte ; plus il est grand et plus le vocabulaire est riche), et les deux autres mesures. En effet, la corrélation entre le TTR et le cosinus moyen est de –0,45 et la corrélation entre ce même TTR et l’évaluation des experts est de 0,43.
30La longueur moyenne des segments est également très significativement liée à la qualité des essais, mais, dans ce cas, la relation est positive : meilleur est un essai, plus longs sont les segments et, inversement, moins bon est un essai, plus courts sont les segments. Le sens de cette relation correspond à l’hypothèse dérivée des différences de stratégies rédactionnelles liées à l’expertise. Il s’agit toutefois d’un premier résultat dont les limitations sont discutées dans la conclusion. L’annexe 1 essaie de rendre cette relation plus concrète en présentant deux textes qui ont été évalués d’une manière totalement opposée par les experts puisque le premier a été jugé B1– et le second C2. Ils sont découpés en fonction des phrases telles que déterminées par TreeTagger et les lignes signalent les ruptures détectées par la procédure de segmentation thématique. On donne aussi le sujet de l’essai, son cosinus interphrases moyen et la longueur moyenne des segments.
31On remarque tout d’abord de nombreuses différences entre les deux essais tant au niveau de la richesse lexicale que de la complexité syntaxique ou de la correction de la langue, qui expliquent que le second a été jugé comme très nettement supérieur au premier. Comme évoqué ci-dessus, la différence en termes de richesse lexicale explique probablement une partie de la différence entre les cosinus moyens de ces deux textes.
32En ce qui concerne le second indice étudié, on note que les segments détectés par la procédure automatique semblent relativement bien positionnés, même si certaines ruptures peuvent être avantageusement décalées d’une ou deux phrases. Le premier texte, le plus mal évalué et celui dont les segments sont les plus courts, s’accorde bien avec la stratégie des connaissances rapportées. Le second, en revanche, présente la structure nettement plus diffuse censée résulter de l’application de la stratégie des connaissances transformées. Si l’on parvient à y détecter différents thèmes, le texte glisse de l’un à l’autre sans rupture bien nette et les interconnexions sont nombreuses comme la mention à deux reprises, séparées par plus de neuf phrases, de la mère de l’auteure.
33L’objectif principal de cette recherche est d’évaluer la possibilité d’employer des indices dérivés d’une analyse automatique de la cohésion lexicale pour prédire la qualité de textes. Deux indices ont été considérés : le cosinus moyen entre les phrases contiguës calculé sur la base d’un espace sémantique obtenu par ASL et la longueur moyenne des segments qu’un algorithme détecte dans un texte sur la base de la cohésion lexicale également estimée par une ASL.
34L’analyse du premier indice confirme les observations d’études récentes qui ont mis en évidence une absence de relation ou même une relation négative entre le cosinus moyen interphrases et la qualité d’un texte. A priori contre-intuitif, ce résultat semble pouvoir être expliqué par la double relation qu’entretient la diversité lexicale avec la qualité d’un texte et le cosinus interphrases mesuré par l’ASL. Plus un texte repose sur un vocabulaire diversifié, meilleure est l’évaluation des experts et plus faible est le cosinus interphrases. Si l’on peut imaginer différents artifices pour atténuer l’impact sur le cosinus de la répétition de mots dans des phrases contiguës, ces remèdes auraient pour inconvénient majeur de dénaturer les textes et donc la mesure de la cohésion. La présente étude suggère plutôt d’abandonner cet indice parce qu’il présente le défaut majeur d’être intrinsèquement intertextes. Ce qu’on analyse, c’est une estimation de la quantité globale de cohésion dans un texte et non la distribution de la cohésion à l’intérieur d’un texte. Il est important de retenir que ces résultats n’impliquent pas que l’ASL soit inefficace à mesurer la cohésion lexicale puisque cette mesure de cohésion lexicale intervient dans l’algorithme de segmentation thématique, mais plutôt que le cosinus moyen interphrases mesure indirectement la richesse lexicale d’un texte et que c’est celle-ci qui est liée à la qualité.
35Pour dépasser cette limitation, une nouvelle mesure de qualité basée sur la cohésion et dérivée d’un modèle de l’expertise rédactionnelle est proposée. S’appuyant sur la tendance des rédacteurs les moins experts à produire un grand nombre de petits paquets de phrases très cohérentes mais sans lien bien établi entre eux, alors que la structure des textes des rédacteurs experts est beaucoup plus diffuse, elle se base sur la longueur moyenne des segments détectés dans les textes par une procédure automatique. Les analyses mettent en évidence la relation positive postulée : les textes contenant les segments les plus courts sont aussi les textes les moins bien évalués par les experts. On notera que la corrélation pour ce second indice (0,26) est, en valeur absolue, plus faible que celle obtenue pour le premier, le cosinus moyen interphrases (–0,31). Ne devrait-on pas en conclure que le cosinus moyen est plus utile pour prédire la qualité d’un texte ou qu’il faudrait combiner les deux indices ? L’interprétation proposée ci-dessus de la relation entre le cosinus moyen et la qualité d’un texte mène à rejeter ces options : le cosinus moyen prédit la qualité parce qu’il est lié à la richesse lexicale. Il vaut donc mieux employer directement celle-ci ou la combiner avec la longueur des segments si on veut améliorer la prédiction.
36Ces résultats ont été obtenus par l’analyse d’un nombre relativement important de textes d’apprenants d’une langue étrangère (N = 223), tous issus du corpus le plus renommé dans ce domaine de recherche, l’International Corpus of Learner English. Les textes ont été évalués par deux experts et l’accord entre ceux-ci est relativement élevé (r = 0,69). Cette valeur est du même ordre de grandeur que celles qui ont été obtenues dans d’autres études alors que celles-ci ont eu recours, contrairement à la présente recherche, à une procédure d’entraînement des juges afin d’uniformiser leurs points de vue (Crossley, Roscoe et McNamara, 2011). Ces deux éléments plaident en faveur de la fiabilité des conclusions de la présente recherche. En revanche, celles-ci sont limitées au cas spécifique des textes produits par des apprenants d’une langue étrangère dont on sait qu’ils font face à une tâche particulièrement coûteuse en ressources cognitives (Galbraith, 2009). Il est donc indispensable de reproduire cette étude sur d’autres corpus, tout particulièrement des textes écrits en langue maternelle par des rédacteurs de différents âges. Il serait aussi intéressant d’analyser d’une manière approfondie les désaccords entre les experts qui ont évalué les textes, puisque la corrélation entre leurs jugements est élevée, mais non parfaite. Plus précisément, on peut se demander si ce ne sont pas les mêmes textes qui posent problème aux experts et à la technique d’évaluation automatique.
37Ces résultats ont également été obtenus grâce à une technique de segmentation thématique considérée comme une des plus efficaces, mais néanmoins imparfaite (voir Bestgen et Piérard [2006] pour une analyse de son efficacité dans le cas particulièrement complexe d’articles du journal Le Monde). Évaluer d’autres algorithmes et surtout combiner plusieurs algorithmes afin de profiter des avantages de chacun permettraient peut-être d’améliorer les performances du segmenteur.
38Les commentaires qui précèdent soulignent plusieurs limitations de cette recherche, justifiant ainsi des investigations complémentaires. Il serait également utile de s’interroger à propos du choix de l’ASL pour estimer la cohésion lexicale. Cette technique n’est pas, tant s’en faut, la seule permettant d’extraire un espace sémantique sur les bases de l’analyse des cooccurrences dans un corpus de textes (voir par exemple, Lund et Burgess, 1996 ; Griffiths, Steyvers et Tenenbaum, 2007 ; Jones et Mewhort, 2007). L’ASL a été choisie parce que c’est la technique qui est la plus utilisée pour mesurer la cohésion entre des phrases et parce que les études qui comparent les espaces sémantiques construits par différentes approches ne mettent habituellement pas en évidence de différences importantes entre elles (Lee, Song et Kim, 2010). Ces études ont toutefois presque toujours comparé les performances dans des tâches lexicales. Étendre ces comparaisons à l’analyse de la cohésion lexicale serait donc intéressant. Plus généralement, cette recherche souligne l’intérêt qu’il y aurait à revisiter les travaux déjà anciens sur l’expertise rédactionnelle dans l’optique de l’évaluation automatique de textes et selon le point de vue des techniques modernes de TAL. La présente étude, par son caractère exploratoire, n’est qu’un premier pas dans cette direction.
39Yves Bestgen est chercheur qualifié du F.R.S-FNRS. Les analyses de la cohésion lexicale mesurée par le cosinus interphrases ont été présentées aux journées internationales d’Analyse statistique des données textuelles, Rome, juin 2010 (JADT 2010) (Bestgen, Lories et Thewissen, 2010).