Machine learning contre règles : un test de classification en face-à-face pour les archives documentaires du DOT de l'Utah.

À propos du client

Le NCHRP a été créé en 1962 par l'American Association of State Highway and Transportation Officials comme programme national de recherche financé de manière coopérative et administré par le Transportation Research Board, qui fait partie des National Academies of Sciences, Engineering, and Medicine, en coopération avec la Federal Highway Administration. L'UDOT, l'agence d'État chargée de planifier, construire et entretenir le réseau routier de l'Utah, s'est engagé dans le projet 20-97 du NCHRP précisément parce qu'il était en train de mettre en œuvre Knowvation et souhaitait une base fondée sur les données pour classer ses documents dans la nouvelle plateforme.

Contexte sectoriel

Cette mission était la troisième livrée par Iknow dans le cadre du projet 20-97 élargi du NCHRP, « Improving Findability and Relevance of Transportation Information », après un pilote antérieur et un projet d'ontologie à grande échelle pour le Département des transports de l'État de Washington. Ensemble, les trois projets démontrent comment un seul programme de recherche coopérative peut produire une méthodologie de trouvabilité réutilisable, testée auprès de plusieurs DOT d'États avec des approches techniques différentes — classification ontologique à base de règles pour les manuels d'ingénierie dans l'État de Washington, et comparaison empirique directe de l'apprentissage automatique et de la classification à base de règles pour les archives d'accords de l'UDOT. La précision et le rappel sont les métriques standard, acceptées par le secteur, pour évaluer la qualité de la classification et de la recherche d'information : la précision mesure la fraction des résultats récupérés qui sont réellement corrects, le rappel mesure la fraction de tous les documents véritablement pertinents qui ont été effectivement trouvés, et les scores standard du secteur commencent généralement autour de 60% et s'améliorent de manière itérative, 80% ou plus étant généralement considéré comme un succès.

Situation actuelle

Le projet portait sur la recherche et la localisation d'anciens plans, accords et données de contexte nécessaires pour éclairer la planification de la construction de nouveaux projets d'infrastructures de transport sur les mêmes sites ou des sites attenants, couvrant cinq cas d'usage réels : le cadrage de projets de revêtement, les études de corridors, l'analyse environnementale, les demandes d'accès aux documents publics et les accords de recherche. Le matériel source documentait un exemple concret des enjeux — le personnel de l'UDOT se souvenait d'un accord antérieur avec une compagnie ferroviaire susceptible d'affecter la démolition prévue d'un pont, mais la compagnie ferroviaire elle-même ne parvenait pas à localiser l'accord, et le projet ne pouvait pas avancer sans lui.

• Un corpus documentaire massif et largement non classé, avec un problème d'aiguille dans une botte de foin. Le corpus totalisait 272 000 fichiers et 727 gigaoctets, et les types d'accords ciblés — services publics, maintenance, coopération, amélioration et drainage — ne représentaient qu'un petit pourcentage du total, les rendant véritablement difficiles à trouver même lorsqu'ils étaient critiques pour un projet.
• Cinq cas d'usage distincts et à fort enjeu, avec des conséquences réelles en cas de documents manquants. Le cadrage de projets de revêtement, les études de corridors, l'analyse environnementale, les demandes d'accès aux documents publics et les accords de recherche dépendaient tous de la découverte du bon accord ou rapport antérieur, comme l'a démontré l'exemple même de l'UDOT du projet de démolition de pont resté bloqué.
• Aucune base empirique pour choisir entre deux approches de classification viables. L'apprentissage automatique et la classification à base de règles offraient tous deux des voies plausibles pour autoclasser le corpus, mais l'UDOT ne disposait d'aucune comparaison rigoureuse et fondée sur les données de la performance de chacun sur ses types de documents spécifiques avant de s'engager sur l'un d'eux.
• La classification seule ne suffisait pas ; des données spécifiques devaient être extraites de l'intérieur des documents. Savoir qu'un fichier était un accord ne répondait pas à la question posée ; l'UDOT avait besoin d'en extraire le numéro de projet, les parties à l'accord, l'identifiant fiscal et la date de l'accord pour rendre les résultats balisés véritablement utiles.

• Développer et appliquer des méthodes à base de règles et d'apprentissage automatique pour attribuer des types d'accords aux fichiers, et comparer les résultats.
• Développer des scripts d'extraction d'entités pour extraire des champs de données structurées spécifiques des documents d'accords, notamment le numéro de projet, la partie à l'accord, l'identifiant fiscal et la date de l'accord.
• Créer un fichier de sortie avec les balises attribuées et les références de fichiers pour enrichir les métadonnées existantes de Knowvation.
• Produire une comparaison rigoureuse, fondée sur la précision et le rappel, des deux approches de classification pour guider les futurs efforts d'autoclassification des DOT.

Comment Iknow a structuré le travail

Iknow a développé et testé en parallèle les approches de classification par apprentissage automatique et à base de règles sur le même corpus et les cinq mêmes types d'accords ciblés, en évaluant les deux à l'aide de la précision et du rappel afin que l'UDOT puisse voir exactement comment chaque méthode se comportait plutôt que de s'en remettre à des impressions subjectives.

Activités et décisions clés

• Approche par apprentissage automatique. Iknow a utilisé le langage de programmation open source Python 3.6, installé via la distribution Anaconda 3, avec NLTK pour le traitement de texte — tokenisation, racinisation, étiquetage, analyse syntaxique et raisonnement sémantique — et Scikit-learn, une bibliothèque d'apprentissage automatique proposant des algorithmes de classification, de régression et de partitionnement interopérant avec NumPy et SciPy. Iknow a entraîné des classifieurs d'apprentissage automatique à identifier chaque type d'accord à partir d'exemples d'entraînement étiquetés.
• Classification à base de règles. Iknow a écrit des règles logiques sur mesure pour chacun des cinq types d'accords, utilisant à la fois l'attribution directe de catégories par IF-THEN et des règles pondérées et notées qui additionnaient les indices de présence de termes dans des sections définies du document pour déterminer sa catégorie.
• Extraction d'entités. À l'aide des modules de correspondance d'expressions de NLTK en Python, Iknow a construit des scripts d'extraction qui tiraient le numéro de projet, la partie à l'accord, l'identifiant fiscal (pour les accords de drainage) et la date de l'accord directement des documents identifiés comme des accords.
• Évaluation et réglage. Iknow a mesuré les deux approches à l'aide de la précision et du rappel, en ajustant de manière itérative les jeux d'entraînement de l'apprentissage automatique et les ensembles de règles aux données. L'ajout de « preuves négatives » — des exemples de non-accords — a amélioré à la fois la précision et le rappel des deux méthodes.
• Intégration des résultats. Iknow a créé un fichier de sortie contenant les balises attribuées et les références de fichiers correspondantes, conçu pour enrichir les métadonnées déjà présentes dans Knowvation.

Parties prenantes et collaboration

Iknow est intervenu comme sous-traitant du contractant principal Spy Pond Partners sous la supervision du NCHRP, livrant des résultats destinés à un usage direct par l'UDOT et à une application plus large auprès d'autres DOT d'États confrontés à des défis similaires de classification de grands corpus.

Trouver de manière fiable des types de contenus rares dans un corpus massif

Les types d'accords ciblés ne représentaient qu'une petite fraction d'un corpus de 272 000 fichiers et 727 gigaoctets, créant un risque réel que l'une ou l'autre méthode de classification, seule, manque des documents critiques ou les noie sous les faux positifs. Iknow y a répondu en exécutant en parallèle deux méthodologies de classification indépendantes et conçues à cet effet sur le même corpus et les mêmes types ciblés, plutôt que de parier sur une seule approche non éprouvée, et en mesurant rigoureusement les deux avec la précision et le rappel afin que l'UDOT puisse voir exactement comment chacune se comportait.

Interpréter des résultats contrastés de manière utile et actionnable

Certains résultats, comme un score de rappel notablement bas pour les accords de services publics, risquaient d'être lus comme un échec de la méthode plutôt que d'être correctement compris. Iknow y a répondu en diagnostiquant explicitement la cause des résultats anormaux — en l'occurrence, une taille d'échantillon réduite et non un défaut de la méthode. Iknow a ensuite fourni des pistes d'amélioration concrètes et propres à chaque méthode : davantage d'exemples d'entraînement positifs et négatifs pour l'apprentissage automatique, et un affinage des règles guidé par les faux positifs pour la classification à base de règles, transformant un exercice d'étalonnage en une feuille de route d'amélioration actionnable.

Résultats opérationnels

• Analyse d'un corpus de 272 000 fichiers totalisant 727 gigaoctets pour localiser cinq types d'accords ciblés ne constituant qu'une petite fraction du contenu total.
• Comparaison directe des deux approches sur les accords de maintenance : l'apprentissage automatique a atteint 93% de précision et 86% de rappel, tandis que la classification à base de règles a atteint 78% de précision et 95% de rappel — révélant un net arbitrage entre précision et rappel entre les deux méthodes.
• Application de la classification à base de règles à quatre types d'accords supplémentaires, atteignant 95% de précision sur les accords de services publics, 82% de précision et 79% de rappel sur les accords d'amélioration, 100% de précision et 75% de rappel sur les accords de drainage, et 93% de précision et 71% de rappel sur les accords de coopération.

Résultats stratégiques et organisationnels

La plupart des résultats ont atteint ou approché le seuil de succès standard du secteur de 80% en précision et en rappel, et les scripts d'extraction d'entités d'Iknow ont extrait avec succès des données structurées — numéros de projet, parties aux accords, identifiants fiscaux et dates d'accords — directement des accords identifiés, produisant un fichier de sortie qui a enrichi les métadonnées existantes de Knowvation. Parce que la méthodologie et les conclusions ont été développées dans le cadre du programme de recherche coopérative du NCHRP, elles ont été explicitement conçues pour être applicables et reproductibles auprès d'autres DOT d'États confrontés à des défis similaires de classification de grands corpus, et pas seulement utilisables par le seul UDOT.

Délai avant impact

La mission d'Iknow a duré 18 mois.

Compétences clés

• Autoclassification par apprentissage automatique
• Ingénierie de classification à base de règles
• Extraction d'entités et capture de données structurées
• Étalonnage de l'exactitude de la classification

Méthodes et cadres

• Évaluation de la classification fondée sur la précision et le rappel
• Comparaison en parallèle des méthodologies apprentissage automatique et règles
• Réglage itératif des jeux d'entraînement et des ensembles de règles
• Affinage de la classification éclairé par les preuves négatives

Technologies et outils

• Python 3.6 (via Anaconda 3), NLTK et Scikit-learn
• Knowvation (plateforme d'indexation et de découverte de l'information de PTFS)