Du pilote à la production : construire une ontologie fondée sur l'apprentissage automatique pour le contenu d'ingénierie du WSDOT.

À propos du client

Le WSDOT publie des dizaines de manuels de référence d'ingénierie sur lesquels les ingénieurs de l'État s'appuient pour planifier et exécuter les projets d'infrastructures de transport, couvrant des sujets allant de l'hydraulique et de la conformité environnementale à la conception des abords routiers et à l'entretien des autoroutes. Cette mission prolongeait le travail de trouvabilité qu'Iknow avait entamé pour le WSDOT dans le cadre d'un projet pilote antérieur, parrainé par le NCHRP, centré sur un ensemble plus restreint de manuels liés aux eaux pluviales.

Contexte sectoriel

Ce projet représente une évolution naturelle de ce pilote antérieur, passant d'une preuve de concept ciblée à une application de plus grande envergure couvrant 18 manuels et intégrant des techniques d'apprentissage automatique plus sophistiquées, clustering non supervisé et modélisation thématique, plutôt que de s'appuyer principalement sur une analyse manuelle. La distinction entre une taxonomie et une ontologie importe ici. Une taxonomie capture des relations hiérarchiques simples parent-enfant de type « sorte de » ou « est un », tandis qu'une ontologie peut capturer des types de relations beaucoup plus riches, comme la composition des matériaux, la structure partie-tout et les relations de processus ou de cycle de vie. Cela offre aux utilisateurs ingénieurs un moyen réellement plus puissant de comprendre et d'explorer la manière dont les concepts se rapportent les uns aux autres, et pas seulement leur place dans une hiérarchie.

Situation actuelle

Dans le cadre d'un projet du WSDOT visant à améliorer la gestion et la trouvabilité des contenus d'ingénierie des transports, Iknow a développé une ontologie des transports centrée sur l'évacuation des eaux pluviales des chaussées. L'ontologie des eaux pluviales a permis à l'équipe de prouver le concept selon lequel une ontologie pouvait classifier et documenter les relations entre concepts tout en servant à piloter l'autoclassification des contenus d'ingénierie.

• Un corpus de contenus beaucoup plus vaste et complexe que celui du pilote antérieur. 18 manuels d'ingénierie distincts, chacun rédigé et maintenu indépendamment, devaient être analysés ensemble pour révéler l'ampleur réelle du chevauchement thématique entre eux, une information dont le WSDOT ne disposait pas au départ.
• Une taxonomie simple ne pouvait pas capturer la complexité réelle des relations d'ingénierie. Des concepts comme les buses impliquent simultanément composition des matériaux, traitements d'extrémité, structure partie-tout et appartenance à un système, des relations qu'une hiérarchie parent-enfant basique ne peut pas représenter, mais dont les ingénieurs ont réellement besoin pour chercher et raisonner.
• Aucune preuve quantitative existante de l'ampleur réelle du chevauchement des contenus des manuels. Le WSDOT avait besoin de preuves objectives et défendables, et non d'une simple supposition, que la consolidation des contenus classifiés des 18 manuels aiderait réellement les utilisateurs avant d'investir davantage dans l'approche.
• Préparer des contenus sources réellement désordonnés pour une analyse rigoureuse par apprentissage automatique. Les manuels d'ingénierie existaient sous forme de PDF, nécessitant une conversion en texte et un prétraitement approfondi avant toute fouille de textes ou tout clustering significatifs.

• Développer une ontologie des transports centrée sur l'évacuation des eaux pluviales des chaussées.
• Permettre la recherche et la navigation à travers les manuels d'ingénierie du WSDOT couvrant l'hydrologie, l'érosion, la conception routière, le ruissellement autoroutier, les enjeux environnementaux, l'estimation des coûts, la politique des abords routiers, l'entretien des autoroutes et l'accueil des réseaux de services publics.
• Prouver le concept selon lequel une ontologie pouvait à la fois classifier et documenter les relations entre concepts et piloter l'autoclassification des contenus d'ingénierie.

Comment Iknow a structuré le travail

Iknow a suivi un processus en huit étapes combinant une analyse rigoureuse des contenus fondée sur l'apprentissage automatique, une validation par des experts métier et une construction manuelle de l'ontologie, suivies de l'ingestion dans un système d'autoclassification.

Activités et décisions clés

• Analyse des contenus. Iknow a converti les manuels de PDF en texte et effectué le prétraitement, tokenisation, suppression de la ponctuation et des mots vides, et racinisation, puis a représenté numériquement le texte non structuré à l'aide des approches bag-of-words et tf-idf, en pondérant la fréquence des termes par leur fréquence d'apparition dans l'ensemble des documents. Avec la bibliothèque Scikit-learn de Python, Iknow a testé deux modèles d'apprentissage automatique non supervisé : le clustering K-means, qui affecte chaque document à un cluster unique et peut être évalué par une métrique de silhouette mesurant la qualité de l'ajustement des clusters, et la modélisation thématique par Latent Dirichlet Allocation, qui attribue à chaque document une distribution de probabilité sur plusieurs thèmes plutôt qu'une affectation rigide à un seul cluster.
• Analyse des résultats. Les résultats du clustering ont démontré un chevauchement significatif des contenus présentés dans les 18 manuels analysés, visualisé dans un graphique de distribution des thèmes entre manuels, étayant directement l'argument selon lequel un corpus de contenus d'ingénierie consolidé et classifié de manière interactive aiderait les utilisateurs à découvrir des documents connexes dans des manuels où ils n'auraient pas pensé chercher.
• Entretiens avec les experts métier. Iknow a interrogé des experts métier pour confirmer sa compréhension des termes et des synonymes, recueillir leurs retours sur le jeu de termes issu de l'apprentissage automatique et ajouter, corriger ou supprimer les termes ambigus sur la base de ces avis d'experts.
• Sélection des termes et rédaction de l'ontologie. Iknow a sélectionné les termes définitifs servant à décrire les contenus et les relations entre les termes, en utilisant WebProtégé comme outil de rédaction de l'ontologie.
• Développement de l'ontologie. Iknow a construit manuellement l'ontologie autour de sept classes reliées représentant les données requises par les utilisateurs ingénieurs, Drainage Assets, Best Management Practices, Master Deliverables, Practical Solutions Life Cycle, Drainage System, Materials et Project Development Topic Areas, en capturant des types de relations allant bien au-delà de la simple hiérarchie, y compris des relations de composition des matériaux, de traitement d'extrémité, partie-tout, système-élément, d'étapes de travail du cycle de vie et livrable-thème.
• Ingestion et classification. Iknow a ingéré l'ontologie achevée dans le système d'autoclassification et classifié sur cette base l'intégralité du corpus de contenus d'ingénierie des transports.

Parties prenantes et collaboration

Iknow est intervenu comme sous-traitant du contractant principal Spy Pond Partners, en collaborant directement avec les experts métier du WSDOT pour valider la terminologie et confirmer que les relations de l'ontologie reflétaient la pratique réelle de l'ingénierie.

Prouver le chevauchement des contenus par des preuves, non par des suppositions

Consolider les contenus classifiés de 18 manuels maintenus indépendamment ne valait la peine que si un chevauchement thématique réel existait entre eux, et le WSDOT avait besoin de preuves avant de s'engager davantage. Iknow y a répondu en appliquant une analyse rigoureuse et quantitative par apprentissage automatique, clustering K-means et modélisation thématique LDA via Scikit-learn, sur l'ensemble du corpus, produisant une analyse objective de la distribution des thèmes entre manuels qui a directement démontré un chevauchement de contenu significatif, transformant une hypothèse plausible en un constat défendable et fondé sur des preuves avant tout début de construction de l'ontologie.

Capturer des relations qu'une taxonomie standard ne pouvait pas représenter

Les concepts d'ingénierie comme les buses portent plusieurs attributs simultanés, matériau, structure, fonction, appartenance à un système, qu'une taxonomie plate parent-enfant ne peut pas représenter. Iknow y a répondu en construisant une véritable ontologie plutôt qu'une taxonomie, en définissant sept types de relations distincts et conçus sur mesure, afin que les concepts puissent être représentés avec toute la richesse de leurs attributs d'ingénierie réels, et non par une seule position dans une hiérarchie.

Résultats opérationnels

• Analyse des contenus de 18 manuels d'ingénierie du WSDOT par fouille de textes et analyse de clusters, avec test de deux modèles distincts d'apprentissage automatique non supervisé.
• Construction d'une ontologie à sept classes, Drainage Assets, Best Management Practices, Master Deliverables, Practical Solutions Life Cycle, Drainage System, Materials et Project Development Topic Areas, définissant sept types de relations distincts au-delà de la simple hiérarchie parent-enfant.
• Ingestion de l'ontologie dans le système d'autoclassification du WSDOT et classification de l'intégralité du corpus de contenus d'ingénierie.

Résultats stratégiques et organisationnels

L'analyse de clusters a démontré un chevauchement thématique significatif des contenus des 18 manuels, validant l'argument en faveur d'un corpus de contenus d'ingénierie consolidé et classifié de manière interactive. Les utilisateurs ont jugé les balises et les relations obtenues réellement utiles à leur travail, en particulier lors de la recherche d'information, prouvant le concept sous-jacent du pilote antérieur d'Iknow parrainé par le NCHRP à pleine échelle de production, dans une implémentation beaucoup plus vaste et techniquement plus sophistiquée.

Délai avant impact

La mission d'Iknow s'est étendue sur environ 20 mois, reflétant la profondeur technique du travail, de l'analyse rigoureuse du corpus fondée sur l'apprentissage automatique à la construction manuelle de l'ontologie, jusqu'à l'ingestion et la classification complètes en production, et représentant une évolution pluriannuelle du programme de trouvabilité du WSDOT amorcée avec le pilote NCHRP antérieur.

Compétences clés

• Conception et développement d'ontologies
• Analyse de contenus fondée sur l'apprentissage automatique
• Implémentation de l'autoclassification
• Taxonomie et modélisation des connaissances

Méthodes et référentiels

• Fouille de textes et analyse de clusters (K-means, Latent Dirichlet Allocation)
• Représentation du texte par tf-idf et bag-of-words
• Développement de termes validé par les experts métier
• Modélisation d'ontologies riches en relations

Technologies et outils

• Python (Scikit-learn, NumPy, SciPy)
• WebProtégé (rédaction d'ontologies)
• Systèmes d'autoclassification