Contexte: La mesure des événements indésirables (EI) est nécessaire pour améliorer la qualité des soins en milieu hospitalier, mais les méthodes de détection actuelles sont peu valides. Nous avons déterminé la validité d’une solution de rechange, le traitement automatisé du langage naturel (TALN), afin de détecter trois EI hautement prévalent: a) la thrombose veineuse profonde (TVP), b) l'embolie pulmonaire (PE) et, c) la pneumonie.
Méthode: Nous avons échantillonné au hasard 6000 rapports de radiologie réalisés entre 2008 et 2012 au Centre universitaire de santé McGill. Une revue manuelle des rapports a servi de standard de référence. Trois modèles de TALN ont été entrainés et validés; un modèle prédisant chacun des trois EI d’intérêt.
Résultats: Après révision manuelle, 324 (16,2%) rapports de radiologie étaient TVP-positifs, 154 (7,7%) étaient EP-positifs et 640 (16,0%) étaient pneumonie-positifs. La validité de chaque modèle se décline comme suit : 1) TVP : sensibilité de 0,80 (IC 95%: 0,76-0,85), spécificité de 0,98 (IC 95%: 0,97-0,99) et valeur prédictive positive (VPP) de 0,89 (IC 95%: 0,85-0,93) ; 2) EP : sensibilité de 0,79 (IC 95%: 0,73-0,85), spécificité de 0,99 (IC 95%: 0,98-0,99), et VPP de 0,84 (IC 95%: 0,75-0,92) ; 3) Pneumonie : sensibilité de 0,83 (IC 95%: 0,78-0,88), spécificité de 0,98 (IC 95%: 0,97-0,99) et VPP de 0,88 (IC 95%: 0,83-0,94).
Conclusion: Les modèles de TALN validés dans cette étude pourraient aider à la prévention des EI en milieu hospitalier.