Introduction

L'évaluation médicale est sortie progressivement d'une certaine confidentialité dans les deux
dernières décennies. Le concept d'évaluation de la qualité des soins était apparu aux États-Unis en
1920, mais c'est surtout après la seconde guerre mondiale qu'il s'est développé dans ce pays et
au Canada, ainsi qu'au Royaume-Uni. Les Pays-Bas l'ont développé à partir des années 1970.

En France, en 1985, un Comité National pour l'évaluation a été créé. Ce n'est que par la création
de l'Agence Nationale pour le Développement de l'Évaluation en Médecine (ANDEM), que
l'évaluation médicale et ses outils se sont vraiment développés dans notre pays [1].
Pendant de nombreuses années, et malgré les références réglementaires comme la loi hospitalière
du 31 juillet 1991, l'évaluation médicale est restée quasiment confidentielle. Le personnel de
l'ANDEM et les experts impliqués faisaient plutôt penser à des « croisés » répandant une nouvelle
parole et les réunions ne rassemblaient qu'un nombre limité de participants. Progressivement,
grâce aux actions de l'Agence, les premiers outils d'évaluation ont été développés : audits
cliniques, conférences de consensus et recommandations de pratique clinique [1].
Les ordonnances d'avril 96 ont renforcé la place de l'évaluation en créant une nouvelle structure :
l'Agence Nationale d'Accréditation et d'Évaluation en Santé (ANAES) qui a constitué la deuxième
étape fondamentale de développement du concept. Le travail entrepris par cette Agence a été
considérable en terme d'organisation et de production, notamment par l'intermédiaire de son
Conseil Scientifique. Des développements récents, législatifs, ont modifié la structure gestionnaire
de l'évaluation médicale en France, en créant la Haute Autorité de Santé (HAS) qui a des missions
élargies, recentrées sur l'Évaluation des Pratiques Professionnelles (EPP) transversale à toutes ses
commissions de travail, ainsi qu'à ses structures administratives [2].
Ceci ne change pas ou peu les méthodes et outils utilisés. Du plus ancien (l'audit clinique) aux
plus compliqués comme les plans d'assurance qualité, les outils utilisables dans l'évaluation
médicale nous viennent pour la plupart des expériences étrangères. Il est important de les
connaître dans leur globalité pour pouvoir les utiliser à bon escient.

Ils doivent cependant être replacés dans le contexte français, centré sur l'EPP [2] et qui a donné à
cette évaluation une nouvelle légitimité.
Présenter les outils de l'évaluation médicale ne doit pas se traduire par une simple énumération,
mais essayer de replacer chaque technique dans son indication. Dans cet article, nous
présenterons successivement

 les objectifs de l'évaluation des soins ;

 les concepts de l'évaluation des soins ;
 le choix et l'utilisation des méthodes ;
 les outils d'évaluation dans le contexte réglementaire.
• L'Agence Nationale pour le Développement de l'Évaluation en Médecine (ANDEM),
créée en 1985, évalue la qualité des soins.
• En 1996 a été créée l'Agence Nationale d'Accréditation et d'Évaluation en Santé
(ANAES), puis récemment en 2005 la Haute Autorité de Santé (HAS).

Les objectifs de l'évaluation des soins

Comme toutes les définitions, la qualité des soins a été systématisée par l'Organisation Mondiale
de la Santé. Celle-ci écrit textuellement que « chaque patient doit recevoir la combinaison d'actes
diagnostiques et thérapeutiques qui lui assurera le meilleur résultat en terme de santé,
conformément à l'état actuel de la science médicale, au meilleur coût pour un même résultat, au
moindre risque iatrogène et pour sa plus grande satisfaction en terme de procédures, de résultats
et de contacts humains, à l'intérieur du système de soins ». Cette définition est ambitieuse,
d'autant plus que le processus du soin est complexe, associant à la fois la présentation du malade,
la pratique du médecin, mais également le résultat d'une prise en charge ou d'une thérapeutique.
Le contexte du soin est également particulier : la mise à jour des connaissances, les nouvelles
technologies, la maîtrise des risques et les variations des dépenses de santé expliquent les
difficultés pour atteindre l'objectif défini par l'OMS [3]. Le fondement de l'évaluation médicale a été
décrit par Donabedian [4]. Celui-ci a séparé le soin en trois grandes catégories : les structures, les
procédures et les résultats. Comme il n'est pas possible de systématiser la présentation clinique
des malades, ni éventuellement les résultats des thérapeutiques, seule la systématisation des
procédures de prise en charge peut permettre d'obtenir une certaine stabilisation des résultats.
Trois points forts méritent d'être soulignés dans cette démarche
  le constat de l'écart n'est pas le terme final de l'évaluation médicale. Par rapport à
d'autres études qui sont réalisées, l'évaluation sous-tend l'application de mesures
correctives lorsqu'un écart a été visualisé ;
 l'évaluation est une dynamique qui doit souvent être intégrée dans une approche
plus large d'amélioration globale du soin et dans une politique d'amélioration de la
qualité ;
 l'évaluation n'a aucune connotation négative et doit être bien différenciée d'une
sanction.
Les objectifs de l'évaluation des soins peuvent cependant différer selon la perspective qui a
conduit à la réalisation de cette évaluation. Cette perspective va influer sur le résultat d'une
évaluation en terme clinique, en terme de qualité de vie, en terme d'économie. Le jugement sera
bien sûr différent selon que l'on se place du point de vue du système de santé (le gouvernant), le
payeur, un établissement de santé, un service hospitalier, un soignant, un patient ou si, dans un
objectif plus général, on envisage cette évaluation dans le champ de la santé publique. Cette
perspective pourra influer sur une approche collective de l'évaluation ou une approche individuelle,
notions que l'on retrouve dans l'évaluation des pratiques professionnelles (EPP).

Les concepts de l'évaluation des soins

Les concepts issus du monde de la santé
La médecine fondée sur les preuves
La médecine fondée sur les preuves ou Evidence Based Medicine (EBM) se définit comme
l'intégration des meilleures données de la recherche, des préférences des patients et de la
compétence clinique du soignant [5].
Il est cependant difficile d'utiliser l'EBM de façon quotidienne et les intervenants dans le monde de
la santé sont aidés par les différentes méthodes de synthèse de l'information.

Les méthodes de synthèse de l'information

Le nombre de publications, les progrès de la connaissance et de la technologie médicale
nécessitent que les différents professionnels de santé impliqués dans le soin puissent disposer de
synthèses critiques de l'information disponible. La technique la plus connue est basée sur les
recommandations professionnelles ou recommandations de bonne pratique. Ce sont des
propositions développées selon une méthode explicite pour aider le professionnel de santé et le
patient à rechercher les soins les plus appropriés dans des circonstances cliniques données.

Plusieurs méthodes sont utilisables pour établir des recommandations professionnelles

 les conférences de consensus ;

 les consensus formalisés d'experts ;
 les recommandations pour la pratique clinique (RPC).
De nombreuses études ont montré que l'utilisation des RPC améliorait le service médical rendu au
patient [6]. Cependant, un document publié par l'ANAES [7] a confirmé qu'il était difficile pour les
professionnels de s'approprier ces recommandations, même s'ils les ont lus et s'ils en ont pris
connaissance.
Les méthodes d'évaluation de la qualité des soins
Les méthodes de type « revue de dossiers par des pairs »
Elles reposent sur le jugement des évaluateurs, les critères de jugement n'étant pas formulés
explicitement.
Les méthodes de type « audit clinique »
Elles consistent à définir des critères de qualité sur une pratique donnée, mesurer les pratiques
réelles et mettre en œuvre des actions correctives s'il y a des écarts constatés. C'est la technique
qui a été le plus développée en France pour favoriser l'émergence du concept d'évaluation de la
qualité [1].
D'autres méthodes sont complémentaires de ce type de démarche

 le chemin clinique consiste à regarder quel est le parcours de soins des patients et
comment ils sont pris en charge dans une situation donnée ;
  la revue de pertinence des soins est basée sur l'appréciation de la justification de
l'admission en secteur hospitalier ou des journées d'hospitalisation ;
 la revue mortalité-morbidité consiste, sans aucun jugement de valeur, à essayer de
rechercher les causes de survenue de certains événements pathologiques graves et
à analyser les raisons pour lesquelles les patients sont décédés.
Les concepts nés dans le monde industriel
La gestion des risques
Initialement développée en secteur industriel et notamment dans les industries à haut risque
technologique comme l'aviation civile, l'énergie nucléaire ou la chimie, elle a été introduite en
santé dès les années 1980 aux États-Unis, sous la pression juridique et les différents procès
développés à partir de la iatrogenèse. Les différentes techniques d'analyse de cette gestion des
risques reposent

 sur le suivi longitudinal d'indicateurs qui est la technique la plus couramment

utilisée ;
 sur l'analyse des modes de défaillance, de leurs effets et de leur criticité (AMDEC) :
cette méthode a comme objectif d'optimiser la fiabilité d'un produit et d'un
processus en prévenant l'apparition des risques, c'est-à-dire détecter les défauts à
un stade précoce, recenser les risques et les hiérarchiser, mettre en œuvre des
actions préventives pour les risques dépassant un seuil de criticité ;
 sur la maîtrise statistique des processus de santé : c'est une méthode qui permet de
contrôler et d'améliorer la qualité d'un produit ou d'un processus grâce à une
analyse statistique.
L'amélioration continue de la qualité
Alors que très souvent (comme dans l'audit clinique), on met en évidence un écart en essayant de
le corriger, l'amélioration continue de la qualité se fonde sur l'amélioration systématique des
processus et l'élimination des dysfonctionnements. La démarche est pragmatique et agit par
priorité. Ce concept est issu de l'expérience industrielle de management de la qualité. Cette
approche a été utilisée en France, sous l'impulsion de l'ANDEM, sous l'appellation « Programme
d'Amélioration de la Qualité » (PAQ) [8]. Ces PAQ s'apparentent aux techniques plus connues dites
« méthodes de la qualité totale » (roue de Deming). Elles nécessitent d'associer méthodologie et
gestion (fig. 1).
Le terme ultime de cette démarche, largement employée dans certains pays, est la Gestion Totale
de la Qualité (GTQ) qui se caractérise par la mise en commun des indicateurs et des démarches
des professionnels avec les besoins et le point de vue des patients (fig. 2).
Les concepts de recherche en évaluation de la qualité
Ils reposent à la fois sur des techniques épidémiologiques où l'on va apprécier l'impact d'une
maladie, l'efficacité de l'action, la surveillance et la réévaluation des méthodes mises en place.
D'autres techniques comme les analyses économiques [9] ou les analyses basées sur la décision
médicale peuvent être employées.
• On peut séparer le soin en trois grandes catégories : les structures, les procédures et
les résultats.
• Seule la systématisation des procédures permet d'obtenir une stabilisation des
résultats
• Les objectifs sont différents selon les intervenants : système de santé, payeur,
établissement de soins, etc.
• Synthèse de l'information et recommandations professionnelles fondées sur :
conférences de consensus, consensus formalisés d'experts, recommandations pour la
pratique clinique.
• Méthodes d'évaluation de la qualité des soins : revue de dossiers par des pairs, audit
clinique.
• Gestion Totale de la Qualité : mise en commun des indicateurs et des démarches des
professionnels avec les besoins et le point de vue des patients.

Le choix et l'utilisation des méthodes

Il s'agit bien sûr d'adapter la méthode la plus appropriée à la question posée. En terme
d'évaluation de la qualité des soins, les questions posées peuvent être multiples : élaborer un
référentiel utile pour les professionnels de santé, résoudre une difficulté en cas d'hésitation de la
littérature, obtenir un état des pratiques professionnelles dans une situation donnée, résoudre un
dysfonctionnement, comparer une pratique par rapport à une référence, améliorer la prise en
charge d'une pathologie.

Le tableau I, qui ne se veut pas exhaustif, reprend de façon synthétique quelques problématiques
posées dans le cadre de l'évaluation de la qualité des soins, ainsi que les techniques qui peuvent
être utilisées. L'identification du type d'approche permet d'orienter le choix de la méthode pour
initier le projet d'amélioration de la qualité. Les ressources, humaines ou financières, sont bien sûr
très différentes, selon que l'on réalise un audit clinique sur 50 dossiers ou que l'on met en place
une conférence de consensus en cas d'hétérogénéité de la littérature. Le choix du sujet influence
le choix de la méthode. L'HAS ou une société savante auront plus de facilités pour réaliser une
conférence de consensus. Un établissement de soins utilisera les données existantes pour bâtir
des critères d'évaluation des pratiques professionnelles. Il est très important de ne pas perdre du
temps à recréer des informations existantes. C'est la raison pour laquelle l'HAS a mis en place une
Banque Française d'Evaluation en Santé (BFES), reprenant l'ensemble des recommandations de
pratique clinique de langue française et anglaise. Une banque d'évaluation des pratiques sera
également rapidement mise en place pour permettre d'avoir accès à ces référentiels.

Les techniques de synthèse de l'information

Les conférences de consensus
C'est un des premiers thèmes qui a été développé par l'ANDEM dans les années 1990 [1], qui avait
mis à la disposition des professionnels un guide de réalisation de ces techniques. Ce guide a été
réactualisé en janvier 1999 [10]. Les difficultés et limites de cette méthode sont maintenant bien
connues. La méthode « conférence de consensus » trouve sa place quand
 le thème à traiter est limité et peut se décliner en 4 à 6 questions précises. Il est
alors possible que le jury puisse, dans un délai très limité, rédiger les conclusions ;
 le thème à traiter donne lieu à controverse avec débat public sur les divergences et
prises de position de la communauté professionnelle.
Les conférences de consensus sont compliquées à organiser et coûteuses. Elles nécessitent de
disposer d'un promoteur qui va assurer le financement et confier la responsabilité de la conférence
au comité d'organisation, après en avoir choisi le thème. Ce comité d'organisation va constituer un
groupe bibliographique qui va extraire de la littérature les données disponibles, désigner les
experts, le jury et inviter le public à la conférence publique. À l'issue de celle-ci et de la
présentation des positions contradictoires, le jury, à huis clos, va délibérer pour rédiger les
recommandations avant leur diffusion. La réalisation d'une conférence de consensus peut prendre
plus d'une année. La diffusion des recommandations, ainsi que la mesure de l'impact doivent être
prévues dès la mise en place de la conférence.

La principale difficulté des conférences de consensus repose sur leur actualisation, car le
promoteur doit faire évoluer les recommandations en fonction de l'actualisation des données de la
science.

Dans le domaine pneumologique, l'une des plus récentes est la conférence de consensus
« tabagisme et grossesse ». Elle a permis de répondre à 6 questions concrètes concernant ce
facteur de risque [11].
Les recommandations de pratique clinique (RPC)
Les recommandations médicales et professionnelles sont définies dans le domaine de la santé,
comme « des propositions développées méthodiquement pour aider le praticien et le patient à
rechercher les soins les plus appropriés dans des circonstances cliniques données ». Par opposition
aux conférences de consensus [12], la méthode RPC trouve sa place quand
 le thème à traiter est vaste et se décline en de nombreuses questions et sous-
questions ;
 le travail consiste à faire une synthèse des données multiples et dispersées et qui
n'ont pas à résoudre une controverse.
La méthode RPC permet l'analyse d'une littérature abondante par le groupe de travail qui rédige
les recommandations et la prise en compte de l'avis des experts. Le promoteur peut développer
lui-même la RPC ou travailler en partenariat avec l'HAS.

L'organisation d'une RPC est la suivante

  le promoteur prend l'initiative du processus et en assure le financement. En France,
pendant de nombreuses années, l'ANAES a assuré la réalisation d'un certain nombre
de RPC tant sur le plan du financement que de la méthodologie ;
 le comité d'organisation limite le thème, définit les questions, choisit les
participants ;
 le groupe de travail réalise la synthèse des connaissances et rédige les
recommandations ;
 la partie importante d'une RPC porte sur le groupe de lecture qui valide les
informations données, apporte des informations complémentaires et des avis
d'experts.
Le contenu d'une RPC est en général séparé en trois parties

 un bref résumé, qui est souvent destiné à la médecine générale, sauf lorsque la RPC
porte sur une activité spécifique de cette discipline ;
 un texte court, qui permet d'avoir une information rapide sur le thème étudié,
d'environ 10 à 20 pages ;
 et enfin un texte long qui amène toute l'information disponible et qui a servi aux
différents groupes participants.
La SPLF a élaboré de nombreuses RPC, soit seule, soit en partenariat avec l'ANAES. Celles-ci
seront détaillées tout au long de cette série. On peut citer comme exemple la RPC sur la prise en
charge des BPCO [13] qui a permis de réactualiser les données sur ces pathologies, réaffirmer leur
importance en terme de santé publique et s'intégrer dans un plan national de prévention.
Les différentes recommandations sont gradées en fonction des niveaux de preuve de la littérature
scientifique, selon le document préconisé par l'ANAES [14]. Même si elles sont plus simples à
organiser que les conférences de consensus, les RPC demandent un temps de réalisation
important, de l'ordre de 6 à 9 mois. Face à la complexité de l'appréciation des recommandations,
a été développée une grille d'analyse de ces recommandations, la grille AGREE [15]. Cette grille,
développée au départ par l'union européenne et la fédération des centres de lutte contre le cancer
a ensuite fait l'objet d'un partenariat avec l'ANAES. Elle permet en une quarantaine de questions
de porter un jugement sur la qualité des recommandations. C'est cette grille qui est utilisée par le
groupe de travail de l'HAS pour introduire les RPC dans la BFES. Cette banque est importante car
elle met à la disposition des professionnels les recommandations de langue française, mais aussi
de langue anglaise, par l'intermédiaire de liens informatiques.
Le Consensus Formalisé d'Experts (CFE) [16]
La méthode CFE répond, par sa formalisation, à la nécessité d'objectiver l'obtention des accords
professionnels, de rendre compte avec transparence du processus qui a guidé leur élaboration.
Cette méthode est à envisager lorsque

 les données de la littérature concernant le thème choisi sont rares ou de faible

niveau de preuve, voire contradictoires ;
 l'organisation d'un débat public ne paraît pas justifiée, ce qui évite d'avoir à réaliser
une conférence de consensus.
Un CFE est particulièrement utile pour définir des listes d'indications lorsqu'il s'agit de définir ou
d'ordonner des interventions.

Le CFE se déroule en cinq phases

 une phase préparatoire, visant à produire une analyse critique de la littérature ;

 une phase de cotation, qui se décompose en trois temps :
 une première cotation individuelle des propositions de recommandations par chaque
membre du groupe,
 une réunion du groupe de cotation qui permet de discuter des résultats,
 une deuxième cotation individuelle pour chaque membre du groupe de cotation ;
 une phase de lecture par un groupe externe ;
 une phase de finalisation du texte des recommandations lors d'une réunion conjointe
des groupes préparatoires et de cotation ;
 une phase de diffusion et de mesure d'impacts.
Elle nécessite de disposer d'un promoteur qui prend l'initiative du travail, d'un groupe préparatoire
qui va synthétiser les données de la littérature, d'un groupe de cotation et d'un groupe de lecture.
Le temps nécessaire à sa réalisation est de l'ordre de six à neuf mois. Le CFE est une technique
plus souple qui, dans le respect de ces indications, permet de produire assez rapidement des
recommandations. Par rapport aux techniques développées à l'étranger, comme la méthode Delphi
ou la méthode des groupes nominaux, seules l'ANAES et l'HAS ont introduit l'existence d'un
groupe de lecture externe. Ce groupe de lecture est important car il permet d'éviter de
déconnecter les recommandations des professionnels.

• La conférence de consensus est gérée par un comité d'organisation.

• Coûteuse et difficile à organiser.
• Les recommandations de pratique clinique visent à optimiser les soins dans des
circonstances cliniques données.
• Elles sont élaborées par un groupe de travail, en tenant compte de l'avis d'experts.
• Le consensus formalisé d'experts s'applique à des domaines où la littérature est faible
et permet de produire des recommandations rapidement.

Les techniques comparatives à un référentiel

L'objectif de ces techniques est de comparer la pratique réelle à un référentiel, celui-ci étant établi
à partir de recommandations professionnelles, de consensus d'experts ou de la réglementation.
Ces méthodes nécessitent un référentiel existant ou sa construction. C'est la raison pour laquelle,
avant de se lancer dans telle ou telle technique, il est bon de regarder quelles sont les sources de
données disponibles, notamment dans la BFES.

L'audit clinique [17]

C'est la méthode la plus utilisée parmi les méthodes de comparaison dans le domaine de la santé.
Elle a été développée par l'ANDEM [1] avec comme objectif d'implanter l'évaluation de la qualité en
France.
Il s'agit d'une méthode centrée sur les pratiques de soins qui permet de les évaluer, à la fois en
tant que pratiques professionnelles ou organisationnelles. Son champ est très large et touche
l'ensemble des domaines médicaux et paramédicaux. La méthode permet d'évaluer un service, un
groupe de service, un établissement, un médecin, une pathologie, un acte de soins, une prise en
charge. Elle nécessite simplement l'élaboration du référentiel.

La méthode se déroule en six étapes comme le montre la figure 3

 le choix du thème, en fonction de sa fréquence, du risque encouru, de l'impact de
santé publique ;
 le choix des critères qui doivent être élaborés à partir d'un référentiel, d'où l'intérêt
de disposer d'une analyse de la littérature, comme les conférences de consensus ou
les RPC ;
 le choix de la méthode de mesure, étude rétrospective ou le plus souvent
prospective, avec détermination de la source d'information, de la taille de
l'échantillon et de la feuille de recueil de données (qui doit toujours être testée avant
sa réalisation) ;
 le recueil propre des données qui nécessite la mise en place d'une méthode
d'organisation pour ce recueil ;
 l'analyse des résultats, traitement des informations recueillies, calcul de l'écart entre
les pratiques attendues et les pratiques constatées, recherche éventuelle des causes
des écarts ;
 enfin, plan d'action d'amélioration et de réévaluation, ce qui est la caractéristique de
l'audit clinique et qui en fait toute l'importance.
Certains audits peuvent être répétés dans le temps, de façon à vérifier que la correction des écarts
a bien été suivie d'un effet positif. Ces audits cliniques ont surtout été développés par le personnel
infirmier, comme par exemple sur la pose de sonde urinaire, le lavage des mains, la pose des
cathéters veineux courts. Ils ont fait l'objet d'appels d'offre réguliers de l'ANAES. Ils se
développent maintenant dans le cadre de l'EPP. Par exemple, dans le cadre du contrat de bon
usage des médicaments en secteur hospitalier, les prescriptions devront être vérifiées par des
audits cliniques.

On peut prendre comme autre exemple l'antibioprophylaxie en chirurgie propre, appliquée à la

prothèse totale de hanche. Les résultats montrent que les procédures d'antibioprophylaxie sont
insuffisamment définies, mal connues, notamment par les nouveaux arrivants dans les services,
que le délai entre la 1re et la 2e injection, lorsqu'elle est réalisée en post-opératoire, n'est pas
conforme aux recommandations. Il est alors assez facile de proposer des actions d'amélioration,
comme la révision des procédures, les actions d'information, notamment pour les nouveaux
arrivants.
L'audit clinique est peu adapté à l'analyse d'une organisation et nécessite parfois d'avoir recours à
des outils complémentaires pour conduire la phase d'amélioration.

L'audit clinique ciblé [18]

Il s'agit en fait d'une méthode d'audit simplifiée. Cette méthode permet à l'aide d'un nombre limité
de critères de conduire une démarche d'amélioration des pratiques dans des délais brefs. Elle
porte souvent sur une seule partie d'un thème clinique qui a été évalué par ailleurs. Si l'on prend
l'exemple du guide d'évaluation et du traitement des pneumopathies communautaires [19], il est
possible de réaliser un audit sur la prise en charge globale des pneumopathies depuis le diagnostic
jusqu'à la thérapeutique ou, si l'on veut surtout s'intéresser à l'antibiothérapie, de ne prendre en
compte que la partie thérapeutique de ces pneumopathies et de regarder si les prescriptions sont
bien conformes aux recommandations. Il est assez facile de sélectionner dans les critères
proposés un nombre de critères plus faible permettant un recueil rapide de l'information [20]. L'HAS
met en œuvre, depuis la fin 2004, un programme d'audit clinique ciblé. Vingt-sept audits
directement utilisables par les équipes ont été développés sur huit thèmes. Le projet est conduit
dans 195 établissements de santé français. L'audit clinique ciblé est beaucoup plus facile à réaliser
et amène des résultats rapides. Il est souple et nécessite peu de moyens.
La revue de pertinence des soins [21]
Il s'agit d'une méthode permettant d'évaluer l'adéquation des soins aux besoins du patient. Elle
s'applique à un programme de soins, peut porter sur l'indication, l'initiation et la poursuite des
soins. Cette méthode a été plus particulièrement développée dans le cadre de l'hospitalisation
pour vérifier la pertinence des admissions ou des journées d'hospitalisation dans un établissement
de santé. Elle est dérivée d'un outil, l'Appropriateness Evaluation Protocol (AEP) qui pourrait être
traduit en français par Protocole d'Évaluation de la Pertinence (AEPf : AEP France).
La pertinence est évaluée par une méthode d'audit à partir d'une grille de critères spécifiques. La
particularité de cet audit est que l'évaluation pour chaque patient s'arrête dès que la séquence de
soins est considérée pertinente. L'analyse ne se poursuit que si elle ne l'est pas.

C-1 AEPf des admissions

Elle comprend 16 critères divisés en deux parties : 10 critères liés à l'état de sévérité clinique du
patient, 6 critères liés à la délivrance des soins. L'admission est jugée pertinente si l'un des
critères de la grille AEPf est présent.

C-2 AEPf des journées d'hospitalisation

Cet outil AEPf comporte deux parties : une grille de critères explicites et une série de questions.
Lors de l'évaluation des journées d'hospitalisation, la réponse OUI à l'un des critères explicites de
la grille indique que la journée est techniquement pertinente, autrement dit, elle est expliquée soit
par la fourniture de prescription médicale de haut niveau technique, soit par l'état clinique du
patient. Cette grille comprend 24 critères divisés en 3 parties : 10 items se réfèrent aux soins
médicaux, 6 aux soins infirmiers, 8 items à l'état clinique du patient.

Applications
Les grilles d'AEPf s'inscrivent dans une démarche d'auto-évaluation, dont l'objectif est de
rechercher les causes des journées non pertinentes. Leur analyse est donc primordiale. Une fois la
ou les causes identifiées, les professionnels de l'hôpital peuvent mettre en place des mesures
correctives, en particulier sur les causes internes. Un travail réalisé au CHU de Limoges, [22] a
montré que le service de neurologie de l'hôpital pouvait perdre jusqu'à 4 lits/jour d'accueil des
patients, dans l'attente d'examens complémentaires ou de résultats de scanner. La correction de
ces dysfonctionnements a permis un meilleur accueil des patients neurologiques dans ce service.
L'AEPf a cependant un certain nombre de limites

 il ne peut pas s'appliquer à toutes les spécialités ;

 il ne doit pas servir à classer des services en fonction de la non-pertinence des
journées ou des admissions ;
 il ne faut pas décrire les causes de dysfonctionnement sans mettre en place de plan
d'action ;
  on ne doit pas utiliser cette méthode pour mettre en avant les déficits structurels
sans traiter les déficits organisationnels.
Les différentes grilles d'AEPf sont en annexe du document produit par l'HAS [21]. Elles permettent
de bien analyser les besoins du patient, d'identifier les lieux d'hébergement les plus adaptés et de
rechercher la cause principale de l'admission de la présence du patient dans le service ce jour
donné. L'intérêt de son enregistrement, notamment dans le service des urgences, permet d'avoir
une idée sur le nombre de patients qui ont été adressés à tort à ce service.
L'AEPf est une méthode de qualité de seconde intention, qui vient souvent après l'audit ou le suivi
d'indicateurs. Elle doit être intégrée dans une démarche qualité plus globale, elle amène des
informations pertinentes aux établissements de soins.

• Les techniques comparatives à un référentiel mettent en parallèle la pratique réelle et

les données issues des recommandations.
• L'audit clinique évalue la qualité des soins.
• L'audit clinique ciblé évalue la qualité des soins sur un nombre limité de critères.
• La revue de pertinence des soins permet d'évaluer l'adéquation des soins aux besoins
du patient. Elle s'inscrit dans une démarche d'auto-évaluation.

L'approche par processus

Celle-ci est au centre de la démarche d'amélioration de la qualité [23]. Cette approche permet
d'identifier et de comprendre les problèmes de qualité de manière directe. Elle permet de travailler
sur des prises en charge en étudiant le circuit du patient ou sur des processus transversaux
(circuit du médicament, transfusion sanguine). L'étape initiale nécessite cependant la description
du processus souvent à l'aide d'un logigramme [23]. Si l'on prend l'exemple d'une patiente suspecte
d'une lésion mammaire, le processus de prise en charge comporte la prise de rendez-vous, la
consultation avec le chirurgien et, en fonction de l'indication chirurgicale, la consultation pré-
anesthésie, les examens complémentaires, l'accueil dans l'unité de soins, la préparation opératoire
et l'intervention.
Les méthodes d'analyse et d'amélioration d'un processus : les programmes d'assurance
qualité (PAQ)
C'est l'ANAES qui a développé ce type de démarche [23]. Si l'on prend l'exemple d'un PAQ appliqué
à la transfusion sanguine, le groupe de travail a d'abord décrit l'ensemble des processus
transfusionnels. Une enquête de pratique a été réalisée sur la prescription des concentrés de
globules rouges, la double détermination du groupe sanguin et le contrôle pré-transfusionnel.
Cette démarche a abouti à un diagnostic de situation montrant la nécessité d'améliorer la
procédure d'approvisionnement, l'hétérogénéité des indications de transfusion, l'écart par rapport
aux bonnes pratiques concernant la détermination du groupe sanguin et le contrôle pré-
transfusionnel. Des actions d'amélioration ont été engagées. Un suivi a ensuite été institué : suivi
des délais d'approvisionnement, des taux de destruction des produits, des quantités de culots
prescrits, nouvelle évaluation un an plus tard avec les mêmes indicateurs.
Ces méthodes de programme d'amélioration de la qualité sont une approche globale d'une prise
en charge, permettant d'en améliorer les différentes étapes et notamment tout ce qui touche au
caractère transversal des organisations. Elles sont plutôt développées dans des établissements qui
ont déjà l'habitude de ces techniques et qui ont déjà utilisé d'autres actions d'évaluation plus
simples.

Le chemin clinique [24]

Le chemin clinique reprend toutes les étapes de la démarche d'analyse et d'amélioration du
processus. Son champ est celui d'une prise en charge d'un patient spécifique ; il est très utilisé en
Amérique du Nord [25]. Il favorise la continuité de la délivrance des soins de qualité, la coordination
et la communication entre les acteurs, la rationalisation des soins et la gestion des risques. On
identifie 4 composantes au chemin clinique : le calendrier, les catégories de soins ou activités et
leurs interventions, les résultats attendus, l'enregistrement des écarts. Cette étape d'analyse est
importante car il est nécessaire d'identifier le besoin d'un réajustement, de l'analyser, pour
délivrer au patient les soins appropriés à son état. Il s'agit cependant d'une méthode plus longue
et plus complexe à mettre en place que les audits cliniques. L'exemple déjà évoqué concerne un
centre de lutte contre le cancer qui a mis en place un chemin clinique sur la prise en charge
chirurgicale des lésions mammaires. L'objectif était de standardiser cette prise en charge, qui était
assez consensuelle dans l'établissement. La mise en place d'un chemin clinique a permis à chaque
professionnel intervenant dans la prise en charge, de s'assurer qu'une patiente a reçu les soins
appropriés au moment où elle devait les recevoir. La première partie du travail a consisté à
élaborer le chemin clinique ; elle a porté sur toute la prise en charge, depuis la demande de
rendez-vous avec le chirurgien pour la patiente jusqu'à sa sortie, après l'intervention chirurgicale.
Le chemin clinique s'est intégré dans le dossier du patient et reprend des fiches déjà existantes ;
la fiche d'anesthésie, la fiche de bloc ont été intégrées sans modification.
Parmi les patients relevant de cette prise en charge par ce centre, 70 % des patientes entrent
dans le chemin clinique. Les limites de la méthode sont les suivantes : le chemin clinique se
décline pour une pathologie spécifique, sa mise en œuvre nécessite une modification du dossier du
patient, la méthode n'est pas adaptée pour des pathologies prises en charge trop rarement dans
un établissement.

Les méthodes spécifiques de la gestion des risques

Elle vise à fiabiliser les systèmes reposant sur l'analyse des processus. De nombreuses méthodes
sont disponibles [23]. La plus connue est l'analyse des modes de défaillance, de leurs effets et de
leur criticité (AMDEC), qui a déjà été présentée.
• L'approche par processus aborde directement la qualité des soins.
• Elle se réfère à un logigramme qui précise toutes les étapes des soins.
• Les programmes d'assurance qualité passent par plusieurs étapes : diagnostic, mise
en œuvre d'actions, suivi.
• Le chemin clinique reprend les étapes de la démarche d'analyse et d'amélioration du
processus de soins.

L'approche par problème

L'objectif de ces techniques est d'analyser un problème ou un dysfonctionnement afin d'éviter sa
réapparition.

Méthode de résolution de problèmes

Il s'agit là encore d'une technique issue de l'industrie, développée dans un premier temps au
Japon. Elle repose sur une suite logique d'étapes concernant à lister les problèmes, puis à choisir
un problème prioritaire pour l'établissement, identifier les causes, déterminer le poids de chaque
cause, retenir les causes essentielles, choisir la solution et mettre en place la correction. Pour
l'analyse du problème, de nombreux outils sont disponibles et l'on peut faire référence au
document de l'ANAES [23]. Nous ne les détaillerons pas, mais l'on peut utiliser une feuille de relevés
des données, des histogrammes classant les problèmes par ordre décroissant (diagramme de
Pareto), le diagramme causes-effets, qui est largement utilisé dans le domaine de la santé, le
QQOQCP (quoi ? qui ? où ? quand ? comment ? pourquoi ?), les logigrammes.
Le choix de l'outil utilisé sera fonction de l'expérience des personnes impliquées et du temps et
des moyens disponibles. Les exemples de résolution de problèmes sont multiples. Dans un
domaine relativement simple concernant l'accueil des patients, un établissement a mis en place
une résolution de problèmes pour améliorer la qualité de la prise en charge : l'identification des
causes d'attente à l'arrivée des patients dans le service de soins a permis de sélectionner trois
causes principales : le départ tardif du patient précédent, la mauvaise planification des entrées, le
départ simultané des patients entraînant les difficultés de préparation des chambres. L'attente des
patients qui était de l'ordre de 30 minutes a été diminuée de 80 % après la mise en place des
actions correctrices.

Les revues de mortalité-morbidité [26]

Elles sont très employées en milieu anglo-saxon, alors qu'en France elles sont pour l'instant
encore peu développées. Il ne s'agit en aucun cas d'un jugement de valeur sur les incidents
survenus, et l'objectif est d'identifier et d'analyser les événements graves ayant eu ce type de
conséquences. Elles peuvent être mises en place dans un service, un département ou un
établissement. L'objectif est d'identifier les événements évitables, de mettre en place les solutions
pour éviter qu'ils se reproduisent. Elles se font dans le cadre de réunions spécialement dédiées au
cours desquelles le médecin ayant analysé le dossier le présente. Celui-ci est discuté par l'équipe.
Le groupe recherche alors, en cas d'événement évitable, les actions à mettre en place pour que
celui-ci ne se reproduise pas.

Sur le plan juridique, les objectifs de ces réunions étant clairement définis, leur existence ne
modifie en rien les principes généraux de la responsabilité civile, pénale ou administrative ou
disciplinaire. Les comptes rendus sont clairement distincts du dossier patient. Ces documents,
anonymisés, non discriminants, non-identifiants, respectent les dispositions en relevant du secret
professionnel. Il faut donc rassurer les professionnels de santé quant à leur utilisation.
L'intérêt de la méthode est

 d'assurer un retour d'expérience essentiel et de tirer les enseignements des erreurs

et situations particulières ;
 d'assurer la transparence et la cohésion de l'équipe ;
 d'améliorer la sécurité des soins.
Une organisation précise est nécessaire, de façon à éviter les mises en causes individuelles.

• La méthode de résolution de problèmes détermine le problème prioritaire et choisit

une solution.
• Les revues de mortalité-morbidité ont pour objectif d'identifier et d'analyser les
événements graves et de proposer des solutions.

Méthode d'analyse des causes d'un événement indésirable

Tous les outils que nous avons déjà évoqués pour la résolution de problèmes peuvent être
appliqués à l'analyse structurée d'un événement indésirable pour en identifier les causes
immédiates et les causes plus profondes. Les diagrammes causes-effets sont particulièrement
utiles.

Il existe un lien entre les revues mortalité-morbidité et les analyses des événements indésirables,
tels qu'ils sont étudiés en gestion des risques. Les revues de mortalité-morbidité doivent faire
l'objet d'une politique institutionnelle inscrite au Projet d'Etablissement et décrite dans le
règlement intérieur. Une grande liberté doit être laissée au service pour déterminer leurs
modalités de fonctionnement.

La figure 4 montre la relation pouvant exister entre les deux thèmes. La revue mortalité-morbidité
n'a pas comme objectif de réduire les déclarations de risques. C'est un dispositif complémentaire
de l'analyse de la gestion des risques.

Les indicateurs
Les indicateurs sont maintenant largement utilisés dans les démarches d'évaluation. Ils sont
également très largement utilisés dans la gestion des risques, dans le processus d'accréditation
des établissements. Ceux-ci mettent en place des suivis longitudinaux d'indicateurs pour répondre
à certains thèmes du formulaire d'accréditation. On peut citer de nombreux exemples où ces
indicateurs sont maintenant largement utilisés

 les comités de lutte contre les infections nosocomiales surveillent de nombreuses

pathologies par des mesures répétées de prévalence. Le principe est celui des
tendances séculaires, c'est-à-dire que l'on surveille au fil du temps la survenue d'un
incident et que le dépassement d'un seuil préalablement fixé va déclencher une
enquête d'analyse d'écarts et des mécanismes de correction ;
 parallèlement, un grand projet national, coordonné par l'INSERM et l'ANAES, le
projet COMPAQH (coordination pour la mesure de la performance et l'amélioration de
la qualité hospitalière) [27], a permis de sélectionner un certain nombre d'indicateurs
adaptés à chaque type de structure de prise en charge (Médecine Chirurgie
Obstétrique, centre de lutte contre le cancer, psychiatrie, soins de suites et de
réadaptation). Ces indicateurs peuvent être facilement utilisés dans le cadre des
établissements de soins et de l'évaluation des pratiques professionnelles en
établissement. Les thèmes couverts correspondent à des pathologies fréquentes en
santé publique, comme les accidents vasculaires cérébraux, les césariennes,
l'infarctus du myocarde. L'ensemble des expériences internationales indique que le
nombre moyen d'indicateurs utilisables et applicables est de l'ordre de 5 à 20. En
contrepartie, ces indicateurs doivent avoir un fort pouvoir de dépistage de
phénomènes relatifs à la qualité des soins ;
 d'autres indicateurs peuvent avoir comme référence des valeurs internes à un
établissement. L'exemple du suivi d'un taux de chutes est présenté sur la figure 5.
L'indicateur doit être mesuré de la même façon pour autoriser le suivi dans le
temps [28]. Des analyses statistiques plus poussées peuvent être associées à ce type
de démarche. Utiliser un indicateur nécessite de connaître et de comprendre les
variations obtenues.
Les indicateurs sont facilement compréhensibles par les professionnels car ils s'intègrent à
l'exercice médical. Ils peuvent également faciliter l'EPP et sont donc facilement compréhensibles
par l'ensemble des intervenants.

Les limites de l'utilisation de ces indicateurs reposent sur leur qualité (en terme de validité), sur la
lourdeur éventuelle du recueil (si les données ne sont pas disponibles dans le système
d'information). C'est la raison pour laquelle il vaut mieux essayer de limiter leur nombre lorsque
l'on démarre cette approche et toujours essayer de valider le système d'information permettant le
recueil.

La recherche évaluative
La recherche évaluative, telle que nous l'avons définie plus haut, porte sur plusieurs thèmes

 l'utilisation de l'épidémiologie ;
 les techniques économiques ;
 les mesures d'évaluation des interventions ; comme les études « ici-ailleurs » ou
« avant-après » ;
 la maîtrise statistique des processus de santé (MSPS) [28].
Elle est issue de l'industrie est adaptée au suivi en continu d'indicateurs pour une amélioration
dynamique de la qualité d'un processus. Son objectif est de comprendre la variation des valeurs
recueillies (notamment pour les indicateurs) et d'appliquer cette variation à une nouvelle forme de
pilotage des institutions. Elle repose sur une mesure spécifique (la capabilité) qui établit un
rapport entre la performance réelle d'un procédé et la performance demandée. Les dispersions
d'un processus peuvent être dues à deux grandes causes

 les causes communes, les plus nombreuses, qui sont dues au hasard et qui sont
utilisées par les statistiques ;
 les causes spéciales qui sont les causes identifiables, irrégulières, instables et
difficiles à prévoir. L'apparition d'une cause spéciale nécessite une intervention sur le
procédé. La MSPS prévient l'apparition de ces causes spéciales car la dispersion sera
visualisée en temps réel sur une carte de contrôle.
Plusieurs outils sont utilisables dans cette technique

 les cartes de contrôle ou de suivi, tel que le taux de chute présenté dans la figure 4 ;
 le journal de bord ou de suivi : c'est un document sur lequel sont consignées les
interventions et les modifications effectuées sur les processus et les anomalies
rencontrées. Il est associé en fait à la carte de suivi de l'indicateur ;
 les indicateurs dits de « capabilité ». Ils permettent de déterminer si un processus
d'étape doit obtenir des résultats conformes à des spécifications formulées par
ailleurs. Ces indicateurs sont spécifiques à chaque indicateur choisi.
Les principaux domaines d'application de la MSPS sont le suivi chronologique d'un indicateur sur
un thème précis et, au niveau institutionnel, l'évaluation de la qualité des établissements. Il s'agit
alors d'une démarche s'intéressant à une batterie de l'indicateur prédéfini.

Ces techniques ont essentiellement été développées au niveau des hôpitaux nord-américains De
nombreux exemples d'application de la MSPS sont donnés dans le document de l'HAS [28]. Il touche
le plus souvent le domaine de l'infectiologie et des pathologies nosocomiales, mais on peut
également l'utiliser pour analyser un programme de formation à la qualité des soins aux urgences,
l'insatisfaction des patients en consultation, la variabilité d'un examen paraclinique (comme la
mesure du débit de pointe chez l'asthmatique). Ces techniques demandent des compétences
statistiques particulières et ne sont en tout cas pas applicables directement lorsque l'on met en
place des actions d'évaluation de la qualité des soins.
• La recherche évaluative, issue de l'industrie, suit en continu des indicateurs pour une
amélioration dynamique de la qualité d'un processus.

Les outils d'évaluation de la qualité des soins dans le contexte

réglementaire sur la qualité
Trois grands domaines sont concernés en médecine par l'évaluation de la qualité des soins.
L'accréditation des médecins et des équipes médicales
Depuis la mise en place de l'accréditation en 1997, de nombreux établissements ont eu leur visite
d'accréditation. Ceci a eu comme conséquence de développer une dynamique d'évaluation dans
les établissements et des programmes d'amélioration de la qualité. La nouvelle version du manuel
d'accréditation [29] concerne, dans son chapitre IV, l'évaluation des pratiques professionnelles. Il
est clairement écrit que des pathologies, des indicateurs, doivent être utilisés dans un objectif
qualité à l'intérieur des établissements et que ceux-ci doivent préciser la nature exacte des actions
entreprises. L'intérêt est que la participation à ces actions collectives implique, pour les médecins,
l'évaluation individuelle des pratiques professionnelles. Le développement de l'accréditation est
donc très important pour suivre la dynamique mise en place.
L'obligation individuelle d'EPP pour les médecins
Alors que les décrets en 1999 avaient insisté sur l'importance de cette évaluation en médecine
ambulatoire, quelle soit individuelle ou collective, la loi du 13 août 2004 a de nouveau souligné
l'obligation pour tout médecin de participer à des EPP. Des commissions se sont mises en place au
niveau de l'HAS et ces actions vont être entreprises à grande échelle à partir de 2006 [2].
L'obligation de Formation Médicale Continue
Celle-ci est prévue par la loi de santé publique du 9 août 2004 et par le décret du 14 avril 2005.
Une forme recommandée de Formation Médicale Continue est la participation à des actions
d'évaluation et notamment d'EPP [2].
On voit que ces différentes obligations réglementaires replacent l'évaluation des pratiques au
centre du système. La pertinence des soins réalisés, la gestion des risques, les actions
d'évaluation et d'amélioration, que ce soit en médecine ambulatoire ou en établissement, sont
donc devenus plus familières aux différents professionnels de santé, notamment médicaux [2]. Le
développement d'une banque de référentiels d'EPP, l'utilisation de méthodes simples dans un
premier temps, comme l'audit clinique, l'analyse de processus, le chemin clinique et les
indicateurs doivent permettre de garder cette dynamique. La difficulté est la pérennité de la
démarche comme cela a été montré au CHU de Grenoble [30]. Cinq ans après le début du PAQ,
seuls 20 % des services restaient actifs. Il reste encore du chemin à parcourir pour que ce concept
soit complètement adopté dans notre pays.
• L'accréditation, mise en place en 1997, a permis de développer une dynamique
d'évaluation dans les établissements et des programmes d'amélioration de la qualité.
• La participation à ces actions collectives permet l'évaluation individuelle des pratiques
professionnelles.
• La formation continue est obligatoire depuis 2004. Elle englobe la participation
obligatoire à des actions d'EEP.

Conclusion
Ce texte a permis de décrire de nombreux outils, des plus simples aux plus complexes,
notamment sur le plan statistique. Il doit permettre au lecteur d'apprécier les différentes
techniques auxquelles il sera un jour ou l'autre confronté, dans sa pratique comme dans ses
lectures.

La France a souvent besoin de catalyseurs et l'EPP en est un très bon exemple. Sa situation
transversale entre l'évaluation des pratiques des soins ambulatoires, l'évaluation des pratiques
hospitalières, l'évaluation des réseaux doit permettre de promouvoir l'évaluation de la qualité des
soins à l'échelle nationale.

Annexe
Annexe 1 : Glossaire des termes employés
ANDEM : Agence Nationale pour le Développement de l'Evaluation en Médecine

ANAES : Agence Nationale pour l'Accréditation et l'Evaluation en Santé

HAS : Haute Autorité de Santé

EPP : Evaluation des Pratiques Professionnelles

EBM : Evidence Based Medicine

CdC : Conférence de Consensus

RPC : Recommandations de Pratique Clinique

CFE : Consensus Formalisé d'Experts

AC : Audit Clinique

ACC : Audit Clinique Ciblé

RMM : Revue Mortalité Morbidité

AEP : Appropriateness Evaluation Protocole

AMDEC : Analyse des Modes de Défaillance, de leurs Effets, de leur Criticité

PAQ : Programme d'Assistance Qualité

GTQ : Gestion Totale de la Qualité

MSPS : Maîtrise Statistique des Processus de Santé

BFES : Banque Française d'Evaluation en Santé

COMPAQH : Coordination pour la Mesure de la Performance et l'Amélioration de la Qualité

Hospitalière

À RETENIR

• La création de l'Agence Nationale pour le Développement de l'Évaluation en Médecine (ANDEM) a

permis de mettre en place l'évaluation médicale en France.

• L'Agence Nationale d'Accréditation et d'Évaluation en Santé (ANAES) a effectué un travail

considérable en termes d'organisation et de production, notamment par l'intermédiaire de son
Conseil Scientifique.

• La Haute Autorité de Santé (HAS) a des missions élargies, recentrées sur l'Évaluation des
Pratiques Professionnelles.

• Les méthodes utilisables pour l'évaluation de la qualité des soins sont résumées dans
le tableau I.
• L'évaluation de la qualité des soins peut porter sur plusieurs points, comme élaborer un
référentiel utile pour les professionnels de santé, résoudre une difficulté en cas d'hésitation de la
littérature, obtenir un état des pratiques professionnelles dans une situation donnée, résoudre un
dysfonctionnement, comparer une pratique par rapport à une référence, améliorer la prise en
charge d'une pathologie.