Il s’agit ici, pour nous, de faire un focus sur ce qu’est une évaluation par opposition à un audit.
L’évaluation a pour objet :
- De donner un aperçu du niveau de ce que l’on évalue par rapport à un référentiel donné
- D’identifier les points d’attention qui peuvent nous permettre une amélioration
L’audit, lui, vise à détecter les non-conformités et à produire des actions de correction.
Quand l’audit permet de travailler sur des points précis et produit un résultat binaire (conformité globale ou non), l’évaluation nous donne plus volontiers une vue d’ensemble et un positionnement sur une échelle de maîtrise de la qualité. L’évaluation concerne le respect des processus par les acteurs des activités concernées et produit un retour à la fois sur les pratiques (la mise en œuvre des processus) et sur les processus (pertinence de leur contenu).
Dans la suite de l’article, nous prendrons pour exemple le référentiel CMMi et la méthode d’évaluation SCAMPI pour illustrer nos propos.
Préparation
Dimensionnement et objet
Une évaluation est réalisée par une équipe hiérarchiquement indépendante (ni juge ni partie) de l’activité évaluée (mais il n’y a pas d’obligation à ce que l’équipe soit externe). Lors d’une évaluation officielle, un chef évaluateur aura pour unique fonction le respect de la méthodologie d’évaluation.
L’évaluation porte sur un périmètre d’activité et sur un ensemble de processus constituant le référentiel de l’organisation, par exemple, une entité qui gère des projets pour un client donné, une technologie donnée, un contexte particulier. On examinera un échantillon d’activités que l’on considèrera comme représentatif.
Formation d’une équipe de revue
L’équipe d’évaluation est constituée de membres qui seront disponibles pour réaliser les travaux d’examen des preuves, d’entretiens, d’analyse et de délibération, de synthèse des recommandation.
Matériel
L’équipe peut s’appuyer sur des référentiels de bonnes pratiques qui identifient les exigences et recommandent des pratiques pour les satisfaire.
Un support de recueil des éléments permet d’enregistrer les références de ce qui démontre la conformité à chacune des exigences. L’identification d’un élément de preuve pour chaque exigence et chaque prestation choisie dans l’échantillon va permettre de déterminer si les exigences sont totalement respectées, en grande partie ou partiellement respecter, non respectées ou non applicables.
Planification
La planification comporte plusieurs phases : après la constitution de l’équipe, celle-ci doit être formée à la méthodologie. Une phase d’examen des preuves recueillies pour chaque exigence est réalisée de manière à avoir plusieurs avis sur la pertinence des preuves. Ces preuves viendront étayer des assertions recueillies dans une phase d’interviews permettant de vérifier les pratiques quotidiennes. Une phase de délibération permet d’évaluer le respect des pratiques tandis que les remarques sont recueillies pour alimenter la liste des opportunités d’amélioration. Les résultats d’analyse seront répertoriés en forces et faiblesses, non conformités.
La durée de l’évaluation est variable, elle dépend de la taille de l’échantillon qui déterminera notamment le nombre d’entretiens à réaliser. Afin de réduire cette durée, il sera très utile de faire la collecte des preuves par anticipation.
Recueil des preuves
Un recueil de preuves par prestation, pour chaque exigence, les preuves qui permettent de démontrer le respect des différents aspects de l’exigence dans la durée et une explication indiquant comment la preuve contribue à la démonstration.
Interviews
Les interviews permettent de comprendre les pratiques effectives des acteurs à l’aide de questions ouvertes et au travers du discours, de repérer les éléments correspondants à des exigences. Des questions plus précises pourront être posées sur les attendus non évoqués.
Résultats
Délibération
L’évaluation repose sur le consensus : si chaque membre de l’équipe d’évaluation considère que chacune des pratiques répondant aux exigences est complètement ou largement mise en œuvre, le résultat est positif. Toute objection sera discutée de manière à déterminer si elle correspond à une non-conformité, une faiblesse ou simplement une opportunité d’amélioration.
Les pratiques sont réparties en niveaux de maturité et pour atteindre un niveau donné, il faut que toutes les pratiques associées fassent l’objet d’un consensus quant à une mise en œuvre complète ou largement répandue.
Identification des points d’attention
La clé de l’interprétation des défauts de pratique est la distinction entre l’absence de pratique et la qualité de la pratique mise en œuvre. Par exemple, l’absence de planification de revue des risques est une non-conformité, par contre, une fréquence inadéquate parce que trop faible, est une faiblesse qui sera mentionnée comme telle dans le rapport d’évaluation et devra faire l’objet d’une action. La mise en place d’une instance dédiée à l’examen des risques peut être proposée comme une opportunité d’amélioration dans le contexte de l’organisation.
Rapport et publication
Le rapport d’évaluation est un document qui présente les travaux effectués et les résultats globaux et processus par processus, relevant les points d’attention par catégorie.
Le résultat global est le niveau de maturité constaté, c’est-à-dire le niveau jusqu’auquel toutes les exigences sont au moins largement satisfaites.
L’évaluation pourra faire l’objet d’une publication officielle. Les évaluations CMMi de type SCAMPI A sont enregistrées sur un site dédié qui permet de communiquer et de comparer les évaluations au niveau mondial.
Et après…
L’évaluation est un aboutissement dans le contexte d’une démarche visant à communiquer sur la maturité de l’organisation (auprès des clients notamment) mais c’est aussi un point de départ pour l’amélioration continue des processus dont l’aptitude fait partie intégrante de la maturité
Priorisation
Les points d’attention entre dans le registre des améliorations potentielles de l’organisation. Cette liste doit être revue périodiquement de manière à prioriser les améliorations, étudier la mise en œuvre, notamment si elles sont retenues comme prioritaires par la hiérarchie.
Mise en œuvre des améliorations
La mise en œuvre des améliorations peut se traduire par des modifications de processus, des mises en place d’outils, de moyens de contrôle,… Les mises en œuvre doivent être déployées dans l’organisation dans son ensemble et pour cela, un accompagnement est utile, en particulier si des formations sont nécessaires. Le déploiement fera l’objet de mesures de son étendue et une évaluation sera faite pour mesurer l’efficacité de l’amélioration, bouclant ainsi un cycle d’amélioration.
En résumé...
- L’évaluation sert de point de départ pour traiter un problème particulier ou avoir une idée du niveau de l’organisation.
- Elle sert aussi de point de contrôle de mise en œuvre des améliorations
- Les évaluations régulières permettent de suivre l’évolution du niveau et à se positionner par rapport aux autres organisations
- Les résultats d’évaluations donnent des indications à la gouvernance de l’organisation pour prioriser les efforts d’amélioration.
N'hésitez pas...
