2012: l’année du AAA ? Ou bien l’année où de nombreuses organisations vont le perdre et donc se plaindre de l’absurdité de l’idée même de note?

J’ai reçu récemment une nouvelle publication « IT Business Review » - Il est surprenant qu’on publie encore de nouveaux magazines papier ! – défendant une note type AAA pour les fournisseurs IT : éditeurs de logiciels, intégrateurs de systèmes, sociétés de conseils.
La proposition est d’obliger les DSI à effectuer des évaluations indépendantes et anonymes avec le support d’un tiers. La qualité des services fournis serait mesurée 3 fois : Avant le démarrage du projet, pendant le projet et après la fin du projet. Les DSI doivent attribuer une note de 1 à 10 à chacun de 28 critères définis. Ces notes sont agrégées pour obtenir une note globale constituée de 3 notes, une pour la partie avant le démarrage, une pour pendant le projet, une pour après le projet par exemple AAA, ABA, ABB. La note A signifie que l’agrégation des notes de tous les critères est supérieure à 8/10. Je vois déjà l’importance du rôle du tiers (en fait très similaire à celui des agences de notation) : Des algorithmes opaques, des facteurs de pondération, des plaintes de certaines entreprises demandant pourquoi leur note a baissé ou pourquoi elle est inférieur à celle de leur concurrent…
La dernière question posée aux juges (les DSI) serait : Est-ce que vous recommanderiez ce fournisseur ? Selon “IT Business Review”, 20% des participants ne recommanderaient pas ces fournisseurs à d’autres DSI (mais quelle est la taille du panel utilisé pour ce sondage ?)
J’aimerais partager avec vous quelques-uns des critères utilisés :
Avant le démarrage du projet :
Pertinence de la roadmap technologique, Changements dans l’équipe commerciale durant les négociations, possibilité de discuter les conditions contractuelles et financières du contrat…
Performance de la solution, réactivité du fournisseur, qualité du transfert de connaissance.
Rapport qualité coût, satisfaction des utilisateurs, respect des engagements…
Je ne critique pas ces définitions, je mets juste en question l’homogénéité et les possibilités de généralisation du système proposé.
N’importe quel expert en mesures réagirait immédiatement et se plaindrait de la difficulté d’agréger et de comparer de telles notes. De plus les fournisseurs seraient extraordinairement frustrés. En effet le système n’est acceptable et ne peut être déployé que si une majorité de fournisseurs sont notés AAA ou bien si la communauté des fournisseurs trouve d’excellents arguments justifiant qu’une note A- ou B ne remet pas en cause la capacité de l’équipe fournisseur à être un partenaire fiable.
Où est mon erreur ? Est que ce système est vraiment différent de la notation financière ?
Dans tous les cas le critère le plus important demeure la valeur ajoutée du projet pour le client.
Comment est-ce qu’un panel de DSI indépendants pourrait évaluer si facilement cette valeur ajoutée ? Nous devrions plutôt travailler sur une meilleure façon de la définir et la mesurer, un point c’est tout.