Aeres évolution des critères d'évaluation

Evaluation des unités de recherche

L'Aeres revoit ses critères de notation


Le conseil de l'Aeres a adopté un nouveau système de notation des unités de recherche, jeudi 8 octobre 2008. À partir de l'évaluation de la vague D, qui débute le 15 octobre 2008, l'agence utilisera une notation multicritères pour les unités et les équipes de recherche. "Une note unique ne peut pas refléter l'ensemble de l'évaluation d'une unité", explique à l'AEF Jean-François Dhainaut, président de l'Aeres. L'actuelle note (A+, A, B ou C) sera donc remplacée par "un ensemble de quatre notes et d'une note globale", détaille Pierre Glorieux, président de la section des unités de recherche. Les quatre axes de cotation concernent la production (qualité, quantité, impact), l'attractivité (nationale, internationale...), la stratégie (management, lancement de jeunes équipes...) et le projet (qualité, opportunité...).

"Nous avons été confrontés, lors de l'évaluation de la vague C, à des unités de très bon niveau mais mal organisées, ou ne faisant émerger aucun jeune. À l'inverse, nous devons pouvoir envoyer un signal fort de soutien à une unité qui ne mérite pas un A+ pour sa qualité scientifique, mais qui s'est lancée sur un thème de fort intérêt sociétal", indique Pierre Glorieux. La nouvelle notation "doit permettre d'éviter la langue de bois, de dire clairement s'il y a un problème scientifique ou s'il y a un problème d'organisation", renchérit Jean-François Dhainaut.


LES CRITÈRES DE NOTATION

La mesure de la qualité de la production scientifique et de son impact se fera "au regard des missions de l'unité", détaille Pierre Glorieux. "De plus en plus, nous souhaitons que les unités fassent ressortir leurs résultats marquants, qu'elles expliquent en quoi ils sont intéressants", poursuit-il. Ainsi, l'établissement de protocoles en recherche clinique, les déplacements de méthodologie ou de questionnement en SHS, "peuvent être portés au crédit d'une équipe". Les actions de valorisation, le dépôt de brevets ou de licence, le nombre d'emplois créés, la participation à des pôles de compétitivité, en font également partie.

La deuxième note portera sur l'attractivité de l'unité. Elle sera mesurée par sa capacité d'attirer des doctorants ou des post-doctorants de bon niveau. Leur origine géographique témoignera du rayonnement régional, national ou international de l'unité. Sa "bonne insertion dans le tissu socio-économique ou culturel" sera également prise en compte.

L'évaluation de la stratégie débouchera sur une troisième note. "Nous chercherons à voir s'il existe une dynamique collective, visible par l'organisation de séminaires ou la mutualisation d'équipements par exemple", expose Pierre Glorieux. Il s'agira également de mesurer "la capacité à faire émerger de jeunes équipes, de soutenir la prise de risques". Enfin, la quatrième note concernera le projet de l'unité. "Nous évaluerons si le projet est bien défini, mais aussi s'il existe un projet alternatif en cas d'échec", résume Pierre Glorieux.


LES NOTES DÉTERMINÉES PAR CONSENSUS

"Pour l'instant, nous avons listé les différents critères qui permettront l'attribution des 4 notes. Nous allons demander à chaque comité d'experts de préciser son référentiel", c'est-à-dire la pondération des critères en fonction de la discipline concernée, annonce Pierre Glorieux.

Les notes seront attribuées par un panel de présidents de comité de visite et par le délégué scientifique, qui se réuniront à l'issue de la rédaction du rapport d'évaluation. "Cette procédure collégiale doit permettre au président du comité d'évaluation de se confronter avec la vision d'autres comités. Les participants devront trouver un consensus sur les quatre notes ainsi que sur la note globale", décrit le président de la section des unités de recherche. En cas d'échec, ils devront rédiger deux propositions de notation argumentées, entre lesquelles le directeur tranchera.


PAS D'ALGORITHME

Pierre Glorieux souligne que "ni les quatre notations spécifiques, ni la notation globale ne découleront de l'application d'un algorithme, car elles requièrent l'intégration par des experts d'éléments d'appréciation, prenant en compte l'évolution actuelle de la science et la façon dont elle se construit, avec ses spécificités, dans chaque champ thématique".

"Cette approche est destinée à fournir aux différents acteurs (directeurs d'équipes et d'unités, présidences d'université, directions scientifiques...) une information plus pertinente et plus opérationnelle que lors de la vague précédente", selon l'Aeres. Mais l'agence prévient qu'elle "ne remplace évidemment pas une lecture du rapport fourni et en particulier de sa conclusion dégageant les points forts, les points faibles et fournissant les recommandations".

Télécharger la note de l'AERES (Octobre 2008)