Arguments francais

«The Swiss way to Research Quality ». A Conférence de clôture du programme  «Performances de la recherche en sicences humaines et sociales» 3.-4. Novembre 2016, Université de Berne

Respecter la diversité dans l’évaluation de la recherche: 10 arguments

1.       L’approche ascendante (bottom-up)

Pour obtenir des résultats qualitatifs pertinents lors des évaluations, une participation appropriée des chercheurs est nécessaire. Les procédures d’évaluation qui sont refusées par la communauté scientifique ne permettent pas d’atteindre l’effet visé.

2.       Les profils institutionnels
Que ce soit sur le plan local, national ou international, les instituts universitaires affichent des profils variés et des objectifs stratégiques différents. Les institutions décident elles-mêmes de la forme appropriée que doit prendre une évaluation en tenant compte des différents groupes d’universitaires.

3.       Définir les intérêts de connaissance
La visibilité des différents intérêts de connaissance et des règles normatives fait également partie de la mise en lumière et de l’évaluation de la recherche. La raison de l’évaluation, la méthodologie ainsi que les objectifs et les éventuelles répercussions liés à l’évaluation ont besoin d’être clairement définis.

4.       Prendre en considération les différentes cultures scientifiques

Les cultures scientifiques diverses entre les disciplines, mais aussi au sein des disciplines requièrent des formes d’évaluation différenciées. Les critères et les indicateurs d’évaluation des activités de recherche, appliqués à un domaine spécialisé, ne peuvent pas être transposés tels quels à un autre domaine. Comme les procédures, ils font en conséquence l’objet d’une adaptation à chaque objet d’évaluation.

5.       Mesures

Certains critères pour une recherche d’excellence échappent à la mesurabilité par indicateurs. Ces derniers sont un élément important des évaluations de qualité appropriées et ne peuvent être ignorés. Aucun critère ni aucun indicateur ne peut rendre compte en totalité de la qualité d’une étude scientifique. C’est pourquoi il convient de toujours utiliser différents indicateurs pour résoudre une problématique. Le choix de ces derniers est fonction des objectifs liés à l’évaluation. Ce n’est pas parce que quelque chose est mesurable qu’elle doit être mesurée.

6.       Impact de la recherche
La recherche a un impact très disparate sur la société et alimente les débats sur des problèmes sociaux, culturels, politiques, économiques et écologiques sans que cette contribution soit toujours l’expression directe et manifeste de la recherche. Les relations entre les chercheurs et les différents acteurs de la société sont en l’occurrence nombreuses. Via de telles relations, les sciences sociales et humaines ont un fort impact sociétal. La dimension de ces relations doit être mise en lumière lors des procédures d’évaluation portant sur l’efficacité de la recherche.

7.       La qualité au lieu de la quantité
L’évaluation des indicateurs spécifiques d’une activité de recherche doit éviter de susciter des effets contreproductifs qui iraient à l’encontre de l’objectif de promotion d’une recherche de haute qualité. C’est pourquoi l’accent est mis sur la qualité du processus et sur les résultats de la recherche et non sur un rendement quantitatif le plus élevé possible.

8.       Tenir compte du contexte
L’évaluation des activités de recherche n’est pas un processus clos sur lui-même, mais est tributaire du contexte. Un instrument pertinent pour juger d’une institution n’est pas nécessairement utilisable pour évaluer un parcours universitaire dans le cadre d’une procédure de candidature pour la relève scientifique. Pour qu’une évaluation soit réussie, le contexte doit être défini en amont.

9.       La recherche, un processus longue durée
La recherche est un processus qui s’inscrit dans le long terme. Les sciences humaines et sociales sont souvent le cadre de réflexions sur des problématiques qui englobent de longues périodes imbriquées, ce qui influe à son tour sur la durée du processus de recherche. Ainsi, une évaluation complète de la qualité et de l’activité ne se limitera pas uniquement à des résultats concrets, mais envisagera tout le processus de recherche. Notons aussi que le fruit de la recherche n’est pas toujours directement appréhendé, mais qu’il ne sera souvent manifeste qu’après des années, voire dans certains cas des décennies. L’accueil restreint que peut avoir un texte dans les premières années suivant sa publication ne signifie pas qu’il n’aura pas, plus tard, des répercussions durables.

10.   Répondre aux exigences scientifiques

Les procédures d’évaluation à la hauteur de la diversité de la recherche présentent un haut niveau de complexité. C’est pourquoi il est essentiel qu’elles reflètent de manière appropriée l’état actuel de la recherche sur les évaluations. Les évaluations doivent ainsi elles-mêmes répondre à des exigences de qualité scientifiques. Cela implique également que leur méthodologie affiche la transparence et soit compréhensible de l’extérieur.

Thesen deutsch

Vielfalt in der Forschungsevaluation beachten: 10 Thesen 

1.       Bottom-up approach

Die angemessene Mitwirkung von Forschenden ist notwendig, um im Rahmen von Evaluationen sinnvolle Ergebnisse hinsichtlich der Qualität zu erzielen. Evaluationsverfahren, die von der Wissenschaftsgemeinschaft nicht angenommen werden, sind nicht zielführend. 

2.       Institutionelle Profile
Hochschulinstitute haben unterschiedliche Profile und unterschiedliche strategische Ziele – sowohl auf lokaler, wie auch nationaler und internationaler Ebene. Die Institutionen entscheiden selbst unter Einbezug der verschiedenen Gruppen von Hochschulangehörigen, über die angemessene Form der Evaluation.

3.       Erkenntnisinteresse bestimmen
Zur Sichtbarmachung und Evaluation von Forschung gehört auch die Sichtbarmachung unterschiedlicher Erkenntnisinteressen und normativer Vorgaben. Der Anlass der Evaluation, die Methodik und die mit der Evaluation verbundenen Ziele und möglichen Konsequenzen benötigen eine klare Definition.

4.       Unterschiedliche Wissenschaftskulturen beachten
Unterschiedliche Wissenschaftskulturen zwischen, aber auch innerhalb der einzelnen Disziplinen machen differenzierte Formen der Evaluation notwendig. Kriterien und Indikatoren zur Bewertung von Forschungsleistungen, die in einem Fachbereich angewendet werden, können nicht unbesehen auf einen anderen Fachbereich übertragen werden. Sie werden daher, genauso wie die Beurteilungsverfahren, an den jeweiligen Evaluationsgegenstand angepasst.

5.       Messungen
Es gibt Kriterien für gute Forschung, die sich der  Messbarkeit durch Indikatoren entziehen. Diese bilden einen wichtigen Bestandteil angemessener Qualitätsbeurteilungen und können nicht ignoriert werden. Kein Kriterium und kein Indikator  kann die Qualität wissenschaftlichen Arbeitens in Gänze abbilden. Es sind daher immer verschiedene Indikatoren zur Beantwortung einer Fragestellung heranzuziehen. Die Auswahl der Indikatoren richtet sich dabei nach den Zielen, die mit der Evaluation verbunden sind. Nur weil etwas messbar ist, muss es noch lange nicht gemessen werden.

6.       Impact von Forschung
Forschung entfaltet ihre Wirksamkeit auf die Gesellschaft auf sehr unterschiedliche Weise und tragen dabei zur Auseinandersetzung  mit sozialen, kulturellen, politischen, wirtschaftlichen und ökologischen Fragen bei, ohne dass diese immer direkt als Ausdruck von Forschung sichtbar wird. Dabei existieren vielfältige Beziehungen zwischen den Forschenden und unterschiedlichen gesellschaftlichen Akteuren. Über solche Beziehungen weisen  Geistes- und Sozialwissenschaften einen hohen Impact, also gesellschaftlichen Einfluss, auf. Im Rahmen von Evaluationsverfahren, die sich mit der Wirksamkeit von Forschung beschäftigen, werden solche Beziehungsdimensionen sichtbar gemacht.

7.       Qualität statt Quantität
Bei der Evaluation von spezifischen Indikatoren einer Leistungsdimension ist darauf zu achten, dass damit nicht kontraproduktive Anreize geschaffen werden, die dem Ziel, qualitativ hochwertige Forschung zu fördern, widersprechen. Daher liegt der Schwerpunkt auf der Qualität des Prozesses und der Ergebnisse der Forschung und nicht auf einem möglichst hohen quantitativen Output.

8.       Kontext einbeziehen
Die Beurteilung von Forschungsleistungen ist kein in sich abgeschlossener Vorgang, sondern abhängig vom Beurteilungskontext. Was für die Evaluation einer Institution ein sinnvolles Instrument sein kann, ist nicht unbedingt brauchbar bei der Beurteilung einer akademischen Laufbahn im Rahmen eines Bewerbungsverfahrens für den wissenschaftlichen Nachwuchs. Die Bestimmung des Beurteilungskontextes geht jeder erfolgreichen Evaluation voraus.

9.       Nachhaltigkeit von Forschung
Forschung ist ein langfristiger Prozess. Gerade in den Geistes- und Sozialwissenschaften setzt man sich oftmals mit Fragestellungen auseinander, die lange und in sich verschränkte Zeiträume umfassen, was wiederum einen Einfluss auf die Dauer des Forschungsprozesses einnimmt. Eine umfassende Qualitäts- und Leistungsbeurteilung beschäftigt sich daher nicht alleine mit konkreten Forschungsergebnissen, sondern zieht den ganzen Forschungsprozess mit ein. Auch ist zu beachten, dass die Forschung nicht immer direkt, sondern oft erst nach Jahren und in gewissen Fällen nach Jahrzehnten rezipiert wird. Nur weil ein Text in den ersten Jahren nach der Publikation wenig rezipiert wird, bedeutet dies nicht unbedingt, dass er  nicht später doch eine nachhaltige Wirkung entfaltet.

10.   Wissenschaftliche Ansprüchen genügen

Evaluationsverfahren, welche der Vielfalt von Forschung gerecht werden, weisen ein hohes Komplexitätsniveau auf. Es ist daher wichtig, dass solche Verfahren den aktuellen Stand der Forschung zur Evaluation angemessen widerspiegeln. Evaluationen selbst müssen damit wissenschaftlichen Qualitätsansprüchen genügen. Dazu gehört auch, dass deren Methodologie transparent gemacht und auch von außen nachvollziehbar ist.