seval Newsletter

Ausblick auf die Mitgliederversammlung vom 9. September 2011

Traktandenliste der Jahresversammlung
1) Genehmigung der Traktandenliste
2) Genehmigung des Protokolls der letzten Mitgliederversammlung
3) Bericht des Vorstands über die Geschäftsführung
4) RevisorInnenbericht und Genehmigung der Jahresrechnung 2010
5) Wahl der neuen Vorstandsmitglieder und der Revisoren
6) Berichte aus den Arbeitsgruppen
7) Varia

Hier haben Sie Zugang zum Protokoll der Mitgliederversammlung vom 10. September 2010.

Aperçu de l'assemblée générale du 9 septembre 2011

Ordre du jour de l'assemblée générale
1) Approbation de l'ordre du jour
2) Approbation du procès-verbal de la précédente assemblée générale
3) Rapport de gestion du comité
4) Rapport des réviseurs et approbation du bilan annuel 2010
5) Election des nouveaux membres du comité et des réviseurs
6) Rapport des groupes de travail
7) Divers

Vous pouvez consulter ici le procès-verbal de l'assemblée générale du 10 septembre 2010.

***

Wahlvorschlag als Vorstandsmitglied

Diesen Frühling hat Katia Horber-Papazian ihre Demission als Mitglied des SEVAL-Vorstandes per 9.9.2011 mitgeteilt. Wir danken Katia Horber für ihr langjähriges Engagement im Vorstand und werden sie an der kommenden Mitgliederversammlung gebührend verabschieden. Für die Nachfolge von Katia Horber schlägt der Vorstand der Mitgliederversammlung Simone Ledermann zur Wahl vor:

Simone Ledermann (lic. rer. soc) hat an der Universität Bern Politologie und Volkswirtschaft studiert. Nach einem Praktikum bei Interface Politikstudien in Luzern arbeitete sie von 2004 bis 2006 als wissenschaftliche Mitarbeiterin beim Büro Vatter, Politikforschung & -beratung in Bern. Von 2006 bis 2008 war sie Forschungsassistentin am Centre d'étude, de technique et d'évaluation législatives (CETEL) an der Universität Genf. Seither ist sie Projektleiterin und Evaluatorin bei der Parlamentarischen Verwaltungskontrolle (PVK). An der Universität Bern macht Simone Ledermann gegenwärtig ein Doktorat in Verwaltungswissenschaft und ist als Dozentin im Weiterbildungsprogramm „Evaluation“ tätig.

Proposition de candidature pour le comité

Ce printemps, Katia Horber-Papazian a annoncé sa démission du comité SEVAL pour le 9 septembre 2011. Nous remercions Katia pour son engagement de longue date au comité et nous prendrons officiellement congé lors de la prochaine assemblée générale. Pour la succession, le comité propose à l’assemblée générale la candidature de Simone Ledermann:

Simone Ledermann (lic. rer. Soc) a étudié les sciences politiques et l’économie politique à l’Université de Berne. Après un stage chez Interface Politikstudien à Lucerne, elle rejoint le Büro Vatter, Politikforschung &-beratung à Berne où elle travaille comme collaboratrice scientifique entre 2004 et 2006. De 2006 à 2008 elle est assistante de recherche au Centre d’étude, de technique et d’évaluation législative (CETEL) à l’Université de Genève. Depuis, elle est responsable de projets et évaluatrice au Contrôle parlementaire de l'administration (CPA). Parallèlement Simone Ledermann est doctorante à l’Université de Berne en sciences de l’administration et est active en tant qu’enseignante au programme de formation continue « Evaluation ».

***

Rückblick auf Anlässe

SEVAL-Workshop: Contribution analysis - A tool for ensuring more rigour in evaluation cause-effect and the impact of many interventions

Ce workshop de la SEVAL s’est tenu à Berne les 19 et 20 mai 2011. Il a été donné exclusivement par le Canadien John Mayne, consultant coté qui a travaillé avec l’ONU, l’UE, le secrétariat des Nations Unies, etc. Parmi les distinctions reçues par cet orateur, retenons celle, en 1995, de la société canadienne d’évaluation pour une contribution d’exception dans les sciences de l’évaluation.

L’analyse de contribution, un des instruments créé par Mayne, s’attache à définir plus finement les relations de cause à effet dans l’évaluation de programmes et à répondre à la question : en quoi les résultats observés après la mise en œuvre d’un programme sont bien provoqués par le programme lui-même et non pas par des causes externes, sur lesquelles les gestionnaires du programme n’ont eu en général aucune prise ? Cette approche permet aussi de vérifier la théorie du changement (appelée encore program theory) associée au programme en y associant d’éventuels facteurs externes

Pour Mayne, la chaîne de causalité comporte les éléments suivants:

Le programme est basé sur une théorie du changement qui fait appel à la raison : les hypothèses qui permettent d’affirmer que le programme aura l’impact recherché sont plausibles et acceptées par une fraction des parties prenantes au moins.
Les activités associées au programme ont été mises en œuvre
La chaîne de causes et d’effets associée à la théorie du changement produise à chaque étape des résultats prévus qui sont vérifiés
D’autres facteurs influençant les impacts du programme sont évalués : ou ils n’affectent pas le programme de manière significative, ou, dans le cas contraire, leur contribution relative est reconnue.

Pour procéder à l’analyse de contribution, Mayne préconise de suivre les étapes suivantes :

Exposer le problème d’attribution qui doit être étudié sous la loupe
Développer une théorie du changement associée au programme, jauger de sa robustesse et de sa crédibilité en exerçant son esprit critique
Recenser les preuves préliminaires validant la théorie du changement souhaitée, notamment en collectant les résultats intermédiaires associés à la théorie du changement, mais aussi en faisant appel aux résultats de programmes similaires dont le contenu documentaire est solide
Effectuer une première synthèse et procéder à une analyse critique
Réviser et consolider la description du déroulement du programme

Quelques références en ligne peuvent être utilement consultées pour plus de détails :

Kotvojs, F. (2006), Contribution analysis : A new approach to evaluation in international development (2006) http://www.aes.asn.au/conferences/2006/papers/022%20Fiona%20Kotvojs.pdf
Mayne, J. (2008), Contribution analysis : An Approach to exploring Cause and Effect http://ageconsearch.umn.edu/handle/52525
Patton, M.Q. (2010), Advocacy Impact Evaluation http://www.hudson.org/files/pdf_upload/Patton_Advocacy_Impact_Evaluation.pdf

Pour tout renseignement, contacter michel.jaccard@epfl.ch

***

Evaluation in Public Health - lessons learned and future directions

Ce séminaire d’une journée (17 juin 2011) était organisé par l’office fédéral de la santé publique et présentait un hommage discret à Thomas Zeltner, ex directeur de l’office et à Marlène Läubli, précédente responsable de l’unité d’évaluation du département. Les sessions de la matinée furent modérées par Emmanuel Sangra, président de la SEVAL.
Le séminaire partait d’un constat, celui que si l’évaluation a pour but principal de jauger l’impact d’un programme et de mettre en perspective les résultats des indicateurs avec les buts et objectifs espérés (ou prévus initialement), l’action ne s’arrête pas là, puisqu’une dernière s’impose, parfois délicate, celle de la communication des résultats aux autorités politiques et aux parties prenantes. L’objectif du séminaire était de faire le bilan des acquis d’expériences dans des programmes de santé publique en réunissant les témoignages des évaluateurs, utilisateurs et managers des évaluations, mais aussi de les interroger sur les perspectives futures, défis et opportunités.

Kerralie Oeuvray, de l’UNIFR, présenta les résultats d’une analyse de 25 ans d’évaluations des programmes de l’office de la santé publique. Quels enseignements pouvait-on en tirer, malgré l’hétérogénéité de l’échantillon sous la loupe ? Quelques facteurs critiques sont listés ci-dessous :

Collaborer et coordonner dans un système fédéral régi par le principe de subsidiarité
Développer et clarifier les théories permettant d’éviter le syndrome de la boîte noire
Disposer d’un office fédéral apte à assurer un engagement sans faille et un leadership conséquent

Par ailleurs, le succès d’un programme est très dépendante de parties prenantes externes de l’office : leur identification et les relations que l’office noue avec elles sont un facteur clé. Le succès d’un programme est aussi très lié à la sensibilité culturelle et à la subtilité politique de ses acteurs principaux.

Thomas Zeltner, quant à lui, insista sur l’importance des évaluations comme facteur de succès dans les programmes de l’office, dont un des bénéfices collatéraux fut l’augmentation de confiance du public ; ces évaluations ont aussi ouvert la porte à l’élaboration de nouvelles lois sur la prévention. Sans revenir à l’approche black box de l’évaluation des programmes, il attira l’attention de l’auditoire sur le fait que la complexité du domaine de la santé rend parfois difficile la prévision des effets des programmes et que l’approche selon la program theory doit être prise avec prudence et humilité. Un cumul des expériences devrait permettre dans le futur de définir de nouveaux archétypes de programmes, permettant ainsi d’y associer les instruments les plus adaptés.

Michel Caraël, de l’Université de Bruxelles, fit le point sur les résultats des évaluations des programmes de lutte contre le Sida. Il présenta le résultat de 40 interventions, dont les résultats apparaissent mitigés. Il insista sur la combinaison de l’évaluation et de la prévention et la conjonction de 5 facteurs pour assurer le succès de tels programmes : changement de comportement, stratégies biomédicales, traitements spécifiques contre le SIDA, amélioration de la justice sociale et des droits de l’homme, activité élevée la prévention.

Marlène Läubli exposa les acquis d’expérience d’environ 10 ans à la tête de l’unité d’évaluation de l’office, qui disposa dès le départ d’un budget propre, et dont les perspectives et le développement furent inclus dans la planification stratégique de l’office. L’importance de la proximité de l’unité d’évaluation près de la direction de l’office fut souligné. La capacité de disposer de valeurs et buts communs, l’orientation de la politique de l’office vers les besoins, la discussion systématique en interne et la valorisation des résultats allant bien au-delà du rapport d’évaluation apparaissent comme les éléments très positifs. Parmi les éléments disposant d’une marge d’amélioration figurent le manque de curiosité des personnes en charge de l’évaluation qui tendre à se concentrer uniquement sur les résultats attendus et l’implication parfois lacunaire des parties prenantes externes dans l’évaluation.

Erica Wimbush présenta les enseignements d’une analyse des évaluations conduites l’unité de la NHS Scotland, qui œuvre dans un milieu social parfois délicat. Parmi les difficultés rencontrées par l’unité figurait la formation des collaborateurs, la conservation de la neutralité des évaluateurs face aux attentes des parties prenantes, le courage d’identifier ce qui ne peut être évalué, et l’institutionnalisation de l’évaluation. Parmi les succès, l’oratrice mit l’accent sur l’obtention de standards de qualité et de compétences explicites, le développement de pratiques d’évaluations basés sur des modèles (program theory), et la formulation d’une stratégie adaptée à la taille de l’unité.

En fin de journée, Stefan Spycher donna les grandes lignes des évaluations futures de l’office et mit l’accent sur quatre points : l’implication des partenaires et parties prenantes dans les évaluations, conduite impartiale des processus d’évaluation, assurance qualité des produits d’évaluation et valorisation des résultats des recherches et des évaluations conduites.

Pour tout renseignement, contacter : michel.jaccard@epfl.ch ou emmanuel.sangra@efk.admin.ch

***

Un outil pour les évaluations de programmes d’enseignement

L’évaluation des programmes d’enseignement, tout particulièrement dans les hautes Ecoles et universités, nécessite une métrique appropriée, notamment dans l’énoncé des compétences acquises par l’étudiant, que ce soit au niveau du programme lui-même, que de ses modules, cours ou autres unités d’enseignement. Or, l’écriture des buts, objectifs et surtout compétences acquises par l’apprenant — et testées généralement en partie seulement par le contrôle des études — est une des pierres d’achoppement des évaluations de programmes, évaluations conduites aussi bien dans le cadre des audits qualité découlant du processus de Bologne, que des évaluations de faculté et de collèges organisées selon le modèle de la peer review. La description écrite des programmes ou unités est variable, disparate, souvent floue, très orientée sur l’enseignant (input) et très peu sur l’étudiant (output et outcomes).

Comment dès lors formaliser l’écriture des contenus des unités d’enseignement pour faciliter le travail d’évaluation des experts, mais aussi la comparaison du contenu des cursus d’une université à l’autre de l’EHEA (European Higher Education Area) ? Un tel outil a été formalisé par le Tuning group du processus de Bologne et présenté au séminaire des experts de Bologne qui s’est tenu à Oslo, les 6 et 7 juin 2011. Le Tuning group préconise de se concentrer désormais sur les acquis d’apprentissage en anglais learning outcomes), qui sont des observables de ce que l’étudiant est en mesure de faire à l’issue d’un programme, module, ou unité d’enseignement.

Les acquis d’apprentissage, dont les pionniers dans leur utilisation sont les Hautes Ecoles des pays membres du Commonwealth, et dont la mise en œuvre a été préconisée et rappelée plusieurs fois dans les communiqués des ministres européens de l’enseignement supérieur, se distinguent des compétences par leur caractère objectif et le formalisme de leur écriture. Celui-ci utilise la taxonomie de Blum, un pédagogue américain de l’Université de Chicago, qui a constaté que toute connaissance, intellectuelle, émotionnelle ou psychomotrice, est acquise par étapes de complexité croissante, dont la progression peut être représentée sous forme de pyramide ; ce modèle n’est pas sans faire penser, à une autre pyramide, tout aussi célèbre, celle de Maslow. Cette taxonomie n’est pas à proprement parler une innovation puisque le travail de Blum a été publié depuis la fin des années 50 jusqu’aux années 70, mais les résultats de recherche de Blum sont longtemps restés confinés au sein du cercle des chercheurs en pédagogie.

Le Tuning group préconise que tout programme, module ou unité d’enseignement ne devrait pas disposer de plus de quinze acquis d’apprentissage. Ceux-ci doivent être écrits sous forme d’une phrase à l’infinitif utilisant un verbe appartenant à la taxonomie de Blum, suivi de quatre expressions simples permettant de décrire, préciser et cadrer l’acquis d’apprentissage visé. L’écriture des compétences de programmes, modules, ou unités d’enseignement est certainement la prochaine étape de la réforme pédagogique du processus de Bologne.

Pour tout renseignement, contacter, michel.jaccard@epfl.ch

***

Evaluation des programmes d’enseignement par ABET

ABET (Accrediting Board of Engineering and Technology) est l’agence américaine qui délivre l’accréditation des programmes de formation d’ingénieur ; cette accréditation joue un rôle clé dans l’exercice de la profession sur le marché du travail US. Fondée en 1932, l’agence accrédite environ 3100 programmes dans plus de 600 Hautes Ecoles, tout particulièrement des bachelors en 4 ans aux USA et dans le reste du monde. Même les programmes des universités technologiques top notch des USA comme le MIT, UC Berkeley, Northwestern University, etc., se plient à cette contrainte. ABET figure en tête de liste en matière d’influence mondiale des bonnes pratiques d’évaluation de programmes de formation d’ingénieur.

Basée jusqu’en 1997 sur l’analyse détaillée des programmes de cours, ABET a orienté depuis son évaluation sur la gestion de la Qualité de ceux-ci. Examinant la définition des compétences exigées sur le marché du travail, la démarche se poursuit par l’analyse de leur transcription en acquis d’apprentissages, ces derniers étant déclinés plus avant dans les unités d’enseignement du cursus. Bien entendu, les acquis d’apprentissages doivent être contrôlés à l’échelon individuel pour s’assurer de leur atteinte, mais aussi sur une cohorte d’étudiants afin de jauger la performance de l’enseignement. Pour cela, ABET préconise l’introduction de 4 à 5 indicateurs de performance par acquis d’apprentissage, qui doivent être mesurés à choix par des méthodes directes ou indirectes, au nombre de 12. La valeur des indicateurs et sa comparaison avec la consigne permet ‘amélioration continue selon la Roue de Deming.

L’Assurance Qualité du Processus de Bologne, à laquelle font référence les agences européennes (UK exclu) d’accréditation des programmes de formation d’ingénieur, fait plutôt pâle figure à côté de la démarche logique, cohérente, complète et éprouvée d’ABET. L’EHEA devra encore évoluer dans ses exigences pour prétendre atteindre le même niveau (les Indiens sont encore loin…).

ABET dispense une formation IDEAL d’une semaine sur les points forts de son système de management de la Qualité, à Baltimore (USA). Pour tout renseignement, s’adresser à michel.jaccard@epfl.ch et pour plus d’information sur ABET, consulter www.abet.org .

Aktivitäten und Mitteilungen der SEVAL / Activités et communications de la SEVAL

Wahlvorschlag als Vorstandsmitglied

Proposition de candidature pour le comité

Evaluation in Public Health - lessons learned and future directions

Aus- und Weiterbildung / Formations et formations continues

Agenda / Agenda

Publikationen / Publications