Editorial

Les recommandations, carte de visite d'une bonne évaluation

Chers membres,

Ultime étape lors de la fabrication de nos rapports, le temps manque souvent lors de l'élaboration des recommandations. Produit essentiel de la majorité des évaluations, les recommandations sont également un excellent moyen de communiquer les résultats. Elles  permettent aux parties prenantes de prendre position et facilitent le suivi de la mise en oeuvre des résultats. C'est souvent sur cette base que l'évaluation va être appréciée.

Pour être crédibles, les recommandations doivent découler des conclusions du rapport et offrir des solutions constructives et substantielles aux problèmes constatés et, cela, même si elles ne sont pas élaborées par l'équipe d'évaluation. Il me paraît important d'éviter les  pseudo-recommandations de type « inviter à examiner ou à envisager » ou les recomman­dations « bateau », trop générales et non mesurables, telles que « mieux coordonner » « davantage piloter » sans les préciser davantage. Par ailleurs, il s'agit de mentionner clairement le destinataire et les mesures envisageables. Si nécessaire, il convient de prioriser les différentes recommandations. Parallèlement, elles ne doivent pas déresponsabiliser le destinataire qui est en général bien mieux placé pour identifier les mesures concrètes les plus adéquates et doit les assumer.

Faut-il compléter nos standards SEVAL avec des éléments dans ce sens? Voilà un aspect que le groupe de travail sur les standards pourrait aborder. Ce groupe vient de recevoir un important mandat financé par la SEVAL et différents offices fédéraux en vue d'améliorer les standards, principalement d'un point de vue conceptuel et formel.

Je vous souhaite une bonne lecture et un excellent été.

Emmanuel Sangra
Emmanuel.sangra@efk.admin.ch

PS : pour votre information, le comité est en train d'établir ses priorités 2014-2017. Un projet vous sera présenté lors de notre assemblée générale. Rendez-vous le 6 septembre à Fribourg. A vous de déterminer dans quelles mesure les priorités 2010-2013 (f) et (d) ont été atteintes !

 

SEVAL-Kongress 2013

Der SEVAL-Jahreskongress 2013 findet am 6. September in Fribourg statt. Thema: "Evaluation und (New) Public Management - Parallelen und Synergien"

Sowohl Evaluation als auch New Public Management (NPM) setzen die Wirksamkeit staatlicher Massnahmen ins Zentrum ihres Interesses. Dennoch bestehen in der Praxis nur wenige Berührungspunkte zwischen den beiden Ansätzen. Dies nimmt die SEVAL zum Anlass, die Parallelen und mögliche Synergien zwischen Evaluation und NPM an ihrem Jahreskongress auszuloten.
Evaluation und NPM haben gleichzeitig vor rund 20 Jahren in der Schweiz Fuss gefasst. Mittlerweile sind beide nicht mehr „new“, sondern haben sich in Teilen von Politik und Verwaltung etabliert. NPM und Evaluation weisen Gemeinsamkeiten auf: Beide wollen die Wirkungen von staatlichen Programmen und Massnahmen mittels Zielen und Indikatoren messen. Sowohl Evaluation wie auch NPM sind darauf angewiesen, dass die von ihnen bereitgestellten Steuerungsinformationen und Resultate durch Verwaltungen, Regierungen und Parlamente verwendet werden. Diese Gemeinsamkeiten weisen auf Synergiepotenziale hin.
Damit sowohl die Sicht der Evaluation als auch die NPM-Perspektive angemessen vertreten ist, hat die SEVAL die Schweizerische Gesellschaft für Verwaltungswissenschaften (SGVW) als Gast zu ihrem Kongress eingeladen. Auf diese Weise soll der Austausch über den Kreis der SEVAL-Mitglieder hinaus gefördert werden.
Das vollständige Programm finden Sie hier.
Das Online-Anmeldeformular finden Sie hier.

Congrès annuel 2013

Le congrès annuel SEVAL 2013 a lieu le 6 septembre à Fribourg. Sujet : "Evaluation et (Nouvelle) Gestion Publique - parallèles et synergies"

L’évaluation comme le Nouveau Management Public (NMP) mettent l’efficacité des mesures nationales au centre de leurs intérêts. Malgré tout, il n’existe, en pratique, que peu de points communs entre les deux approches. Durant le congrès annuel, la SEVAL saisit l’opportunité de sonder les parallèles et les possibles synergies entre évaluation et NMP.
L’évaluation et le NMP se sont implantés simultanément en Suisse il y a une vingtaine d’années. Ils sont maintenant établis dans de nombreuses politiques et administrations. Le NMP et l’évaluation présentent des points communs : tous deux veulent mesurer l’efficacité des politiques et des mesures étatiques sur la base d’objectifs et d’indicateurs. Ils partagent la même raison d’être, à savoir que les informations de pilotage et les résultats obtenus soient utilisés par les administrations, les gouvernements et les parlements. Ces points communs comportent un important potentiel de synergies.
Afin que les perspectives de l’évaluation et du NMP soient bien représentées, la SEVAL invite la Société Suisse des Sciences Administratives (SSSA) à son congrès. Cela va permettre des échanges qui vont au-delà du cercle des membres de la SEVAL.
Le programme détaillé peut être consulté ici.
Vous pouvez vous inscrire en ligne ici.

Vorankündigung: SEVAL/DeGEval-Kongress 2014

Die SEVAL und die DeGEval führen 2014 einen gemeinsamen Jahreskongress durch. Er findet vom 10. bis 12. September 2014 an der Pädagogischen Hochschule Zürich statt und ist dem Thema „Professionalisierung“ gewidmet.

Internationales

UKES Conference 2013

Am 17. und 18. April 2013 fand in London der Jahreskongress der UK Evaluation Society UKES statt. Er stand unter dem Titel „Evaluating to make a difference: achieving results through learning and accountability“. Marlène Läubli besuchte diesen Kongress und berichtet insbesondere über die Session „Embedding evaluations in organisations“. Ihr Kongressbericht findet sich hier.

11èmes Journées françaises de l’évaluation

Le 6 et 7 juin, les 11èmes Journées françaises de l’évaluation de la Société française d’évaluation ont eu lieu à Grenoble, portant sur le thème « L’évaluation des politiques publiques, état(s) de l’art et controverses ». Laurent Crémieux nous présente le résumé des intéressantes présentations et discussions sur le rôle et les enjeux de l’évaluation de l’évaluation dans les politiques publiques. Le texte se trouve ici.

 

Kurse am Zentrum für universitäre Weiterbildung der Universität Bern

Kurstitel: Politikanalyse und Politikevaluation (DAS-Wahlkurs)
Veranstaltungsdatum: 22.-24. August 2013
Veranstaltungsort: Universität Bern, Zentrum für universitäre Weiterbildung, Schanzeneckstrasse 1, 3001 Bern
Dozenten: Prof. Dr. Fritz Sager, Simone Ledermann, Dr. Werner Bussmann
Kurzbeschrieb des Inhalts: Die Schweiz zeichnet sich durch eine im internationalen Vergleich fortgeschrittene Institutionalisierung der Politikevaluation aus. Die schweizerische Evaluationskultur und -debatte sind stark durch die Politikwissenschaft geprägt. Der Kurs führt in Fragestellungen und Methoden der Politikevaluation ein. Anhand des Politikzyklus' werden die Schritte einer Politikevaluation nachvollziehbar gemacht. Dabei werden Verknüpfungen zum New Public Management aufgezeigt, und die Auswirkungen neuer Instrumente der Verwaltungsführung auf die Evaluation werden diskutiert. Der Kurs geht auch auf die Konsequenzen der Besonderheiten des schweizerischen politischen Systems für die Evaluation ein.
Weitere Informationen : http://kwb.unibe.net/kurse/einzelkurs.php?sid=&thid=8&kid=1643

Reduktion des Kursgeldes für DeGEval-Mitglieder: CHF 1330.-

***

Kurstitel: Evaluationsforschung, Meta-Evaluation und Qualitätsmanagement
Veranstaltungsdatum: 19.-21. September 2013
Veranstaltungsort: Universität Bern, Zentrum für universitäre Weiterbildung, Schanzeneckstrasse 1, 3001 Bern
Dozenten: PD Dr. T. Widmer, Prof. Dr. F. Sager, S. Ledermann, Prof. Dr. W. Bewyl
Kurzbeschrieb des Inhalts: In diesem Kurs geht es um drei mit der Evaluation verwandte oder auf Evaluation bezogene Aktivitäten: Der erste Schwerpunkt widmet sich der Evaluationsforschung, also der Forschung „über Evaluation“. Ein wichtiges Thema ist dabei die Erforschung der Faktoren, welche die Nutzung von Evaluationsergebnissen beeinflussen. Im zweiten Schwerpunkt geht es um die Meta-Evaluation, also darum, wie die Güte einer Evaluation selbst untersucht werden kann. Der letzte Teil des Kurses befasst sich mit Qualitätsmanagement: Es werden Komplementarität und Unterschiede der beiden Konzepte aufgezeigt und Vorgehensweisen zur Nutzung von Evaluation im Qualitätsmanagement und vom Qualitätsmanagement in der Evaluation veranschaulicht.
Weitere Informationen: http://kwb.unibe.net/kurse/einzelkurs.php?sid=&thid=8&kid=1656

***

eStudy-Kurse der American Evaluation Association

Die American Evaluation Association führt regelmässig eStudy-Kurse durch, die auch Nicht-Mitgliedern offen stehen (http://comm.eval.org/coffee_break_webinars/eStudy/). Zurzeit läuft die Anmeldung für zwei neue Kurse.

eStudy 031: An Executive Summary is Not Enough: Effective Reporting Techniques for Evaluators - Kylie Hutchinson
Dates: Monday & Wednesday, June 17 & 19, 2:00 to 3:30pm Eastern Time
Length: 3 total contact hours
Description: As an evaluator you are conscientious about conducting the best evaluation possible, but how much thought do you give to communicating your results effectively? Do you consider your job complete after submitting a lengthy final report? Reporting is an important skill for evaluators who care about seeing their results disseminated widely and recommendations actually implemented.
Last day to register is Monday June 10.

eStudy 032: Creating Surveys to Measure Performance and Assess Needs - Michelle Kobayashi
Dates: Tuesdays and Thursdays June 18, 20, 25, & 27, 3:00 to 4:30 pm Eastern Time
Length: 6 total contact hours
Description: Surveys for program evaluation, performance measurement, or needs assessment can provide excellent information for evaluators. However, developing effective surveys requires an eye both to unbiased question design as well as to how the results of the survey will be used. Neglecting these two aspects impacts the success of the survey.
Last day to register is Tuesday June 11.

Arbeitsgruppe „Kompetenzen in der Evaluation“
Am 7. März 2013 hat das zweite Treffen der neuen Arbeitsgruppe stattgefunden. Sie taufte sich bei dieser Gelegenheit selber auf den Namen „Kompetenzen in der Evaluation“. Dieser Titel umfasst sämtliche Aspekte, mit der sich die Arbeitsgruppe befassen will, namentlich: Welche Kompetenzen müssen Evaluatoren und Evaluatorinnen sowie weitere an der Durchführung von Evaluationen beteiligte Personen (wie Evaluationsmanagerinnen und -manager) mitbringen? Welche Aus- und Weiterbildungsangebote gibt bzw. braucht es, um diese Kompetenzen zu erlangen? Welche Möglichkeiten der formellen Anerkennung von Kompetenzen gibt es (z.B. Zertifizierung) und was sind ihre Vor- und Nachteile? Eine Subgruppe unter der Leitung von Marlène Läubli-Loud ist sehr aktiv daran, die Aufgaben und Anforderungen an Evaluationsmanagerinnen und -manager zu analysieren mit dem Ziel, ein entsprechendes Kompetenzprofil zu entwerfen. Zu diesem Zweck führt die Arbeitsgruppe Workshops mit Evaluationsmanagerinnen und -managern in der Bundesverwaltung durch. Als weiteres Projekt hat die Arbeitsgruppe beschlossen, dass sie den SEVAL-Mitgliedern eine aktuelle Web-Übersicht zu den bestehenden Aus- und Weiterbildungen zur Verfügung stellen möchte. Erste Abklärungen dazu, in welcher Form dies gemacht werden könnte, sind im Gange.

Simone Ledermann, ledermann@parl.admin.ch

***

Arbeitsgruppe SEVAL-Standards
Die Ergebnisse der 2012 durchgeführten Mitgliederbefragung zu Bekanntheitsgrad, Nutzung und Revisionsbedarf der SEVAL-Standards werden in der nächsten Ausgabe von LeGes präsentiert.
Die Arbeitsgruppe hat ein Projekt zur Revision der SEVAL-Standards lanciert. Bis im September 2014 wird ausgehend von den bestehenden Standards ein neues Dokument zu den SEVAL-Standards erarbeitet. Es werden allem konzeptionelle und formale Verbesserungen angestrebt, um die Standards einfacher nutzbar zu machen und damit ihre Praxisrelevanz zu erhöhen. Eine Mitgliederkonsultation ist für das erste Quartal 2014 vorgesehen.

Christian Rüefli, ruefli@buerovatter.ch

***

Arbeitsgruppe Evaluation in der Entwicklungszusammenarbeit
Die Arbeitsgruppe hält am 25. Juni 2013 ihre halbjährliche Sitzung ab, an welcher über die Erfahrungen aus zwei Projekten berichtet und diskutiert wird:
1) Validierung von psychometrischen Skalen/Erhebungsinstrumenten: Machbarkeit und Anwendungsbeispiele. Fallbeispiel aus einer HIV/ART-Patientenzufriedenheitsumfrage in Kamerun.
2) Evaluierung/Evaluierbarkeit der Leistungsfähigkeit öffentlicher Dienstleistungen: Ansätze und Praxisbeispiele. Fallbeispiele PETS Public Expenditure Tracking Survey, Lot Quantity Service Delivery Surveys und Impact evaluation of results based financing.

Ruedi Felber, felber@nadel.ethz.ch

Enhancing Evaluation Use: Insights from Internal Evaluation Units.
Edited by: Marlène Läubli Loud und John Mayne (2013). Thousand Oaks: SAGE. 280 Seiten.

Insights from Internal Evaluation Units offers invaluable insights from real evaluators who share strategies they have adopted through their own experiences in evaluation. Readers will learn about the challenges, solutions, and lessons drawn from the experience of evaluators working in a wide range of organizations. Referencing the latest literature, contributors discuss factors that help or undermine attempts to foster an evaluative thinking and learning culture within an organization. Applicable in a wide range of situations, their accounts demonstrate the initiative and innovative thinking they use to address challenges in various, sometimes complex, evaluation settings. Questions at the end of each chapter stimulate thought and discussions about the issues raised and allow readers to apply their findings to their own situations.
(Verlagstext)

 

Evaluation matters. A practitioners' guide to sound evaluation for urban mobility measures
Katrin Dziekan, Veronique Riedel, Stephanie Müller, Michael, Abraham, Stefanie Kettner, Stephan Daubitz (2013). Münster: Waxmann. 180 Seiten, mit zahlreichen Abbildungen.
18,90 Euro, ISBN 978-3-8309-2881-2; E-Book-Preis: Euro

Based on the authors' rich experiences, this book demonstrates that evaluation of measures aimed at more sustainable mobility is a useful task which can be learned by everybody. By integrating theory and practice it includes richlyillustrated case examples and cartoons to provide hands on advice. It offers a framework for thinking about evaluation of mobility-related measures and outlines the necessary steps for good evaluation practice.
Key features :
- Richly illustrated by comics and on real measure examples.
- A step-by-step hands on guide for practitioners.
- Combine an impact and process evaluation approach.
(Verlagstext)

***

Die Rubrik Publikationen bietet eine Plattform, um auf Neuerscheinungen zum Thema Evaluation oder auf Publikationen von Seval-Mitgliedern (Evaluationsberichte, Bücher, Artikel in Büchern oder Fachzeitschriften etc.) aufmerksam zu machen. Entsprechende Hinweise nimmt die Redaktion jederzeit gerne entgegen: ruefli@buerovatter.ch
La rubrique publications offre une plate-forme pour rendre le public intéressé attentif à des nouvelles parutions dans le domaine d'évaluation ou à des publications des membres de la Seval (rapports d'évaluation, livres, articles dans des livres ou revues spécialisées etc.). Indications peuvent à tout moment être adressées à la rédaction : ruefli@buerovatter.ch

Sie erhalten diesen Newsletter, weil Sie sich mit Ihrer E-Mail Adresse für diesen Service angemeldet haben oder weil Sie Seval-Mitglied sind.

Wenn Sie diesen Newsletter von einer Drittperson erhalten haben, können Sie sich jetzt hier anmelden oder eine E-Mail mit dem Betreff „Newsletter-Anmeldung“ an newsletter@seval.ch senden.

Ihre Daten werden nicht an Dritte weitergegeben.

Wenn Sie den Newsletter künftig nicht mehr erhalten wollen, schreiben Sie eine E-Mail mit dem Betreff „Newsletter-Abmeldung“ an newsletter@seval.ch.
___
SEVAL
c/o Universität Freiburg
Diensstelle für Evaluation und Qualitätsmanagement
Av. de Beauregard 11 (1.217)
CH-1700 Freiburg
Tel +41 (0)26 300 82 81
Fax +41 (0)26 300 96 55
E-Mail: secretariat@seval.ch
Website: www.seval.ch
Impressum: www.seval.ch/de/impressum.cfm
___
Disclaimer:
Es wird keinerlei Haftung für Übermittlungsfehler, Richtigkeit oder Vollständigkeit der Angaben übernommen. Die Nennung von Produkten anderer Hersteller oder Anbieter dient ausschliesslich zur Information und stellt keinen Warenzeichenmissbrauch dar. Hinsichtlich der Auswahl, Leistung oder Anwendung dieser Produkte oder Dienstleistungen wird keinerlei Gewähr übernommen.
___
© 2002 - Schweizerische Evaluationsgesellschaft, SEVAL