seval Newsletter

Aktivitäten und Mitteilungen der SEVAL / Activités et communications de la SEVAL

Prix SEVAL - Ergebnis der ersten Ausschreibung
Anfang 2012 hat die SEVAL den mit 3000 CHF dotierten Prix SEVAL für die beste wissenschaftliche Arbeit zum Thema der Evaluation ausgeschrieben. Dieser Preis wird künftig jährlich vergeben. Die erstmalige Ausschreibung hat ein erfreuliches Echo ausgelöst: Bis zum Ablauf der Eingabefrist am 2. April wurden fünf Arbeiten eingereicht. Die Jury wird diese Arbeiten nun begutachten und bis im Sommer einen Entscheid fällen. Die Preisverleihung erfolgt am 7. September 2012 im Rahmen des SEVAL
Jahreskongresses.
Mehr Informationen zum Prix SEVAL (Reglement, Jury, Flyer) finden sich
auf der SEVAL-Website (http://www.seval.ch/de/prix/index.cfm).
Die Ausschreibung für den Prix SEVAL 2013 erfolgt zu einem späteren Zeitpunkt. Die Eingabefrist wird der 2. April 2013 sein.

Prix SEVAL - résultat de la première mise en concours
Début 2012, la SEVAL a créé le « Prix SEVAL » doté de CHF 3000.- pour le meilleur travail scientifique sur le thème de l’évaluation. Ce prix sera octroyé chaque année. La première mise au concours a eu un bon écho. Cinq travaux ont été remis avant le délai du 2 avril. Le jury va examiner ces travaux et prendra une décision avant l’été. La remise du prix aura lieu le 7 septembre 2012 dans le cadre du Congrès SEVAL.
Vous pouvez trouver davantage d’informations sur le Prix SEVAL (règlement, jury, flyer) sous http://www.seval.ch/fr/prix/index.cfm.
Pour le prix 2013, les travaux mis au concours peuvent être remis au secrétariat de la SEVAL jusqu’au 2 avril 2013.

***

SEVAL Jahreskongress und Methodenatelier - 6. und 7. September 2012, Fribourg
Am 6. September 2012 findet in Fribourg zum zweiten Mal das SEVAL-Methodenatelier statt. Dieses soll einen Austausch über Methoden und Forschungstechniken erlauben. Evaluatorinnen und Evaluatoren stellen Evaluationen mit innovativen oder interessanten methodischen Aspekten vor. Auftragnehmende können ihre Ansätze in der Diskussion präsentieren und testen. Auftraggebende können sich für ihre nächsten Ausschreibungen über mögliche methodische Ansätze informieren.
Haben Sie Interesse, eine Studie zu präsentieren? Bitte melden Sie den Titel und die methodischen Ansätze Ihrer Präsentation bis am 25. Mai 2012 per E-Mail an secretariat@seval.ch. Wir freuen uns über Ihr Interesse und Ihre Teilnahme!

Der SEVAL-Jahreskongress 2012 findet am 7. September an der Universität Fribourg statt. Er ist dem Thema „Evaluation in der Qualitätssicherung – Qualitätssicherung in der Evaluation“ gewidmet. Am Kongress sollen das gegenseitige Verhältnis zwischen Qualitätssicherung und Evaluation aus beiden Perspektiven beleuchtet und die sich stellenden Herausforderungen und Fragestellungen diskutiert werden. Ziel ist es, die Möglichkeiten, aber auch die Grenzen von Evaluation in der Qualitätssicherung bzw. der Qualitätssicherung in der Evaluation zu erörtern.

Congrès annuel SEVAL et atelier méthodologique - 6 et 7 septembre 2012, Fribourg
Au 6 septembre, un atelier méthodologique aura lieu pour la deuxième fois. Son objectif est de permettre un échange au sujet des techniques de recherche et des méthodes. Lors de l’atelier méthodologique, des évaluatrices et des évaluateurs présentent leurs évaluations comportant des aspects méthodologiques innovants ou intéressants. Les mandatés peuvent ainsi présenter et tester leurs approches durant la discussion. Quant aux mandants, ils peuvent s’informer des différentes approches méthodologiques pour leurs prochains appels d’offres.
Etes-vous intéressés à présenter une étude? Merci d’annoncer le titre et l’approche méthodologique de votre présentation jusqu’au 25 mai 2012 par mail à secretariat@seval.ch. Nous nous réjouissons de votre intérêt et de votre participation!

Le congrès annuel de la SEVAL en 2012 à lieu au 7 septembre à Fribourg. Il est va se consacrer à la thématique «Evaluation dans l’assurance-qualité - assurance-qualité dans l’évaluation ». Lors du congrès, la relation réciproque entre assurance-qualité et évaluation sera examinée à partir des deux perspectives. Les défis et les problèmes seront discutés. Le but est de débattre du potentiel, mais aussi des limites de l’évaluation dans l’assurance-qualité et, respectivement, de l’assurance-qualité pour l’évaluation.

***

Neues Vorstandsmitglied gesucht
Kurt Bisang tritt im September 2012 aus dem SEVAL-Vorstand zurück. Um seine Nachfolge sicherzustellen, sucht die SEVAL deshalb ein neues Vorstandsmitglied. Idealerweise handelt es sich dabei um eine Person aus der Bundesverwaltung mit einer Funktion im Bereich der Evaluation. Das Amt im Vorstand beinhaltet 5-6 Sitzungen in Bern und die Bereitschaft, einzelne spezifische Aufgaben zu übernehmen. Bitte richten Sie Ihre Interessensbekundung bis am 4. Juni 2012 mit einem kurzen Präsentationstext an das Sekretariat (secretariat@seval.ch). Die Aufgabe ist spannend und die Arbeitsstimmung ausgezeichnet. Zögern Sie nicht, zusätzliche Informationen beim Präsidenten, Emmanuel Sangra (emmanuel.sangra@efk.admin.ch) einzu holen. Die Wahl erfolgt an der Mitgliederversammlung vom 7. September 2012.

Recherche d'un nouveau membre pour le comité SEVAL
Kurt Bisang se retire du comité SEVAL en septembre 2012. Pour assurer sa succession, la SEVAL est à la recherche d’une ou d’une candidat-e pour ce poste. Idéalement, il/elle travaille dans l’administration fédérale et occupe une fonction dans le domaine de l’évaluation.
La fonction au comité implique la participation à 5 à 6 séances par année, en général à Berne, et la volonté de s’occuper de tâches spécifiques du comité. Merci de communiquer votre intérêt au secrétariat SEVAL (secretariat@seval.ch) avant le 4 juin 2012 au moyen d'un petit texte de présentation. Les tâches sont passionnantes et l’ambiance de travail excellentes. N’hésitez pas à demander des informations complémentaires au président Emmanuel Sangra, (emmanuel.sangra@efk.admin.ch). L’élection aura lieu lors de l’assemblée générale du 7 septembre 2012.

***

Kassenrevisor(in) gesucht
Infolge der Demission von Elisabeth Adam benötigt die SEVAL eine(n) neue(n) Kassenrevisor(in). Wir suchen eine Person, die bereit ist, im Vorfeld der Mitgliederversammlung die Jahresrechnung der SEVAL zu prüfen. Dieses Amt ist mit einem minimen Aufwand von ca. einem halben Arbeitstag pro Jahr verbunden. Wir bitten Personen, die an dieser Aufgabe interessiert sind, sich bis 4. Juni 2012 beim Sekretariat (secretariat@seval.ch) oder beim Präsidenten, Emmanuel Sangra (emmanuel.sangra@efk.admin.ch) zu melden. Die Wahl erfolgt an der Mitgliederversammlung vom 7. September 2012.

Recherche d’un/e nouvel/le réviseur/e des comptes
A la suite de la démission d’Elisabeth Adam, la SEVAL a besoin d’un nouvel/une nouvelle réviseur/réviseure des comptes. Nous cherchons une personne qui est prête à vérifier les comptes annuelle de la SEVAL avant l’assemblée générale. Ce poste demande un investissement minime d’environ une demi-journée de travail par an. Nous prions les personnes intéressées à cette tâche de communiquer leur intérêt au secrétariat SEVAL (secretariat@seval.ch) ou au président (emmanuel.sangra@efk.admin.ch) avant le 4 juin 2012. L’élection aura lieu lors de l’assemblée générale du 7 septembre 2012.

***

Laufende Aktivitäten der Arbeitsgruppen

Arbeitsgruppe SEVAL-Standards
Die Arbeitsgruppe SEVAL-Standards führt in den kommenden Wochen eine Online-Mitgliederbefragung zur Verwendung, zum Nutzen und zum Überarbeitungsbedarf der SEVAL-Standards durch. Wir laden Sie herzlich ein, sich an dieser Umfrage zu beteiligen. Alle SEVAL-Mitglieder werden zu diesem Zweck in naher Zukunft eine Einladungsmail von Lars Balzer im Auftrag der Arbeitsgruppe erhalten. Die Ergebnisse werden an einem Workshop im Rahmen des SEVAL-Kongresses 2012 vorgestellt und fliessen in die weiteren Arbeiten der Arbeitsgruppe ein. Die Arbeitsgruppe plant mittelfristig eine Überarbeitung der SEVAL-Standards und ist daran, ein entsprechendes Projekt vorzubereiten.

Le groupe de travail « Standards SEVAL » va effectuer ces prochaines semaines, un sondage en ligne auprès des membres pour examiner l’utilisation et les besoins de révision des standards SEVAL. Nous vous invitons chaleureusement à participer à cette enquête. A cette fin, tous les membres de la SEVAL vont recevoir un courriel avec une invitation de participer de la part de Lars Balzer sous mandat du groupe de travail. Les résultats vont être présentés dans un atelier dans le cadre du Congrès SEVAL 2012 et sera utilisés par le groupe de travail pour la poursuite de ses travaux. A moyen terme, le groupe de travail prévoit une révision des standards SEVAL et prépare actuellement un projet à cet effet.

Arbeitsgruppe Evaluation in der Entwicklungszusammenarbeit
Die Arbeitsgruppe beschäftigt sich weiterhin mit Methoden der Wirkungsmessung und der Wirkungsorientierung in der Entwicklungszusammenarbeit. Diese Fragen behandeln wir in halbjährlichen Arbeitssitzungen und mit der Teilnahme an anderen Anlässen, an denen die gleiche Thematik behandelt wird. Während den letzten Monaten fanden die drei folgenden Aktivitäten statt.
1.) Am 12. Januar 2012 organisierten wir im SECO die letzte Sitzung mit über 20 Teilnehmenden der Arbeitsgruppe. Gerhard Leu präsentierte seine Erfahrungen mit dem EFQM Ansatz in „Exzellente Entwicklungszusammenarbeit“ (xEZA). Dabei diskutierten wir folgende Fragen: „Wie kann die Effizienz und Effektivität von Interventionen in der EZA erhöht werden? Wie kann die EZA von erfolgreichen, nachhaltigen Good Practices aus Nicht-EZA-Organisationen (wie z.B. Privatwirtschaft, öffentliche Verwaltung, NPO usw.) lernen? Können diese Ansätze in die EZA übertragen werden?“ Der entsprechende Leitfaden kann auf der Homepage www.gerhardleu.ch konsultiert werden. Der zweite Beitrag von Achim Engelhardt, Lotus M&E Group, befasste sich mit Erkenntnissen aus einer Mid-term Evaluation UNDP/UNIDO/UNHABITAT Slum upgrading in San Salvador. Dabei wurde der praktische Bezug auf die Wirkungsmessung, insbesondere des „One UN“ Ansatzes vorgestellt und diskutiert.
2.) Verschiedene Mitglieder der Arbeitsgruppe folgten der Einladung von Swiss Forum on Rural Advisory Services (SFRAS) zu ihrer Veranstaltung, die am 8. Dezember 2011 bei der Agridea in Lindau durchgeführt wurde. Die Sitzung befasste sich mit dem thematischen Schwerpunkt „Measuring Impact of Rural Advisory Services“. Ruedi Felber, ETH-NADEL präsentierte seine praktischen Erfahrungen bezüglich Opportunitäten und Grenzen von Wirkungsmessung. Seine Ausführungen nahmen Bezug auf die Wirkungsstudie von „Horticulture Promotion Kosovo (DEZA – Helvetas Swiss Intercooperation)“. Peter Schmidt, Helvetas Swiss Intercooperation, stellte die beiden Fallbeispiele „Outcome Study of Rural Advisory Services in Kyrgyzstan and Citizen Satisfaction Survey of PS-ARD Vietnam vor. Die anschliessende Diskussion ist auf der Webseite www.sdc-ruraldevelopment.ch zusammengefasst.
3.) Wir wurden ebenfalls von der Arbeitsgruppe „Evaluation of development policy“ der Gesellschaft für Evaluation DeGEval für ihre Frühjahrstagung in Berlin vom 3. und 4. Mai 2012 eingeladen. Erfreulicherweise nahmen fünf Mitlieder der Arbeitsgruppe an diesem interessanten Austausch teil, welcher sich mit „The rigour and potential of participatory statistics for evaluation“ befasste. Im Mittelpunkt der Veranstaltung standen drei Vorträge von Robert Chambers, IDS, Jeremy Holland, Social Development Consultant und Carlos Barahona, University of Reading. Zusätzlich zu diesen Beiträgen stellte Prof. Dr. Helmut Asche, Direktor des Instituts für deutsche Entwicklungsevaluierung das neue Institut vor.
Ruedi Felber, NADEL
felber@nadel.ethz.ch

Anlässe / Evénements

Rückblick auf Anlässe

EES-Seminar “The vision and logic of evaluation”, Brussels, 1 December 2011

At the end of 2011, the European Evaluation Society (EES) launched a new service for its members. To bridge the gap between its biennial symposia, the EES decided to host a one-day symposium .The first of its kind took place in Brussels and attracted an audience of 99 people from 18 countries. The largest participation came from Belgium (25), France (10), the UK (10), the Netherlands (9) and Germany (8). There were three participants, including myself, from Switzerland.

The day’s event was organised around three papers followed by a panel, then a more general discussion on the issues raised in the three presentations.

Nicoletta Stame, professor of social policy, University “La Sapienza”, Rome, Italy: was the first to present on the theme “Evaluation and learning in the current crisis” followed by Evert O. Vedung, professor emeritus of political science at Uppsala University and author of Public Policy and Program Evaluation (2010) who presented his four waves of evaluation diffusion, questioning whether there could now be a fifth wave on the horizon. Finally Frans L. Leeuw, professor at Maastricht University & Netherlands Research Institute for Security and Justice, Den Haag deliberated over current theories in and for evaluation, questioning why, how and what this might mean for the future. The powerpoint presentations are available to EES members only in the membership area on the EES’s website. The “bring home” messages from their presentations are summarised in the next paragraphs.

Nicoletta Stame’s paper outlined her vision of how evaluations should develop in the future. She argues that over the last few decades, there has been far too much emphasis on evaluating the effectiveness of public sector reforms’ performance and results (do they work?) to the determinant of any learning (the why, for whom, under what conditions, at what price etc). Moreover, governments, she says, have not necessarily used the evaluative information to good effect; there has been a tendency to make linear budgetary cuts, irrespective, of what evaluations have to say about where cuts would be best made and/or where improvements could pay off in the medium to longer term. The current financial and political crisis coupled with the recent surge of social uprisings (due to ever growing inequalities) poses a new challenge to evaluation. Stame argues that there is a need for a change of attitude – the institutionalisation of evaluation in the public sector must go hand-in-hand with the development of a learning culture. Public administrations should ‘learn to learn’; evaluation should become part of the business of government, and it should be incorporated into a ‘responsible’ public administration.
She suggested for the future, evaluation could concentrate on two alternatives, judging whether or not there was a need for budgetary cuts in relation to specific policies in the attempt to resist generalised financial reductions, or promoting policy development through much wider stakeholder involvement; using evaluations to encourage a more democratic form of policy-making.

Evert Verdung presented his analysis of evaluation’s development using the “wave” metaphor to emphasise how sediment from previous waves is left on the beach and integrated into the next wave. I have already presented a summary of his analysis in my review of the International Summer School on Public Policy Evaluation Research, which appeared in the SEVAL Newsletter No. 5, December 2010. A condensed version of Verdung’s work can be found in his article published in 2010 “Four Waves of Evaluation Diffusion” in Evaluation, 16(3) 263-277. Unfortunately, the new part intimated in the title of his presentation « or is there a 5th wave around ? » was not discussed. Perhaps he was hoping that the audience might develop this question in the discussion - but this didn’t happen.

Finally Frans Leeuw reminded us of the interdisciplinary, or rather transdisciplinary nature of evaluation. If we are to enrich our analyses, he says, we need to work much closer with the different social science disciplines. Our current theories and practices, he argues, lack reference to the theoretical developments of the relevant social and behavioural sciences e.g. economics, social psychology, organisation development and management. This is inevitably creating an important gap (see Leeuw/Vaessen (eds), 2009: Mind the Gap : Perspectives on Policy Evaluation and the Social Sciences,Transaction publishers).
A major problem, he argues, is that theories of evaluation are lacking in explanation. Evaluators, he suggests, tend to use “theory” in a bewildering variety of ways. It can refer to anything from ontology, a causal model, a strategy or a role model. In fact, he says, evaluators hold varying views of what theory is, or indeed some even argue that evaluation has no theory, - all of which only adds to the confusion.
Stame suggests that Realist Evaluation (see Pawson/Tilley 1997)has made one of the most significant contributions to theoretical developments in evaluation today because it has tried to “fill” some of the gap and take account of “others’” theories. He recommends that evaluators further develop their abilitiy to compare and contrast their explanatory theories with those from other disciplines such as intervention, programme, management, organisational learning, for example.

Whilst for some, the content of the EES Symposium may not appear to have been highly revolutionary, what was important was the innovation itself. The European Evaluation Society provides a platform “to interact, discuss and network amongst evaluation professionals, through such means as web-based tools/ forums and ad-hoc events”. Its main event, however, is its biennial conference - but in between, there has been a void: the 2011 Symposium was the first, and hopefully not the last, attempt to “bridge the gap” and offer its members an additional, smaller, and possibly annual opportunity to meet up and focus on some theoretical aspects of evaluation.

Marlène Läubli Loud, LAUCO Evaluation & Training
marlene.laeubli@bluewin.ch

***

Forschung über Evaluation: Theorie und Empirie zu Bedingungen, Prozessen, Einflüssen und Wirkungen der Evaluation

Fachtagung und Forschungskolloquium der DeGEval, 19.-20. April 2012, Berlin

Die vom Arbeitskreis Aus- und Weiterbildung der Gesellschaft für Evaluation (DeGeval) organisierte Veranstaltung hatte zum Ziel, eine transdisziplinäre Plattform zur Präsentation und Diskussion von Forschungsprojekten über Evaluation zu bieten. Die Veranstaltung bestand aus zwei Teilen: eine Fachtagung, die dazu diente, abgeschlossene oder weit fortgeschrittene Forschungsprojekte vorzustellen, und ein Forschungskolloquium für NachwuchswissenschaftlerInnen. Dieser Bericht fasst die Themen der Fachtagung und des Forschungskolloquium zusammen und geht auf zwei Beiträge etwas ausführlicher ein, die aus der Sicht der Autorin für die Evaluationspraxis besonders relevant und aus theoretischer Perspektive interessant sind.
In seiner Einführung zur Fachtagung vom 20. April 2012 bemerkte Jan Hense (Ludwig-Maximilians-Universität München, Sprecher des Arbeitskreises Aus- und Weiterbildung), dass mit der zunehmenden Evaluationstätigkeit auch die Nutzenerwartungen an Evaluationen gestiegen seien. Somit stellt sich die Frage, wie Evaluation zu gestalten ist, um diesen Erwartungen gerecht zu werden und den Nutzen von Evaluation zu erhöhen. Forschung über Evaluation versucht, auf diese Frage Antworten zu liefern. Forschung über Evaluation kann darüber hinaus noch weitere Gegenstände haben wie die Verwendung von Evaluationsergebnissen, Einflüsse und Wirkungen von Evaluation, Bedingungen von Evaluation, die Prozesse einer Evaluation oder verschiedene Evaluationsansätze. An der Fachtagung wurden neun fortgeschrittene oder abgeschlossene Forschungsprojekte zu diesen Themen vorgestellt. Vortragende waren WissenschaftlerInnen aus den Bereichen Erziehungswissenschaften, sozialer Arbeit und Verwaltungswissenschaften. Die Beiträge zeigten die Vielseitigkeit des Forschungsfeldes Evaluation auf, und die Veranstaltung erreichte ihr Ziel, einen transdisziplinären Diskurs zu ermöglichen. Mit folgenden Themen befassten sich die Beiträge: Evaluation und Kooperation an Schulen (Martin Stump); Evaluation und Vertrauen (Inka Bormann); rekonstruktiv-responsiver Evaluationsansatz (Juliane Lamprecht); Einbezug von Stakeholdern in der Evaluation von Stadtentwicklungsprogrammen (Ina Zimmermann); Professionalisierung von Evaluation an Hochschulen (Markus Seyfried); das Verhältnis zwischen interner und externer Schulevaluation (Holger Gärtner); Evaluation im Spannungsfeld von Ökonomisierung und Professionalisierung (Matthias Müller); Kompetenzenanforderungen an Evaluierende im Weiterbildungsbereich (Stefan Rädiker); und die Bedeutung von sozialen Kompetenzen für die Nutzung von Evaluation (Mary Sandermann). Die Vorträge wurden jeweils von Wolfgang Böttcher (Universität Münster, Vorstandsvorsitzender der DeGeval) und Thomas Widmer (Universität Zürich) kommentiert und diskutiert. Die Folien zu den Beiträgen wurden auf der Webseite des Aus- und Weiterbildungskreises veröffentlicht.
Der Beitrag von Mary Sandermann (Freie Universität Berlin) zur Bedeutung von sozialen Kompetenzen für die Evaluationsnutzung scheint mir besonders relevant für die Evaluationspraxis. Soziale Kompetenzen werden häufig als wichtig betont, es gibt jedoch bisher wenig systematische Untersuchungen über den Einfluss von sozialen Kompetenzen auf die Nutzung von Evaluation. Das Forschungsprojekt von Mary Sandermann zeigt auf, wie die Nutzung von Evaluation von den sozialen Kompetenzen (wie z.B. Handlungsorientierung, Kontaktfähigkeit oder Soziabilität) der Evaluierenden und der Nutzenden abhängen kann. Anhand von Evaluationen von universitären Mentoringprogrammen hat sie die Interaktionen zwischen Evaluierenden und Evaluationsnutzenden und die Bedeutung von verschiedenen sozialen Kompetenzen für die Evaluationsnutzung analysiert. Die Ergebnisse zeigen, dass nicht alle sozialen Kompetenzen den gleichen Einfluss auf die direkte Evaluationsnutzung haben. So fand die Untersuchung keine Anhaltspunkte dafür, dass Durchsetzungsfähigkeit, Flexibilität oder Veränderungsbereitschaft für die Nutzung von Evaluationen eine Rolle spielen. Hingegen kann eine ausgeprägte Teamorientierung der Nutzenden und besonders der Person, die Ansprechpartnerin für das Evaluationsteam ist, als relevant in Bezug auf die direkte Nutzung der Evaluation gewertet werden. Weil teamorientierte Personen als Multiplikatoren handeln, werden Ergebnisse, die an teamorientierte Personen zurückgemeldet werden, häufiger genutzt. Obwohl die Ergebnisse nicht ohne weiteres generalisiert und in andere Felder übertragen werden können, sind sie dennoch für die Evaluationspraxis bedeutsam: für Evaluierende ist es wichtig, teamorientierte Personen als Multiplikatoren für Evaluationsergebnisse identifizieren zu können.
Inka Bormann (Philipps-Universität Marburg) stellte eine theoretische Arbeit vor, die Evaluation aus der Perspektive der Vertrauensforschung betrachtet. In ihrer Arbeit geht die Erziehungswissenschaftlerin von der Annahme aus, dass das Vertrauen in Bildungsinstitutionen in Deutschland abnimmt. Vor diesem Hintergrund analysierte sie die Funktionalität von Evaluation in Bezug auf Vertrauen und stellte zwei Thesen auf: einerseits können Evaluationen dazu dienen, das Vertrauen zu (re-)stabilisieren, indem sie Wissen generieren und der Öffentlichkeit das Gefühl geben, dass Probleme angepackt werden. Andererseits können aber Evaluationen auch dazu führen, dass hauptsächlich das Vertrauen in Instrumente der Evaluation (z.B. Tests) gestärkt wird, nicht aber das Vertrauen in die Institutionen. Diese Verlagerung des Fokus‘ auf Vertrauen in Instrumente kann als Nebeneffekt daher auch Misstrauen institutionalisieren. Diese theoretische Arbeit wird nun in eine empirische Studie einfliessen, welche die Thesen prüfen soll. Der Vortrag hat aufgezeigt, dass für Evaluierende eine Auseinandersetzung mit der Frage, ob sie mit ihrer Arbeit Vertrauen oder allenfalls Misstrauen kreieren, durchaus relevant ist.
Das Forschungskolloquium vom 19. April 2012 ermöglichte es vier NachwuchswissenschaftlerInnen, ihre geplanten oder laufenden Projekte in einem niederschwelligen Rahmen vorzustellen und zu diskutieren. Die vier Projekte beschäftigen sich mit Funktionen und Wirkungen von Evaluationen von Friedensprojekten (Sabine Dinges, University of Bradford), Evaluation als Instrument der Policy Steuerung (Claus Buchholz, Universität Potsdam), komplexe Evaluationsergebnisse einfach darstellen (Anja Vetterlein und Erik Sengewald, Universität Jena) und die Rolle von Evaluationsergebnissen in Abstimmungskampagnen der direkten Demokratie (mein eigener Beitrag). Das Format des Kolloquiums ermöglichte einen konstruktiven Austausch über methodische Ansätze und inhaltliche Fragen, und erlaubte es uns Nachwuchswissenschaftlern, in unserer Arbeit einen Schritt weiterzukommen.
Beide Teile der Veranstaltung haben Ansätze von Antworten geliefert, wie Evaluation in der Praxis gestaltet werden kann, um Nutzenerwartungen gerecht zu werden. Es wurde aber auch aufgezeigt, dass es noch vermehrt Forschung braucht, um geeignete Erklärungstheorien für die Nutzung von Evaluationen zu entwickeln und die Evaluation selbst evidenzbasierter zu gestalten.

Caroline Schlaufer, Zentrum für universitäre Weiterbildung, Universität Bern caroline.schlaufer@zuw.unibe.ch

Aus- und Weiterbildung / Formations et formations continues

Arbeitsgruppe Aus- und Weiterbildung
Anfang Jahr hat die Arbeitsgruppe Aus- und Weiterbildung den Entwurf einer Liste von Kompetenzen von Evaluatorinnen/Evaluatoren bei den Mitgliedern in Konsultation gegeben. Rund 20 Mitglieder haben das vorgeschlagene Kompetenzprofil kommentiert und Rückmeldungen abgegeben. Wir bedanken uns für diese wertvollen Inputs. Die Liste wird nun überarbeitet und zu gegebener Zeit publiziert.

Agenda / Agenda

Internationale Kongresstermine
Gesellschaft für Evaluation - DeGEval
Die 15. Jahrestagung der DeGEval – Gesellschaft für Evaluation zum Thema „Evaluation – Evidenz – Effekte“ wird vom 19. bis zum 21. September 2012 in Potsdam stattfinden.
http://www.degeval.de/veranstaltungen/jahrestagungen/potsdam-2012/item/593-15-jahrestagung-der-degeval-evaluation-evidenz-effekte

Société Française de l’Evaluation SFE
Journée d’étude : „10 ans après la loi 2002-2, les défis de l'évaluation externe“
20 juin 2012, Paris
http://www.sfe-asso.fr/sfe-evaluation.php?menu_id=930

„Associations, action publique et évaluation“
22 mai 2012, Paris
http://www.sfe-asso.fr/sfe-evaluation.php?menu_id=937

European Evaluation Society EES
10th EES Biennial Conference: „Evaluation in the networked society: New concepts, New challenges, New solutions“
3 - 5 October 2012, Helsinki, Finland
http://www.ees2012.org

American Evaluation Society
26th Annual Conference of the American Evaluation Association : „Evaluation in Complex Ecologies Relationships, Responsibilities, Relevance“
24-27 October 2012, Minneapolis, Minnesota, USA
http://www.eval.org/eval2012/default.asp

Publikationen / Publications

Thomas Widmer, Thomas De Rocchi (2012). Evaluation - Grundlagen, Ansätze und Anwendungen. Glarus/Chur: Rüegger Verlag. Reihe: Kompaktwissen CH, Band 16.
Taschenbuch, 188 Seiten; CHF 22.00; ISBN-Nr.: 978-3-7253-0980-1
http://www.rueggerverlag.ch/page/verzeichnis/detail.cfm?id=764

Die Evaluation hat in den letzten zwei Jahrzehnten in Europa und besonders in der Schweiz einen enormen Aufschwung erlebt. Die systematische und transparente Bewertung von Prozessen, Leistungen und Wirkungen in der Form von Evaluationsstudien ist heute in allen Bereichen staatlichen Handelns anzutreffen. Der Band erläutert die Entwicklung der Evaluation im Allgemeinen und speziell in der Schweiz. Er stellt eine Einführung in die Thematik sowohl für die Praxis als auch für die Aus- und Weiterbildung dar.
Vorgestellt werden die theoretischen, konzeptionellen und methodischen Grundlagen und Ansätze der Evaluation sowie die wichtigsten Rahmenbedingungen, in welchen sich die Evaluation bewegt. Die konkrete Durchführung von Evaluationsprozessen wird anschaulich dargelegt, wobei die Evaluationsqualität und die Evaluationsnutzung speziell beleuchtet werden. (Verlagstext)

***

Neue Evaluationen der Parlamentarischen Verwaltungskontrolle (PVK):
Steuerung der Sozialversicherungen durch den Bundesrat
Die Geschäftsprüfungskommission des Ständerates hat am 2. April 2012 die Evaluation der PVK zur Steuerung der Sozialversicherungen durch den Bundesrat veröffentlicht. Die aktuellen Berichte der PVK finden sich unter folgendem Link:
http://www.parlament.ch/d/organe-mitglieder/kommissionen/parlamentarische-verwaltungskontrolle/Seiten/default.aspx

Nouvelles évaluations du contrôle parlementaire de l’administration (CPA):
Pilotage des assurances sociales par le Conseil fédéral
La Commission de gestion du Conseil des Etats a publié le 2 avril 2012 le rapport du CPA concernant l’évaluation du pilotage des assurances sociales par le Conseil fédéral. Les rapports actuels du CPA sont disponibles sous le lien suivant:
http://www.parlament.ch/f/organe-mitglieder/kommissionen/parlamentarische-verwaltungskontrolle/pages/default.aspx

***

Evaluationen der Eidgenössischen Finanzkontrolle (EFK):
Umsetzung der Evaluationsklauseln in der Bundesverwaltung
Die Eidgenössische Finanzkontrolle hat kürzlich einen Bericht über die Umsetzung der Evaluationsklauseln in der Bundesverwaltung veröffentlicht. Diese Studie hat fehlende Klarheit in ihrer Formulierung und eine grosse inhaltliche Heterogenität aufgezeigt. Die Evaluationsklauseln werden beachtet, und die Berichte liefern hauptsächlich den Bundesämtern Informationen im Rahmen ihrer Aktivitäten zur Umsetzung von Gesetzen oder Programmen. Zwischen 2006 und 2009 haben die Klauseln 116 Evaluationen ausgelöst. Die Analyse identifizierte Risiken hinsichtlich der Nutzung von Evaluationsergebnissen. Es wurden verschiedene Empfehlungen formuliert. Es geht darum, die Evaluationsklauseln präziser zu formulieren. Die Verwaltungseinheiten sollten zudem zu den Evaluationsergebnissen Stellung nehmen. Schliesslich muss der Zugang zu den Berichten erleichtert werden, indem die Koordination zwischen den verschiedenen Datenbanken des Bundes verbessert wird. Der vollständige Bericht (Deutsch) sowie eine Zusammenfassung (Französisch) sind auf der Website der Eidgenössischen Finanzkontrolle verfügbar:

zum Bericht

Evaluations du Contrôle fédéral des finances (CDF):
Application des clauses d’évaluation au sein de l’administration fédérale
Le Contrôle fédéral des finances a récemment publié un rapport sur l’application des clauses d’évaluation au sein de l’administration fédérale. Cette étude a relevé un manque de clarté dans leur formulation et une grande variété quant à leur contenu. Les clauses d’évaluation sont respectées et les rapports fournissent des informations principalement aux offices fédéraux dans le cadre de leurs activités de mise en œuvre de lois ou de programmes. Entre 2006 et 2009 les clauses ont déclenché 116 évaluations. L’analyse a identifié des risques quant à l’utilisation des résultats. Différentes recommandations ont été formulées. Il s’agit de donner une formulation plus précise aux clauses d’évaluation. Les unités administratives devraient également assortir les résultats des évaluations d’une prise de position. Enfin l’accès aux rapports doit être facilité en améliorant la coordination entre les différentes bases de données de la Confédération. Le rapport complet (en allemand) ainsi qu’un résumé (en français) sont disponibles sur le site du Contrôle fédéral des finances:

au résumé

***

Aktuelle Zeitschriftenartikel mit Schweiz-Bezug:

Simone Ledermann (2012): “Exploring the Necessary Conditions for Evaluation Use in Program Change”, in American Journal of Evaluation 2012;33 159-178
http://aje.sagepub.com/cgi/content/abstract/33/2/159

Abstract:
Research has identified a wide range of factors that affect evaluation use but continues to be inconclusive as to their relative importance. This article addresses the complex phenomenon of evaluation use in three ways: first, it draws on recent conceptual developments to delimitate the examined form of use; second, it aims at identifying conditions that are necessary but not necessarily sufficient for evaluation use; third, it combines mechanisms of evaluation use, context conditions, and actor perceptions. The study reported here examines the use of 11 program and project evaluations by the Swiss Agency for Development and Cooperation (SDC). The article makes use of qualitative comparative analysis (QCA), a method that is well suited to the study of context-bound necessity. It is concluded that the analysis of conditions that are necessary to trigger mechanisms of evaluation use in certain contexts is challenging, but promising to face the complexity of the phenomenon.

Links zu weiteren Zeitschriften:
Evaluation: http://evi.sagepub.com/content/current
American Journal of Evaluation: http://aje.sagepub.com/content/current
Zeitschrift für Evaluation: http://www.zfev.de/aktuelleAusgabe/index.html

***

Die Rubrik Publikationen bietet eine Plattform, um auf Neuerscheinungen zum Thema Evaluation oder auf Publikationen von Seval-Mitgliedern (Evaluationsberichte, Bücher, Artikel in Büchern oder Fachzeitschriften etc.) aufmerksam zu machen. Entsprechende Hinweise nimmt die Redaktion jederzeit gerne entgegen: ruefli@buerovatter.ch
La rubrique publications offre une plate-forme pour rendre le public intéressé attentif à des nouvelles parutions dans le domaine d'évaluation ou à des publications des membres de la Seval (rapports d'évaluation, livres, articles dans des livres ou revues spécialisées etc.). Indications peuvent à tout moment être adressées à la rédaction : ruefli@buerovatter.ch

Aktivitäten und Mitteilungen der SEVAL / Activités et communications de la SEVAL

Anlässe / Evénements

Aus- und Weiterbildung / Formations et formations continues

Agenda / Agenda

Publikationen / Publications