Skuteczna ewaluacja – jak ją zaplanować i przeprowadzić

Dobrze zaprojektowana i przeprowadzona ewaluacja sprzyja podniesieniu skuteczności inicjatywy. Pozwala ona bowiem ocenić aktualne efekty pracy i zbudować solidny fundament pod dalsze działania. Konsorcjum projektu INDEED pracuje obecnie nad narzędziem pozwalającym ułatwić ten proces.

Wnioski wyciągane z procesu wdrażania oraz z rezultatów podejmowanych działań bez wątpienia mogą wpływać na osiąganie lepszych wyników w przyszłości. Jednakże zaledwie krótkie podsumowanie sukcesów i błędów po zakończeniu danego działania nie wystarczy. Brak spójnej oceny opartej na rzetelnej naukowej metodzie może bowiem utrudniać właściwe zrozumienie rezultatów działania i wyjaśnienie przyczyn ewentualnych problemów w osiąganiu zaplanowanych celów. Dlatego, aby taka ocena była w pełni skuteczna, musi przybrać postać ewaluacji przeprowadzonej w sposób przemyślany i systematyczny.

Niniejszy artykuł przybliża więc pojęcie ewaluacji, a zwłaszcza ewaluacji opartej na dowodach, jej znaczenie oraz wsparcie, jakie może ona zaoferować w podnoszeniu skuteczności inicjatyw profilaktycznych. Skupia się on głównie na narzędziach wspierających proces ewaluacji inicjatyw projektowanych i realizowanych w obszarze zapobiegania oraz zwalczania radykalizacji wiodącej do brutalnego ekstremizmu, jakie opracowuje konsorcjum projektu INDEED, by wspomóc praktyków pracujących w tej dziedzinie. Przy czym ogólne wnioski znajdą również zastosowanie na innych polach związanych z zapobieganiem zagrożeniom bezpieczeństwa.

Czym jest ewaluacja

Dr Marzena Kordaczuk-Wąs, ekspertka Polskiej Platformy Bezpieczeństwa Wewnętrznego od wielu lat zajmująca się zapobieganiem zagrożeniom bezpieczeństwa, podkreśla – za definicją wypracowaną przez konsorcjum projektu INDEED – że ewaluacja oparta na dowodach oznacza:

„proces […], który integruje dostępne dowody zewnętrzne, profesjonalną wiedzę specjalistyczną oraz wartości, preferencje i sytuację interesariuszy” (Klose, 2022, s. 40).

Przy czym należy wyjaśnić, że ewaluacja ma kilka zastosowań. Najczęściej jest wykorzystywana w celu zrozumienia, jak przebiega proces wdrażania inicjatywy, a także jakie przyniosła ona rezultaty. Zazwyczaj kojarzy się z badaniem skuteczności danego działania. Tymczasem pozwala ona również zbadać, czy założenia danego działania odpowiadają na zdiagnozowane zagrożenia oraz rzeczywiste potrzeby środowiska lokalnego, a także czy założenia danej inicjatywy zostały poprawnie skonstruowane. Ewaluacja to również narzędzie, które pozwala praktykom osiągać jeszcze lepsze rezultaty, poprzez wykorzystanie doświadczenia zarówno własnego, jak i innych zespołów, które zdecydowały się upowszechnić wyniki ewaluacji zrealizowanych inicjatyw.

Nieprawidłowości przy projektowaniu i wdrażaniu ewaluacji

Choć konieczność prowadzenia ewaluacji jest coraz częściej rozumiana i podkreślana, to w praktyce wciąż albo nie jest ona przeprowadzana w ogóle, albo też napotyka się na szereg błędów popełnianych na różnych jej etapach. Znaczący problem stanowi na przykład brak planowania ewaluacji już na etapie projektowania założeń danej inicjatywy. Wciąż dość często pomysł na jej przeprowadzenie pojawia się podczas jej wdrażania, co w konsekwencji znacząco utrudnia ocenę zakończonych działań. Ponadto, w takich sytuacjach brakuje również odpowiednio przygotowanego warsztatu metodologicznego, który pozwoliłby jasno i rzetelnie określić jakie aspekty inicjatywy  warto poddać ewaluacji i w jaki sposób należy je zbadać.

Warto również dodać, że prawidłowo zaplanowana ewaluacja wymaga zaangażowania wszystkich istotnych interesariuszy inicjatywy na każdym z etapów działania. Poczucie sprawczości i wpływu na jakość inicjatywy może bowiem pomagać w procesie gromadzenia pełniejszych danych ewaluacyjnych. Niestety wciąż nierzadko zdarza się, że gromadzone informacje pochodzą jedynie od wąskiego grona osób zarządzających daną inicjatywą, bądź działaniem programowym.

Inną poważną nieprawidłowością jest prowadzanie ewaluacji w celu i w sposób umożliwiający zgromadzenie argumentów wspierających finansowanie inicjatywy, wykazywanie politycznie zorientowanych efektów, czy też użycie ewaluacji jako narzędzia kontroli.

INDEED i budowanie kultury ewaluacji

Jak już wspomniano, rzetelnie prowadzona ewaluacja oferuje możliwość zwiększania skuteczności inicjatyw mających na celu zapobieganie i zwalczanie radykalizacji, a także działań zorientowanych na inne zagrożenia bezpieczeństwa. Tak ważne jest więc opracowywanie i upowszechnianie rozwiązań umożliwiających podnoszenie jej jakości. Między innymi z tego powodu Polska Platforma Bezpieczeństwa Wewnętrznego wraz z 18 partnerami z 15 krajów zainicjowała europejski projekt o akronimie INDEED, koordynowany przez dr Marzenę Kordaczuk-Wąs, którego nadrzędnym celem jest budowanie i promowanie kultury ewaluacji poprzez opracowywanie narzędzi i rozwijanie praktycznych kompetencji praktyków, a także decydentów wspierających projektowanie oraz przeprowadzanie skutecznej ewaluacji.

Projekt ten wyróżnia dążenie do wykorzystania dorobku teoretycznego, wypracowanego przez środowiska akademickie w zakresie podejść do ewaluacji opartej na dowodach, w praktycznych działaniach w obszarze projektowania i ewaluacji inicjatyw profilaktycznych.

Wykorzystując podejście metodologii opartej na pięciu składowych (tj.: identyfikacja, zaangażowanie, innowacja, wdrażanie oraz wpływ), konsorcjum projektu INDEED opracowało innowacyjny zestaw narzędzi (Toolkit), który zostanie w przyszłości połączony z pakietem e-learningowym, integrujący praktyczne narzędzia wspierające projektowanie i przeprowadzanie ewaluacji, z narzędziami edukacyjnymi.

“Zestaw narzędzi INDEED ma […] charakter integracyjny, pasujący do wielu scenariuszy zawodowych, a także różnych rodzajów inicjatyw” – podkreśla Irina Van Der Vet, członkini zespołu badawczego Uniwersytetu Helsińskiego, będącego jednym z partnerów konsorcjum. Dodaje ona również, że “to, do czego dążymy [w projekcie] to przede wszystkim adresowanie rozwiązań ułatwiających interesariuszom ocenę procedur, umożliwiając im udział w procesach ewaluacji lub samodzielne ich projektowanie i przeprowadzanie”.

Model Ewaluacji Opartej na Dowodach

Jednym z kluczowych elementów wspomnianego zestawu narzędzi opracowanego przez konsorcjum jest Model Ewaluacji Opartej na Dowodach. Został on wyprowadzony z teoretycznych i praktycznych podejść do ewaluacji. Na jego podstawie projektowane jest praktyczne narzędzie wspierające planowanie i przeprowadzenie ewaluacji.

Model ten ma cechy uniwersalności, dzięki czemu może znaleźć zastosowanie zarówno w odniesieniu do inicjatyw projektowanych i wdrażanych w obszarze zapobiegania oraz zwalczania radykalizacji, czy de-radykalizacji, jak również w kontekście szeroko rozumianego zapobiegania innym zagrożeniom bezpieczeństwa. Tworzy on ramy ewaluacji tych inicjatyw, odnosząc się do dwóch jej wymiarów – niezbędnych komponentów ewaluacji opartej na dowodach, a także do jej poszczególnych etapów.

Przedstawia on cztery etapy, takie jak przygotowanie, projektowanie, wykonanie i wykorzystanie, które są integralnymi częściami iteracyjnego procesu ewaluacji. Pierwszy etap obejmuje budowanie dobrego zrozumienia inicjatywy i określenie potrzeb ewaluacyjnych, kontekstu ewaluacji oraz dostępnych zasobów umożliwiających jej przeprowadzenie. Drugi etap dostarcza wskazówek niezbędnych do opracowania szczegółowego planu ewaluacji. Trzeci obejmuje wdrożenie wypracowanego planu, a następnie analizę wyników ewaluacji. Celem czwartego etapu jest natomiast wykorzystanie i rozpowszechnienie wyników ewaluacji pochodzących z przeanalizowanych danych, jak też pochodzących z całego procesu ewaluacji.

Kompleksowe narzędzie wspierające ewaluację

W celu wsparcia planowania i przeprowadzania ewaluacji opartej na dowodach, projekt INDEED opracowuje kompleksowe narzędzie. Może ono zostać wykorzystane na każdym etapie realizacji inicjatyw poświęconych zapobieganiu i zwalczaniu radykalizacji oraz de-radykalizacji, a także innym obszarom. Narzędzie oferuje szczegółowe informacje oraz instrukcje „krok po kroku” dotyczące planowania i przeprowadzania ewaluacji, w tym tych o ograniczonym zakresie. Podstawą do opracowania tego narzędzia jest Model Ewaluacji Opartej na Dowodach stworzony w ramach INDEED.

Narzędzie jest obecnie w fazie aktywnego projektowania, a już w połowie października zostanie przekazane do testów, jak również walidacji przez użytkowników końcowych. Z kolei pod koniec listopada zostanie ono udostępnione jako jeden z elementów zestawu narzędzi INDEED Toolkit dostępnych na stronie projektu. Jego finalna wersja, dostępna w różnych językach, wraz z całym pakietem narzędzi, zostanie opublikowana pod koniec realizacji projektu INDEED, najpóźniej w sierpniu 2024 roku.

Praktyków i instytucje zainteresowane skorzystaniem z rozwiązań wspierających ewaluację opartą na dowodach zachęcamy do zapoznania się z obecnie dostępnymi narzędziami INDEED, a w razie chęci przeprowadzenia testów i walidacji zachęcamy do kontaktu z Managerem projektu: natalia.jarmuzek@ppbw.pl