Sprawdzone programy profilaktyczne

Podnoszenie jakości działań mających na celu ochronę zdrowia psychicznego, w tym promocję zdrowia i profilaktykę, od kilku lat znajduje się wśród priorytetów centralnych instytucji zajmujących się profilaktyką narkomanii i innych substancji psychoaktywnych. Instytucje te dążą do wprowadzenia kryteriów dobrej jakości i ujednoliconych standardów w działaniach profilaktycznych. Przykładem takich rozwiązań na szczeblu krajowym jest, funkcjonujący od 2010 roku, System Oceny i Rekomendacji Programów Profilaktycznych i Promocji Zdrowia, przygotowany przez cztery ośrodki krajowe: Krajowe Biuro ds. Przeciwdziałania Narkomanii, Państwową Agencję Rozwiązywania Problemów Alkoholowych, Ośrodek Rozwoju Edukacji oraz Instytut Psychiatrii i Neurologii.

Standardy jakości programów profilaktycznych

Programom profilaktycznym stawia się szereg wymagań. Aby dany projekt mógł zostać uznany za program spełniający standardy dobrej jakości, powinien:

• opierać się na sprawdzonej koncepcji teoretycznej, która pozwala przypuszczać, że program przyniesie oczekiwane efekty,
• mieć jasno sformułowane cele – adekwatne do problemu, którego dotyczy interwencja i dobrze dobrane do adresata,
• jego skuteczność powinna być określona w badaniach ewaluacyjnych.

Szczegółowy opis standardów programów profilaktycznych i zdrowia psychicznego można znaleźć na stronie www.programyrekomendowane.pl

Etapy konstruowania programu

1. Diagnoza i ocena potrzeb:
   1. Określenie problemu, któremu program ma przeciwdziałać
      Punktem wyjścia dla programu jest określenie problemu, któremu chcemy przeciwdziałać. Problem formułowany jest na podstawie diagnozy opisującej naturę i rozmiar zjawiska, którego dotyczyć będzie program, czynniki ryzyka oraz czynniki chroniące. Właściwa diagnoza pozwala na identyfikację grupy docelowej programu.
   2. Wybór koncepcji teoretycznej, na której program ma się opierać
      Program powinien opierać się na sprawdzonej koncepcji teoretycznej umożliwiającej wyjaśnienie mechanizmów leżących u podłoża problemu, któremu program ma przeciwdziałać oraz wskazującej, na jakie na czynniki ryzyka i czynniki chroniące należy oddziaływać.
   3. Określenie odbiorców, do których adresowane będą działania programu
      Ocena sytuacji początkowej i sformułowanie problemu pozwalają na wybór grupy docelowej i bezpośrednich odbiorców programu. W programie określa się kryteria kwalifikacyjne grupy docelowej oraz kryteria wykluczające udział w programie. Wybór odbiorców programu wyznacza poziom profilaktyki, do którego program będzie się odwoływać (uniwersalna, selektywna, wskazująca).
2. Planowanie celów i sposobów ich realizacji:
   1. Sformułowanie celu głównego
      Cel główny określa końcowy wynik realizacji programu. Jest odpowiedzią na zidentyfikowany problem.
   2. Określenie celów szczegółowych
      Cele szczegółowe programu wskazują drogi osiągnięcia celu głównego poprzez ograniczanie zidentyfikowanych czynników leżących u źródeł problemu (przyczyny) lub wzmacnianie czynników chroniących.
   3. Określenie wskaźników realizacji celu głównego i celów szczegółowych
      Wskaźniki realizacji celu to miary, które umożliwiają ocenę stopnia realizacji celów programu. Pokazują, czy nastąpiła oczekiwana zmiana w obszarach, na które program ma oddziaływać. Mogą to być zachowania, postawy, przekonania lub wiedza odbiorców programu. Można wyróżnić bezpośrednie i pośrednie wskaźniki realizacji celów. Wskaźniki bezpośrednie (behawioralne, „twarde”) to zmiany w zakresie zachowań problemowych, które są przedmiotem oddziaływania programu profilaktycznego. Może to być na przykład zmiana intensywności lub częstotliwości zachowań związanych z używaniem substancji psychoaktywnych (palenie papierosów, picie alkoholu, itp.), zachowań agresywnych wśród uczniów itp. Stopień realizacji celów programu określa się nie tylko na podstawie bezpośrednich zmian w zachowaniu, ale także na podstawie zmian w czynnikach, które są powiązane z występowaniem zachowań problemowych i których wystąpienie zwiększa prawdopodobieństwo korzystnych zmian w zakresie tych zachowań. Do wskaźników pośrednich można zaliczyć: wzrost wiedzy o szkodliwości używania substancji psychoaktywnych, wzrost umiejętności przeciwstawiania się presji rówieśniczej, zaangażowanie w konstruktywne działania itp.
      Dobierając wskaźniki powinniśmy mieć świadomość, w jakim stopniu możemy im ufać, na ile rzetelnie mówią o badanym zjawisku: umiejętności, postawie, zachowaniu. Wskaźniki odnoszące się do działań i rezultatów programu powinny mieć w miarę możliwości przede wszystkim charakter liczbowy, „twardy”. Pozwoli to zmierzyć faktyczny efekt programu. Przykładowo, jeśli w wyniku realizacji programu ma nastąpić spadek spożycia alkoholu przez młodzież, wskaźnikiem realizacji celu może być zmniejszenie odsetka młodych ludzi sięgających po alkohol w okresie ostatnich 30 dni w 6 miesięcy po zakończeniu interwencji. Wskaźniki, podobnie jak cele, formułuje się zgodnie z koncepcją SMART, co oznacza, iż mają one:
      • odnosić się do grupy docelowej programu (S – ang. specific)
      • być mierzalne czyli sformułowane w formie możliwych do zmierzenia rezultatów (M – ang. measurable)
      • być sformułowane w formie oczekiwanej zmiany (A – ang. action-oriented)
      • być realistyczne, możliwe do osiągnięcia (R – ang. realistic)
      • być określone w czasie (T – ang. timed)
   4. Zaplanowanie działań umożliwiających realizację celów programu
      Rodzaj, długość i intensywność działań oraz metody i techniki wykorzystywane do ich realizacji wyznaczane są przez cele szczegółowe programu. Dobrze zaplanowane działania powinny być adekwatne do celów programu, do specyfiki odbiorców (długość działań, ich intensywność, metody właściwe do wieku rozwojowego) oraz powinny opierać się na skutecznych strategiach profilaktycznych.
   5. Ustalenie nakładów i kosztów niezbędnych do realizacji programu
      Nakłady i koszty realizacji programu wynikają z zakresu i rodzaju zaplanowanych działań oraz specyfiki odbiorców programu. Nakłady obejmują kadrę realizatorów, koordynatorów, materiały pomocnicze dla uczestników, podręczniki dla realizatorów itp.
      Zaplanowanie sposobów implementacji programu
      Plan wdrożenia programu obejmuje m.in.: zaplanowanie sposobu dotarcia do odbiorców programu, określenie sposobu, w jaki zostanie zapewniony nadzór nad jakością programu (np. poprzez koordynację, cykliczne spotkania realizatorów, odpowiednie materiały), wprowadzanie zmian w programie w efekcie ewaluacji procesu, określenie sposobu szkolenia realizatorów, zaplanowanie współpracy z lokalną społecznością i organizacjami itp.
      Monitorowanie realizacji programu i ocena efektów w trakcie ewaluacji
   6. Zaplanowanie sposobów monitorowania realizacji programu
      Plan wdrożenia programu obejmuje m.in.: zaplanowanie sposobu dotarcia do odbiorców programu, określenie sposobu, w jaki zostanie zapewniony nadzór nad jakością programu (np. poprzez koordynację, cykliczne spotkania realizatorów, odpowiednie materiały), wprowadzanie zmian w programie w efekcie ewaluacji procesu, określenie sposobu szkolenia realizatorów, zaplanowanie współpracy z lokalną społecznością i organizacjami itp.
3. Monitorowanie realizacji programu i ocena efektów w trakcie ewaluacji
   1. Zaplanowanie sposobów monitorowania realizacji programu
      Na tym etapie opracowywania programu należy skoncentrować się na ustaleniu narzędzi monitoringu oraz sposobów sprawowania kontroli nad realizacją programu. Mogą to być np. zapisy w dzienniku dyżurów, wpisy do kart obserwacyjnych, sprawozdania i inne formy rejestracji działań. Monitoring jest podstawą przeprowadzenia ewaluacji.
   2. Planowanie ewaluacji programu
      Program spełniający standardy jakości powinien mieć zaplanowaną ewaluację czyli konkretne sposoby pozwalające stwierdzić, czy program realizowany jest zgodnie z zamierzeniami i czy osiąga rezultaty, które były zaplanowane. Minimalnym wymogiem stawianym programom profilaktycznym jest ewaluacja procesu.
   3. Modyfikowanie programu
      Przy konstruowaniu programu należy uwzględnić możliwość jego modyfikacji, jeśli na podstawie informacji o programie zebranych podczas ewaluacji pojawi się taka potrzeba. Modyfikacja może oznaczać, np. korygowanie lub zmianę działań, aktualizowanie działań lub materiałów towarzyszących programowi, upraszczanie programu itp.

Ewaluacja programów profilaktycznych

Ewaluacja to badanie (ocena) wartości programu i określenie, czy spełnia on kryteria stawiane programom profilaktycznym takie jak: skuteczność (czy cele programu zostały zrealizowane), efektywność (jaki był koszt uzyskania planowanych wyników), użyteczność (czy program przyczynił się do zaspokojenia potrzeb grupy docelowej) i trwałość (czy zmiany będą trwały po zakończeniu programu). Jej istotą jest systematyczne zbieranie informacji o programie, a celem poprawa jakości projektu. Ze względu na cel i etap wdrażania programu wyróżnia się ewaluację procesu, formatywną i sumatywną, natomiast ze względu na osobę ewaluatora wyróżniamy ewaluację wewnętrzną i zewnętrzną.

Ewaluacja procesu

Ewaluacja procesu jest najbardziej podstawową formą oceny podejmowanych działań. Jej celem jest zbadanie procesu wdrażania programu. Dokonując oceny procesu realizacji programu zbieramy informacje o tym, jak program był realizowany, w jakim stopniu udało się go zrealizować (które z zaplanowanych elementów programu zostały zrealizowane, a które nie i dlaczego), kto brał w nim udział, które działania były dobrze przyjęte przez odbiorców, a które nie i dlaczego, czy zaistniały jakieś trudności i jakie były sposoby ich rozwiązania itp. W ewaluacji procesu wykorzystywana jest m.in. analiza dokumentacji programu i informacje zwrotne od beneficjentów projektu.

Ewaluacja formatywna

Celem ewaluacji formatywnej jest optymalizacja działań zaplanowanych w programie. Zbierane w jej procesie informacje odpowiadają na pytanie, czy i na ile zaplanowane działania (techniki i metody wpływu) przyczyniają się do realizacji celów programu (ogólnego i szczegółowych). Wyniki ewaluacji formatywnej służą do wyboru tych działań lub rozwiązań, które dają największą gwarancję osiągnięcia zamierzonych efektów. Przykładowe techniki badawcze wykorzystywane w procesie ewaluacji formatywnej obejmują m.in.: schemat pretest-postest z wykorzystaniem kwestionariusza (badanie zmian w zakresie wiedzy), indywidualne wywiady pogłębione z uczestnikami zajęć (zbieranie opinii o zawartości programu, jego realizacji) itp. Ten rodzaj ewaluacji jest szczególnie użyteczny na etapie tworzenia programu profilaktycznego – wnioski z niej wynikające są podstawą przygotowania końcowej wersji programu.

Ewaluacja sumatywna (konkluzywna, wyników)

Przedmiotem ewaluacji sumatywnej jest ocena skuteczności działań podjętych w ramach programu profilaktycznego – mówiąc najprościej odpowiada ona na pytanie, czy zrealizowano cele zakładane w programie a więc czy zostały osiągnięte bezpośrednie i/lub odroczone wyniki programu. Skuteczność programu określa się za pomocą stopnia osiągnięcia zamierzonych efektów, ich trwałości oraz rodzaju wpływu na otoczenie (czy jest to wpływ pozytywny czy nie). Metodologia stosowana do oceny skuteczności projektów profilaktycznych opiera się najczęściej na schematach eksperymentalnych lub quasi-eksperymentalnych. Badania prowadzone są z podziałem na grupę kontrolną (np. klasę uczniów nie uczestniczących w programie) i grupę eksperymentalną poddawaną oddziaływaniom programu. Wymagany jest losowy dobór próby badawczej oraz wykonanie pomiaru przed i po zakończeniu interwencji (pretest-posttest). Dopuszcza się też wykorzystywanie w ramach badań ewaluacyjnych metodologii jakościowej (np. w przypadku projektów typu „harm reduction”, w których trudno stosować schemat eksperymentalny).

Ewaluacja zewnętrzna

Ewaluacja realizowana przez ekspertów spoza organizacji wdrażającej program, którzy nie są zaangażowani w tworzenie i wdrażanie projektu. Ten rodzaj ewaluacji jest szczególnie przydatny na etapie badań ewaluacyjnych z udziałem odbiorców programu. Realizacja badań bezpośrednich wśród respondentów przez zewnętrznych ewaluatorów zapewnia znacznie większą poufność i anonimowość, niż w przypadku ewaluatorów wewnętrznych, przez co zwiększa otwartość i szczerość opinii badanych.

Ewaluacja wewnętrzna

Ewaluacja prowadzona przez osoby zatrudnione w organizacji wdrażającej program, np. autorów, realizatorów. Na ogół wykorzystywana jest na etapie tworzenia i wdrażania programu.

Ewaluacja demokratyczna

Nastawiona jest na uwzględnienie różnych interesów i punktów widzenia uczestniczących w niej stron zgodnie z ich własną definicją i interpretacją. Ewaluator jest w tym przypadku nie tyle osobą formułującą oceny, ile pośrednikiem w wymianie informacji, przekonań i doświadczeń, i to w sposób, który nie pozbawia nikogo kontroli nad ich użyciem i interpretacją.

Triangulacja

Triangulacja polega na stosowaniu wielu metod badawczych, technik oraz źródeł danych w celu skonfrontowania otrzymanych informacji i ich podsumowania, dzięki czemu zmniejsza się błędy pomiaru, a tym samym zwiększa się jakość i wiarygodność badania. Przykładem triangulacji może być np. zaangażowanie w proces badawczy więcej niż jednego ewaluatora (triangulacja badacza), wykorzystywanie różnych źródeł danych (triangulacja danych) czy triangulacja metodologiczna polegająca na zróżnicowaniu metod badawczych. Triangulacja jest często stosowana w studium przypadku.

Baza programów rekomendowanych

Programy profilaktyczne spełniające standardy jakości zamieszczone są w bazie programów rekomendowanych prowadzonej przez KBPN, PARPA, IPIN i ORE. Krajowa baza danych obejmuje m.in. programy ograniczające popyt na substancje psychoaktywne, realizowane z poziomu profilaktyki uniwersalnej, selektywnej i wskazującej, a także promocji zdrowia. Każdy program w bazie jest szczegółowo opisany. Metryczka programu zawiera opis poszczególnych modułów programu i sposobu jego wdrażania, status ewaluacji, opis wypracowanych produktów itp.