W piśmiennictwie międzynarodowym funkcjonują różne szkoły monitorowania, a zwłaszcza ewaluacji programów, w tym programów zdrowotnych. W wyniku tej różnorodności spotyka się różne nazewnictwo, różne typy  monitorowania i ewaluacji, a także różne kryteria, według których ocenia się programy. Na przykład w piśmiennictwie amerykańskiej CDC wyróżnia się 6 kroków prowadzenia ewaluacji oraz 30 standardów jej wykonania dotyczących użyteczności, wykonalności, tzw. własności (co dotyczy m.in. włączenia w proces oceny osób dotkniętych programem) oraz dokładności. W piśmiennictwie polskim również istnieją znaczące różnice terminologiczne i metodyczne, co skutkuje brakiem jednolitego podejścia do ewaluacji programów zdrowotnych.

Monitorowanie polega na rutynowym zbieraniu i analizowaniu informacji w trakcie realizacji programu. Dzięki temu można sprawdzić, czy program przebiega zgodnie z planem i przyjętymi wymaganiami, śledzić postępy programu, a także dostosowywać jego realizację do realiów. Monitorowanie jest częścią regularnego zarządzania programem, co oznacza, że zazwyczaj nie wymaga dodatkowego budżetu.

Ewaluacja wykonywana po zakończeniu programu, tzw. ewaluacja ex-post, jest wartościowaniem programu, jego oceną tak systematyczną i obiektywną, jak to jest tylko możliwe. Dzięki temu można uzyskać wiarygodne i użyteczne informacje, które pozwalają na wyciąganie wniosków na temat tego co i dlaczego się udało (lub nie udało). Wnioski te mają znaczenie dla twórców i wszystkich interesariuszy programu (w tym jego adresatów, beneficjentów) oraz szerszego audytorium (np. innych twórców programów, polityków czy organizacji  pozarządowych). Ewaluacja taka wymaga przeprowadzenia odpowiednich badań, które uzupełniają program, co wymaga zaplanowania odpowiednich środków finansowych na takie badania. Umownie przyjmuje się, że 10% budżetu programu powinno być przeznaczone na ewaluację. Jednak odsetek ten może być i mniejszy i większy, a wszystko zależy od cech programu i zakresu badań, w tym stawianych pytań ewaluacyjnych.

Pytania ewaluacyjne mogą być bardzo różne, jednak zazwyczaj dotyczą:

• Wdrożenia – czy program przebiegał zgodnie z planem?,
• Skuteczności – czy osiągnął zakładane cele?,
• Wydajności – czy nakłady (ludzkie, materiałowe, finansowe) były odpowiednie?,
• Efektywności kosztowej – czy korzyści z programu przewyższały koszty?
• Związku przyczynowego – czy obserwowany efekt jest rzeczywiście wynikiem programu, czy może innych zdarzeń i sytuacji, które działy się równolegle?

Dość powszechną ilustracją kwestii poddawanych monitorowaniu i ewaluacji jest model logiczny.

Model logiczny programu

W takim ujęciu monitorowaniu podlegają nakłady, procesy (działania) oraz produkty, a w ewaluacji ocenia się rezultaty i oddziaływanie w kontekście wykorzystanych nakładów, zrealizowanych procesów oraz uzyskanych produktów. W programach krótkoterminowych (np. rocznych) ocena oddziaływania jest zazwyczaj niemożliwa, ponieważ wpływ programu jest widoczny po dłuższym czasie.

Autor: Dorota Cianciara
29.11.2019