WSTĘP 

Od kilku lat polskie organizacje oraz samorządy stopniowo rozwijają programy mieszkań treningowych, mieszkań ze wsparciem, mieszkań chronionych, wspierają najem prywatny, oraz ludzi, którzy po okresie bezdomności bytują w lokalach miejskich. Od 2019 r. pilotażowo realizowane są programy „Najpierw mieszkanie” (Fundacja Fundusz Współpracy w Warszawie, Towarzystwo Pomocy im. Św. Brata Alberta, Dzieło Pomocy im. Św. Ojca Pio, w Krakowie).

Częścią wspólną programów mieszkaniowych jest zapewnienie osobie z doświadczeniem bezdomności możliwości pobytu w mieszkaniu zamiast w noclegowni czy schronisku z jednoczesnym zapewnieniem jakiejś formy wsparcia. W ramach tych dwóch filarów jest wiele różnic np. jako mieszkanie może służyć zaadaptowane poddasze w schronisku dla osób w kryzysie bezdomności, mieszkanie wynajmowane na rynku prywatnym przez organizację pozarządową dla grupy osób, opłacony pokój w hostelu czy też lokal z zasobów miejskich udostępniony instytucji realizującej program mieszkaniowy. W mieszkaniu może przebywać jedna lub wiele osób dzieląc sypialnie i przestrzenie wspólne. Wsparcie może być świadczone przez pracowników socjalnych, asystentów osobistych lub wykwalifikowanych terapeutów, na różnych warunkach np. dotyczących abstynencji, obecności na spotkaniach z terapeutami, płatności, itd.

Według doświadczeń potwierdzonych badaniami w krajach, w których programów mieszkaniowych jest wiele, „Najpierw mieszkanie” to program najskuteczniej kończący bezdomność osób, które doświadczały jej długotrwałe jednocześnie mierząc się z kryzysami zdrowia psychicznego. Nie oznacza to wcale, że inne programy mieszkaniowe nie są skuteczne np. w pracy z osobami o mniejszych potrzebach wsparcia.

Skuteczne w poprawie jakości życia osób w kryzysie, choć niekoniecznie w trwałym zakończeniu bezdomności, okazują się także programy, w których nie ma komponentu mieszkaniowego, a ich prowadzący kierują się innymi charakterystycznymi dla NM wartościami, m.in. decydowaniem (uczestnik decyduje w co i kiedy będzie się angażował, redukcja szkód w leczeniu uzależnień), zdrowieniem (ważny jest każdy krok w stronę poprawy dobrostanu), dopasowaniem wsparcia (zindywidualizowane i adekwatne do wszystkich obszarów wsparcia potrzebnych uczestnikowi), społecznością (zakorzenienie w społeczności lokalnej w środowisku).

Wartości NM

Realizacja tych wartości np. w programach streetworkingu pozwala utrzymać stabilny kontakt między uczestnikami i pracownikami wspierającymi, zwiększyć motywację uczestników do korzystania ze wsparcia, poszerzyć gamę pomocy, z której korzystają i zwiększyć motywację do trwałej zmiany.

WIERNOŚĆ to skuteczność

W programach realizowanych pod szyldem NM na rzecz osób doświadczających długotrwałej bezdomności i kryzysów zdrowia psychicznego, zachowanie wierności metodzie jest kluczowe, ponieważ gwarantuje skuteczność zmiany w sytuacji uczestników. Wysoka wierność jest gwarantem, że 70-90% uczestników pozostanie w mieszkaniach po dwóch latach uczestnictwa – nigdy nie wróci na ulicę. 

Związek ten potwierdzają wyniki badań. Tim Aubry i Geoffrey Nelson (2019) przywołują kilka. Bezpośredni związek wierności i trwałości utrzymywania się w mieszkaniu przez uczestników, jakości ich życia i funkcjonowania w środowisku stwierdzono w badaniu kanadyjskiego programu At Home/Chez Soi (Goering et al., 2016). W badaniu prowadzonym w Kalifornii potwierdzono związek poziomu wierności z trwałością utrzymania się w mieszkaniu przez uczestników (Gilmer et al., 2014). W kolejnym badaniu obejmującym osoby z problemem uzależnienia od substancji stwierdzono, że poziom wierności NM był pozytywnie związany z trwałością utrzymania się w mieszkaniu oraz negatywnie z poziomem używania stymulantów i opiatów (Davidson et al., 2014).

Drugim powodem sprawdzania w jakim miejscu skali NM jest program, jest potrzeba upewnienia się, że osoby do niego kierowane dostaną wsparcie na miarę swoich możliwości. Uczestnikami programów są osoby z doświadczeniem długotrwałej bezdomności, kryzysu zdrowia psychicznego, o słabym zdrowiu fizycznym, z doświadczeniem porażki w kontaktach z instytucjami pomocowymi. Bycie w programie o niskiej wierności naraża je na kolejną porażkę w korzystaniu ze wsparcia.

Program o niższej ocenie wierności nie jest automatycznie złym programem. Może być innym niż NM programem mieszkaniowym na rzecz osób w kryzysie bezdomności wymagających mniej intensywnej pomocy, umożliwiającym im wprowadzenie ważnych zmian w życiu. Ale nie powinny być do niego kierowane osoby z podwójną diagnozą i długą historią życia na ulicy. 

Trzecim powodem przeprowadzania procesu oceny wierności jest poprawa funkcjonowania programów. Regularna i ustrukturyzowana refleksja nad wiernością dokonywana z udziałem pracowników i uczestników oraz analizy dokumentacji, pozwala realizatorom zobaczyć co nie działa i wspólnie z ekspertami przeprowadzającymi ocenę zastanowić się nad rozwiązaniami. Według Aubry jest to najcenniejszy element procesu. Nie chodzi o uzyskanie maksymalnej noty – zresztą do tej pory żaden program jej nie uzyskał.

Stuprocentowa wierność to poziom, do którego możemy aspirować. Realnie go nie osiągamy, chociażby ze względu na różnice kontekstu społecznego - programy NM są prowadzone w wielu częściach świata a NM powstało w Stanach Zjednoczonych. Kontekst naturalnie ogranicza możliwość osiągnięcia pełnej wierności. 

Artykuł o NM w Polsce

Monitorowanie wierności staje się ważne w Polsce, w chwili pojawiania się pilotażowych wdrożeń programów pod szyldem „Najpierw mieszkanie” adresowanych do osób z doświadczeniem długotrwałej bezdomności i kryzysów psychicznych. Dostępny jest raport z wstępnego badania wierności trzech programów realizowanych przez Towarzystwo Pomocy im. Św. Brata Alberta (Bokszczanin et al., 2020). Inne programy NM także podlegają monitoringowi wierności.

Jak zatem przeprowadzić ocenę wierności?

Po pierwsze, zadbać o jej niezależność, po drugie wybrać kwestionariusz, po trzecie dać głos wszystkim zaangażowanym stronom zarówno realizatorom jak i uczestnikom, po czwarte skorzystać z doświadczeń ekspertów, po piąte wykorzystać do poprawy funkcjonowania programu. Wszystkie etapy opisane są niżej.     

NIEZALEŻNOŚĆ OCENY

Niezależność podmiotu wdrażającego program od podmiotu badającego program jest zasadą uniwersalną. Ciężko być świadkiem we własnej sprawie, ciężko zdystansować się od pracy, którą się samemu wykonuje. 

Zasadę niezależności zespołów wykonujących badanie wierności przyjęto m.in. w eksperymentalnym programie kanadyjskim At Home/Chez Soi, w którym za to zadanie odpowiadali badacze uniwersyteccy (Macnaughton et al. 2015). Z kolei w światowym badaniu wierności obejmującym dziesięć programów NM, opublikowanym w specjalnym wydaniu European Journal of Homelessness poświęconym wierności NM (EJH, 2018), za moderowanie oceny odpowiadali zewnętrzni badacze, a w sytuacji w której nie było takich, krajowi koordynatorzy programów.

O wyzwaniach związanych z niezależnością ewaluacji programów NM wspomniano w europejskim poradniku „Najpierw mieszkanie” z 2016 r. (Pleace) zwracając uwagę na ograniczenia ewaluacji wykonywanej przez pracowników instytucji prowadzącej program, ale też na jej dopuszczalność:

„Prawdopodobnie ewaluacja przeprowadzona przez organizację prowadzącą program „Najpierw mieszkanie” będzie mniej przekonywująca niż przeprowadzona przez niezależnych badaczy. Nie oznacza to, że wewnętrzna ocena nie ma żadnej wartości. Dowody z dobrej jakości oceny wewnętrznej nadal mogą mieć znaczenie. Niemniej jednak argument, że w ewaluacji wewnętrznej istnieje prawdopodobieństwo nieodnotowywania i nieraportowania problemów, może być wykorzystany do zakwestionowania wyników.” (Pleace, 2016) (tłum. J. Wygnańska)

Profesjonalna ewaluacja zewnętrzna zazwyczaj jest kosztowana i nie każdy realizator programu może sobie pozwolić na jej zlecenie. W pierwszych polskich programach NM realizowanych w ramach Programu POWER (IV. Innowacje społeczne i współpraca ponadnarodowa, Działanie 4.3 Współpraca ponadnarodowa) nie było możliwości pozyskania dofinansowania na ewaluację zewnętrzną. Możliwe było natomiast zaplanowanie monitoringu wierności zabezpieczającego zgodność krajowego wdrożenia z rozwiązaniem zagranicznym, którego transfer był przedmiotem projektu. Z tej możliwości skorzystano w projekcie partnerstwa „Najpierw mieszkanie – innowacyjne metody trwałego rozwiązania bezdomności chronicznej” Fundacji Fundusz Współpracy - przedmiotem transferu jest zagraniczny Program "Najpierw mieszkanie". Program jest wdrażany przez Fundację Fundusz Współpracy i Biuro Polityki Lokalowej m.st. Warszawy, a za monitoring wierności odpowiada partner Fundacja Najpierw Mieszkanie Polska, niezależna personalnie i wykonawczo od realizatora.

Aubry i Nelson (2019) wskazują na ciekawe rozwiązanie w postaci krzyżowej oceny wierności dokonywanej wzajemnie przez pracowników dwóch programów NM prowadzonych przez dwie instytucje. Badacze i prowadzący jeden program odpowiadają za ocenę wierności drugiego i odwrotnie.

SKALE/KWESTIONARIUSZE WIERNOŚCI

Do badania wierności NM wykorzystuje się kwestionariusze do oceny wierności, zwane również skalami wierności. Punktem wyjścia dla stworzenia kwestionariuszy były wartości i zasady NM wypracowane przez Pathways Housing First, czyli organizację, której założycielem jest twórca, praktyk i badacz metody dr Sam Tsemberis. Uczestniczył on w stworzeniu i testowaniu wszystkich narzędzi.

Kwestionariusze składają się z pytań odnoszących się do pięciu obszarów „Najpierw mieszkanie”:

• wsparcia mieszkaniowego
• niezależności świadczenia wsparcia mieszkaniowego i specjalistycznego
• filozofii programu czyli wartości NM
• gamy świadczonych usług
• struktury zarządzania programem i jego kadry.

Obecnie istnieją dwa rodzaje kwestionariuszy: do oceny dokonywanej przez zewnętrznych badaczy niezależnych od realizatorów programów (Stefancic et al., 2013) i do samooceny dokonywanej przez pracowników i realizatorów programów (Gilmer et al., 2013). W gruncie rzeczy oba kwestionariusze i ich kolejne wersje niewiele się od siebie różnią. Na ukończeniu są prace nad nowym kwestionariuszem (Tsemberis, Czech, 2021).

Kwestionariusz oceny zewnętrznej (Stefancic et al., 2013)

Pierwszy kwestionariusz oceny wierności NM powstał w 2010 i był dostępny w dwóch wersjach: dla programów z zespołami asertywnego wsparcia środowiskowego i zespołami intensywnego zarządzania przypadkiem. Wersje różniły się kilkoma pytaniami. Po modyfikacjach pozostano przy dwóch wersjach, zawierających w sumie 38 pytań w pięciu obszarach.

Zespoły AWŚ i IZP

Na każde pytanie można odpowiedzieć wybierając jedną z czterech opcji odpowiedzi uporządkowanych od najmniej do najbardziej wiernej metodzie. Dla pytania o trwałość pobytu w mieszkaniu opcje odpowiedzi są następujące: 

1. Limit czasu zakwaterowania w mieszkaniach jest ściśle określony. Oczekuje się, że uczestnicy wyprowadzą się przed określoną datą, lub mieszkanie jest traktowane jako lokal interwencyjny, krótkoterminowy lub treningowy.
2. Limit czasu zakwaterowania w mieszkaniach jest znormalizowany. Oczekuje się, że uczestnicy wyprowadzą się kiedy spełnione zostaną określone standardem kryteria.
3. Limit czasu zakwaterowania w mieszkaniach jest przyznawany indywidualnie. Uczestnicy mogą przebywać w mieszkaniu tak długo jak to jest konieczne, ale muszą się wyprowadzić kiedy spełnione zostaną określone warunki.
4. Nie ma żadnych ograniczeń czasowych dotyczących zakwaterowania, chociaż umowa najmu może wymagać cyklicznego odnawiania.

Ten kwestionariusz zastosowano min. w badaniu wierności trzynastu eksperymentalnych programów At Home/Chez Soi oraz w dwudziestu programach w Kalifornii prowadzonych w ramach California Full Service Partnership (CFSP). W drugim przypadku oceniane programy nie nazywały się "Najpierw mieszkanie", ale zawierały wiele aspektów modelu.

Prawdopodobnie ten kwestionariusz został przetłumaczony na język polski i zastosowany w badaniu wierności trzech programów NM realizowanych pilotażowo przez Towarzystwo Pomocy im. Św. Brata Alberta (Bokszczanin et al., 2020). Autorzy publikacji błędnie wskazali autora kwestionariusza (nie jest nim Profesor Tim Aubry tylko Stefancic, Tsemberis, Messeri, Drake), nie wskazali źródła ani autora tłumaczenia na język polski ani zakresu adaptacji, której dokonali jak deklarują "za zgodą i we współpracy" z profesorem z Ottawy. Podany w raporcie link do kwestionariusza był nieaktywny (do 28 listopada 2021). Na źródło tłumaczenia wskazuje analiza treści.

Kwestionariusz Stefancic 2013 PL 

To samo tłumaczenie zostało opublikowane jako załącznik 4 do oceny ofert w konkursie m.st. Warszawa, którego przedmiotem było „prowadzenie mieszkań metodą Housing First” (Prezydent m.st. Warszawy, 2021, załącznik 4). Także m.st. Warszawa, nie podało źródła ani autora tłumaczenia na język polski. Według zapisu w ogłoszeniu załącznik to „Ocena wierności programu Najpierw mieszkanie”, opracowana na podstawie narzędzia programu At Home/Chez Soi (Kanada)”. Jednak w programie tym na przestrzeni lat stosowano różne kwestionariusze, zarówno ten do oceny zewnętrznej (Stefancic et al., 2013) jak i samooceny (Gilmer et al., 2013). 

Podawanie nazwisk autorów dzieł, takich jak na przykład kwestionariusze do badania wierności, to wyraz szacunku dla pracy autorów. Poprawne wskazywanie źródeł to element warsztatu każdego badacza i badaczki.

Kwestionariusz samooceny wewnętrznej (Gilmer et al., 2013)

Niedługo po opublikowaniu oryginalnego kwestionariusza do oceny zewnętrznej, na jego podstawie grupa badaczy stworzyła alternatywny kwestionariusz służący do samooceny wierności programu dokonywanej bezpośrednio przez jego pracowników. Był przygotowany w jednej wersji bez względu na rodzaj zespołu wspierającego w programie NM. Pierwotnie zawierał 46 pytań w pięciu obszarach, w późniejszej wersji został skrócony do 37 pytań (Nelson, 2017).

W tym kwestionariuszu na większość pytań można odpowiedzieć wybierając jedną z czterech opcji odpowiedzi uporządkowanych od najmniej do najbardziej wiernej metodzie. Jest jednak kilka pytań zawierających więcej opcji odpowiedzi z możliwością wybrania kilku. Oceny wierności dokonuje się na podstawie instrukcji wskazującej jaki układ odpowiedzi jest najmniej i najbardziej wierny. Na przykład w pytaniu poniżej 4 punkty przyznaje się jeśli odpowiadający zaznaczy 2, 3, 4, 5 odpowiedź równocześnie. 

Kryterium 19. Które z poniższych pozycji znajdują się w planach leczenia/terapii uczestników/czek? Proszę wskazać wszystkie, które dotyczą: 

1. Cele ustalone przez pracowników/czki programu lub ustalone odgórnie w programie.
2. Cele ustalone przez pracowników/czki programu uwzględniające wkład uczestnika/czki.
3. Cele ustalone przez uczestnika/czkę uwzględniające wkład pracowników/czek programu
4. Mocne strony uczestnika/czki.
5. Bariery dla osiągnięcia celów.
6. Działania uczestnika/czki i pracowników/czek programu wspierające osiągnięcie celów.

Kwestionariusz do samooceny był stosowany w badaniu wierności 93 programów w Kalifornii realizowanych w formule Full Service Partnerships (FSP). W programach tych łączono usługę mieszkalnictwa wspieranego z usługami leczenia/wsparcia osób z poważnymi problemami zdrowia psychicznego doświadczającymi bezdomności lub zagrożonymi bezdomnością. Kwestionariusz został uznany za użyteczną alternatywę do zewnętrznej oceny wierności oraz wartościowe narzędzie do identyfikowania miejsc, w których potrzebne jest wsparcie w rozwoju programów NM.

W 2018 r. został zastosowany w międzynarodowym badaniu wierności dziesięciu programów NM realizowanych w Europie, Kanadzie i USA (EJH, 2018).

Pewną wadą narzędzia jest bardziej skomplikowany niż w przypadku kwestionariusza Stefancić (2013) sposób przekładania odpowiedzi na punkty, do którego potrzebna jest instrukcja pokazująca sposób przeliczania. W kwestionariuszu Stefancić jest to prostsze, ponieważ na każde pytanie są 4 odpowiedzi uszeregowane od najmniej do najbardziej wiernej, zatem punktacja jest oczywista. 

Kwestionariusz Gilmer 2013 PL

Kwestionariusz został przetłumaczony na język polski w 2019 r. i opublikowany na portalu czynajpierwmieszkanie.pl. W 2020 r. został włączony do „Modelu wstępnego „Najpierw mieszkanie”” (Wygnańska, 2020).

Nowy kwestionariusz 2021

Na podstawie doświadczeń związanych z rozwojem programów NM na świecie i badań ich wierności, badacze i praktycy kończą prace nad nową wersją kwestionariusza (Tsemberis, Czech, 2021). Jest on częściowo zbieżny z istniejącymi m.in. dostępny w wersjach dla programów z zespołami asertywnego wsparcia środowiskowego i intensywnego zarządzania przypadkiem, złożony z pytań z opcjami czterech odpowiedzi na każde, z których pierwsza oznacza najmniejszą, a ostatnia największą wierność metodzie, zbudowany z pięciu części choć o zmienionych akcentach:

• Mieszkania odpowiadające potrzebom uczestników
• Usługi odpowiadające potrzebom uczestników
• Niezależność mieszkania od wsparcia
• Podejście oparte na zdrowieniu
• Organizacja programu

Kwestionariusz Tsemberis Czech 2019 - napisz do nas  

W nowym kwestionariuszu większy nacisk położono na badanie adekwatności proponowanego wsparcia do diagnozy i intensywności potrzeb uczestników. Zmiana ta wydaje się wychodzić naprzeciw niedociągnięciom poprzednich narzędzi, z pomocą których w niewystarczającym stopniu możliwe było dokonanie oceny adekwatności zastosowanych rozwiązań do potrzeb uczestników. Jeśli prowadzący program deklarował, że funkcjonuje w nim zespół intensywnego zarządzania przypadkiem, badacz wybierał wersję kwestionariusza IZP nie mając możliwości oceny, czy taka formuła zespołu jest adekwatna do potrzeb uczestników.

Niejasność w tym zakresie występuje również w źródłach opisujących działanie programów NM m.in. w europejskim poradniku (Pleace, 2016). W poradniku nie ma klarownych wytycznych dotyczących powiązania rodzaju zespołu wspierającego (AWŚ asertywne wsparcie środowiskowe, IZP intensywne zarządzanie przypadkiem) z potrzebami z zakresu wsparcia uczestników. Wskazano, iż zespoły AWŚ powinny być stosowane w przypadku gdy uczestnikami są osoby z poważnymi zaburzeniami psychicznymi współwystępującymi z uzależnieniem od substancji (podwójna diagnoza), a zespoły IZP w przypadku gdy uczestnikami są osoby z mniej poważnymi zaburzeniami i/lub uzależnieniem od substancji. Nie wskazano w jaki sposób diagnoza zdrowia psychicznego przekłada się na intensywność potrzeb wymagających wsparcia, a właśnie to kryterium podano jako podstawę dla decyzji o tym, jaki zespół powinien funkcjonować w programie. Brak klarowności poradnika w tym zakresie potwierdza jego autor (Nicholas Pleace, prywatna korespondencja z autorką, październik-listopad 2021) wskazując jednocześnie na zróżnicowanie doświadczeń programów NM, w tym zakresie.

Taki był ówczesny stan wiedzy o programach NM – poradnik został opublikowany w 2016 r. Wśród autorów nie było żadnego eksperta z rejonu Europy Centralnej. Od tego czasu pojawiło się wiele nowych doświadczeń, które wpłynęły na potrzebę dostosowania skali wierności (i samego poradnika także).

PUNKTACJA 

Odpowiedzi udzielone na pytania z kwestionariuszy wierności można przełożyć na jednoznaczną ocenę w punktach. Liczbowy wskaźnik stanowi klarowną informację zwrotną dla realizatora, o tym gdzie program sytuuje się względem oryginalnego rozwiązania, pozwala także na porównywanie programów. Może to być przydatne dla interesariuszy szukających wzorów dla programów rozpoczynanych w swoich społecznościach – warto wzorować się na programach wiernych metodzie.

W kwestionariuszu do oceny zewnętrznej (Stefancic et al., 2013) na każde pytanie można udzielić jednej z czterech odpowiedzi, punktowanych od 1 do 4 w zależności od poziomu wierności. Wyniki te sumuje się i wyciąga średnią. Maksymalna ocena to 4 a minimalna 1.

W kwestionariuszu do samooceny jest to nieco bardziej skomplikowane, ponieważ znajduje się w nim kilka pytań, na które możliwych jest więcej odpowiedzi niż cztery. W związku z tym autorzy kwestionariusza stworzyli instrukcję do punktowania odpowiedzi. Ostatecznie tak samo jak w kwestionariuszu do oceny zewnętrznej maksymalna liczba punktów za dane pytanie wynosi 4 a minimalna 1.

Przyjmuje się, że programy uzyskujące ocenę od 3,5 punktu wzwyż to programy „Najpierw mieszkanie”. Niektórzy badacze przeliczają ocenę punktową od 1 do 4 na procenty, np. program uzyskujący 3,5 punktu jest wierny metodzie w 87,5%.

Dla przykładu podajemy najlepsze i najgorsze oceny programów NM z badania dziesięciu programów NM na świecie (EJH, 2018). Średnia ocena dla wszystkich programów wyniosła 3,5 punktu. Najwyższą ocenę – 3,8 punktu – uzyskały najdłużej działające na świecie programy NM z Waszyngtonu Pathways to Housing i Lisbony Casas Primeiro. Dla porównania, w wyniku oceny wierności przeprowadzonej w projekcie „Housing First - Najpierw mieszkanie” Towarzystwa Pomocy im. Św. Brata Alberta (Bokszczanin et al., 2021), program realizowany w Gdańsku od 2020 r uzyskał ocenę 3.9, w obszarze filozofii programu przewyższając oceny programu organizacji twórcy metody Sama Tsemberisa (3,5).

W tym miejscu warto przywołać ostrzeżenie autorów europejskiego poradnika NM (Pleace, 2016): „każdy kto podejmie się oceny programu musi rozumieć, że prawidłowo przeprowadzona ewaluacja nie wykaże, że wdrażana usługa jest doskonała”. Zbyt wysokie oceny powinny być sygnałem alarmowym, każącym zastanowić się nad prawidłowością przeprowadzenia ewaluacji.

„Ocena, która nie jest dobrze zaprojektowana lub właściwie przeprowadzona może stanowić zagrożenie zarówno dla świadczenia usług osobom indywidualnym jak i dla całych programów NM (Pleace, 2016).

W tym kontekście ważna staje się procedura ustalania odpowiedzi na pytania z kwestionariusza: kto ich udziela, kiedy, na podstawie jakich informacji i jak uspójnia się odpowiedzi gdy padają różne?

PROCEDURA OCENY - krok po kroku

Jak można sobie łatwo wyobrazić po zapoznaniu się z kwestionariuszami, wybór odpowiedzi nie musi być oczywisty. W wyborze mogą różnić się pracownicy między sobą, pracownicy i osoby zarządzające programem, uczestnicy z pracownikami oraz zewnętrzni badacze z prowadzącymi.

Na przykład, osoba zarządzająca programem może uważać, że w programie zapewniona jest trwałość pobytu w mieszkaniu, ponieważ organizacja będzie się bardzo starała o przedłużenie finansowania programu, natomiast uczestnik, który posiada umowę najmu do określonej daty, może odczuwać to zgoła inaczej kierując się datami na umowie. Prowadzący program mogą uważać, że mieszkania są rozproszone, ponieważ znajdują się w różnych dzielnicach, natomiast zewnętrzny badacz może zauważyć, że mimo rozproszenia dzielnicowego samo mieszkanie jest zlokalizowane w budynku, w którym mieszka bardzo wiele osób z problemami w utrzymaniu mieszkania, czyli tzw. getcie socjalnym. Prowadzący program może deklarować, że uczestnicy mogą pozostawać w mieszkaniach bez żadnych specyficznych warunków, a jednocześnie wymieniać zamki w lokalu z powodu przemocowych zachowań uczestnika poza mieszkaniem.

Takie rozbieżności są naturalne i zgodne z przysłowiem, iż „punkt widzenia zależy od punktu siedzenia”, i są brane pod uwagę w procedurach oceny wierności. W eksperymentalnym programie kanadyjskim At home/Chez Soi, ostateczną ocenę wierności ustalano podczas całodniowej wizyty w programie 3-6 badaczy lub praktyków dobrze znających model NM. Wizyta obejmowała obserwację spotkań zespołu wspierającego, wywiady indywidualne z pracownikami i osobami zarządzającymi programem, grupy fokusowe uczestników, przegląd dokumentacji o uczestnikach oraz przegląd dokumentów programu np. opisu programu. Wizytujący eksperci ustalali ostateczną ocenę dopiero po zapoznaniu się ze wszystkimi źródłami danych.

W badaniu EJH 2018, w którym wykorzystywano kwestionariusz do samooceny w pierwszej kolejności przekazano go do indywidualnego wypełnienia pracownikom programów pracujących z uczestnikami od co najmniej pół roku. Poproszono ich o niekonsultowanie ze sobą odpowiedzi na tym etapie. Następnie pracownicy spotkali się i wspólnie podczas dyskusji ustalali wspólną odpowiedź na każde pytanie. Spotkanie było prowadzone przez zewnętrznego badacza, lub jeśli nie było takiej możliwości koordynatora krajowego programu lub inną osobę dobrze znającą metodę NM. Spotkanie kończyło się w chwili uzyskania konsensusu w sprawie wyboru odpowiedzi na każde pytanie.

Dwie propozycje procedury oceny wierności w programach NM zostały krótko omówione niżej.

Poradnik Aubry i Nelson 2019

Aubry i Nelson w poradniku pt. Manual for Pilot of Collaborative Fidelity Assessment of Housing First Programs” („Poradnik do wzajemnej oceny wierności programów NM”) proponują następującą procedurę zewnętrznej oceny wierności:

1. 90 min rozmowa telefoniczna/online z pracownikami programu zapoznająca ich z procedurą oceny wierności programów NM, m.in. poradnikiem i kilkoma krótkimi artykułami.
2. Ustalenie daty i czasu trwania oceny wierności, tak aby odbyła się jednego dnia mniej więcej w godzinach 9.00 – 16.30.
3. Udostępnienie badaczom dokumentów opisujących program, jego strukturę, podział ról między pracownikami itd., oraz wskazanie pracowników, spośród których badacze wybiorą osoby uczestniczące w wywiadach indywidualnych.
4. W ustalonym dniu 4-5 osobowe zespoły oceniające, w składzie których jest doświadczony badacz NM, przeprowadzają ocenę wierności. Idealnie jest gdy prowadzący program zapewnia możliwość obserwowania spotkania zespołu, przeprowadzenia wywiadów indywidualnych z kluczowymi pracownikami, wywiadu grupowego z pracownikami, wywiadu grupowego z uczestnikami oraz przegląd dokumentacji dziesięciorga uczestników.
5. Pod koniec dnia oceny, około godziny 15 każdy członek zespołu oceniającego wypełnia samodzielnie kwestionariusz do oceny zewnętrznej (Stefancic et al., 2013).
6. Następnie spotykają się aby przedyskutować swoje odpowiedzi i ustalić jedną na każde pytanie – w drodze konsensusu. Oceny wpisywane są do tabeli (patrz niżej). Zastanawiają się również co doradzić prowadzącym program, aby podnieść wierność w obszarach osiągających niższe oceny.
7. Koło godziny 16 przedstawiają wyniki swojej oceny i sugestie poprawy pracownikom programu.
8. Po zakończeniu spotkania przygotowują raport, który udostępniają pracownikom, ostatecznie ustalając ocenę końcową.

Arkusz do oceny wierności programu (Aubry, Nelson, 2019)

Wytyczne do ewaluacji programów NM Housing First Europe Hub (2021)

W 2020 r. Housing First Europe Hub opublikował „Housing First Evaluation Framework” czyli wytyczne do ewaluacji programów „Najpierw mieszkanie”. Według dokumentu ewaluacja programu powinna obejmować: analizę zasad funkcjonowania programu i kontekstu krajowego; ocenę wierności; oraz analizę efektów programu na podstawie badania z uczestnikami.

Niżej w skrócie omówiono kolejne elementy ewaluacji.

Analiza zasad funkcjonowania programu i kontekstu lokalnego powinna obejmować:

1. Daty skierowania uczestników do programu, wstępnej i końcowej diagnozy sytuacji uczestników, całkowity okres wsparcia.
2. Rodzaje wykorzystywanych mieszkań (mieszkanie, dom, liczba sypialni, liczba łóżek w pokoju, itd.).
3. Rodzaj własności mieszkań (miejskie, prywatne, inne), umowy najmu (najem, podnajem, pobyt), lokalizację.
4. Rodzaj wsparcia zapewnianego uczestnikom (liczba uczestników na pracownika, role i kwalifikacje pracowników wspierających, usługi dodatkowe np. umiejętności życiowe, doradztwo, wsparcie eksperta przez doświadczenie itd.)
5. Dostępność zasobu mieszkaniowego i adekwatność cenową
6. System pomocy społecznej, usług zdrowotnych, edukacyjnych, lokalne uwarunkowania w dostępie np. opóźnienia w przyznawaniu świadczeń.
7. Kontekst ekonomiczny, rynku pracy, poziom wynagrodzeń, nierówności społecznych
8. Poziom deprywacji m.in. poziom ubóstwa, degradacji sąsiedztw
9. Inne ważne czynniki np. lokalne i krajowe strategie przeciwdziałania przemocy w rodzinie, polityka migracyjna, itd.

Ocena wierności z kwestionariuszem:

Autorzy wytycznych zalecają procedurę oceny wierności nie wskazując jednoznacznie kwestionariusza oceny. Z jednej strony rekomendują kwestionariusz do oceny zewnętrznej (Stefancic et al., 2013) z drugiej przywołują badanie międzynarodowe (EJH 2018), w którym stosowano kwestionariusz do samooceny (Gilmer et al., 2013). Proponowane elementy procedury są następujące:

1. Przekazanie kwestionariusza oceny pracownikom programu i udzielenie przez nich odpowiedzi, oraz spotkanie uwspólniające oceny.
2. Analiza i podsumowanie wyników kwestionariuszy przez badaczy
3. Jakościowe wywiady uzupełniające z kluczowymi pracownikami programu
4. Analiza wywiadów jakościowych z kluczowymi pracownikami programu
5. Przygotowanie i przedstawienie raportu o wynikach oceny

Analiza efektów programu na podstawie badania sytuacji uczestników:

Ta część wytycznych HFHub Europe jest najbardziej unikalna i rozbudowana. Twórcy wytycznych zaproponowali dwie wersje ankiety (pełną i skróconą) do badania zmiany w sytuacji życiowej uczestników. Dzięki tym ankietom uczestnicy mają szansę powiedzieć sami za siebie w jakim stopniu podczas uczestnictwa w programie zmieniło się ich życie. Zgodnie z rekomendacjami dotyczącymi ewaluacji programów NM zawartymi w europejskim poradniku (Pleace, 2016) do stworzenia ankiet wykorzystano przede wszystkim zwalidowane skale stosowane w badaniach społecznych m.in. skalę sprężystości, skalę postrzeganego oparcia społecznego, kwestionariusz Audit i Dudit do przesiewowego badania uzależnienia od alkoholu i narkotyków, typologię ETHOS. Obie ankiety wraz ze źródłami i instrukcją interpretacji wyników można pobrać ze strony Housing First Europe Hub. Zachęcają do tego autorzy wytycznych:

„Mamy nadzieję, że wytyczne do ewaluacji będą używane w wielu programach NM w Europie przyczyniając się do wzrostu wierności metodzie. Zapraszamy każdego badacza i badaczkę, organizację, program NM do swobodnego wykorzystywania tych narzędzi”

Z zaproszenia skorzystaliśmy w Fundacji Najpierw Mieszkanie Polska odpowiadającej za monitorowanie wierności Programu Najpierw Mieszkanie Fundacji Fundusz Współpracy. Pełna wersja kwestionariusza została przetłumaczona i zaadaptowana do badania w Polsce. Z kolei skrócona wersja stała się inspiracją do stworzenia propozycji ankiety do badania oceny pomocy kierowanej do osób w kryzysie bezdomności (Kościukiewicz, Wygnańska, 2021) w procesie prac nad „Warszawską Kartą Praw Osób Doświadczających Bezdomności” pod patronatem Prezydent m.st. Warszawy. Oba dokumenty zostaną opublikowane (odpowiednio w końcowym raporcie z oceny wierności programu NM FFW oraz po zakończeniu prac Zespołu ds. Karty Praw).

OCENA WIERNOŚCI W PROGRAMIE NM FFW

Powyższe doświadczenia posłużyły do zaplanowania procesu oceny wierności w Programie Najpierw Mieszkanie Fundacji Fundusz Współpracy. Program jest wdrażany w ramach projektu „Najpierw mieszkanie – innowacyjne metody trwałego rozwiązania problemu bezdomności chronicznej” [dane]. Za ocenę wierności odpowiada partner projektu Fundacja Najpierw Mieszkanie Polska, odpowiedzialny także za opracowanie modelu "Najpierw mieszkanie".

Niezależność oceny

Pierwotnie według wniosku o dofinansowanie projektu, ocena wierności zwana monitoringiem wierności miała mieć charakter wewnętrzny i być prowadzona przez lidera projektu. Osoba odpowiedzialna za to zadanie, ekspertka NM, miała być współkoordynatorką projektu, członkinią zespołu specjalistów programu NM, łączniczką między zespołem specjalistów i Zespołem odpowiedzialnym za organizację programu (pozyskiwanie i remontowanie mieszkań, budowanie trwałego systemu gromadzenia funduszy, zatrudnienie specjalistów, zapewnienie trwałości, budowanie społecznej świadomości metody, itd.). Monitoring wierności miał być prowadzony na bieżąco poprzez stałą obserwację uczestniczącą ekspertki łącznie ze świadczeniem przez nią wsparcia uczestnikom programu – z jednoczesnym sygnalizowaniem zagrożeń i szans dla wierności.

To założenie się nie sprawdziło. Jeszcze przed zaangażowaniem uczestników okazało się, że potrzeba zagwarantowania wierności oraz potrzeba zarządzania projektem unijnym były nie do pogodzenia. 

W efekcie oba zadania zostały całkowicie rozdzielone. Zadanie zarządzania i prowadzenia Programu Najpierw Mieszkanie zostało powierzone w całości liderowi projektu Fundacji Fundusz Współpracy, natomiast zadanie monitorowania wierności partnerowi projektu Fundacji Najpierw Mieszkanie Polska. Ekspertka NM została zatrudniona przez partnera w roli Koordynatorki ds. Modelu. W jej kompetencjach leży prowadzenie monitoringu wierności oraz zapewnienie informacji zwrotnej o zagrożeniach i czynnikach sprzyjających wierności w formie opinii, która może, ale nie musi być brana pod uwagę przez realizatora. W tym projekcie ocena wierności ma zatem całkowicie zewnętrzny charakter. Efekty monitoringu mają być wykorzystane do stworzenia ostatecznego Polskiego Modelu Najpierw Mieszkanie.

Przygotowanie opisu programu

1. Przygotowanie pierwszej wersji modelu wstępnego przez Koordynatorkę ds. Modelu na podstawie wniosku o dofinansowanie (FFW, 2019) oraz zmian wprowadzonych względem wniosku w pierwszym półroczu realizacji programu.
2. Dwuetapowe konsultacje z liderem i partnerami programu Biurem Polityki Lokalowej m.st. Warszawy i partnerem zagranicznym fińską Y-Saatio.
3. Publikacja Modelu wstępnego „Najpierw mieszkanie” (2020)

Bieżąca obserwacja programu

1. Udział Koordynatorki ds. Modelu (KdsM) w spotkaniach zespołu specjalistów raz w miesiącu – od sierpnia 2020 r
2. Wywiady indywidualne KdsM z pracownikami zespołu specjalistów raz na kwartał – od sierpnia 2020 r
3. Wewnętrzne raporty z monitoringu wierności wobec modelu wstępnego - po roku realizacji programu (luty 2021), na zakończenie realizacji programu (lato 2022).
4. Ocena wierności z wykorzystaniem kwestionariusza wierności na zakończenie programu.
5. Spotkanie grupowe z pracownikami w celu ustalenia ostatecznej oceny.

Analiza efektów programu na podstawie badania sytuacji uczestników

1. Indywidualna diagnoza wstępna na podstawie Fiszki NM wypełnianej przez zewnętrznych wobec programu pracowników warszawskich instytucji wspierających osoby w kryzysie bezdomności.
2. Uzupełnienie indywidualnej diagnozy wstępnej sytuacji uczestników w oparciu o wstępne dokumenty o uczestnikach Zespołu Specjalistów.
3. [Analiza danych o uczestnikach z wewnętrznego systemu gromadzenia danych o uczestnikach – nie będzie miała miejsca, ponieważ realizator programu nie prowadzi systemu gromadzenia informacji]
4. Badanie sytuacji uczestników z wykorzystaniem pełnej wersji ankiety z wytycznych Housing First Evaluation Framework.

Raport końcowy – jesień 2022

Analiza zgromadzonych danych, przygotowanie raportu wstępnego, konsultacja z partnerami, przygotowanie raportu końcowego.

Opracowanie: Julia Wygnańska, Wiceprezeska Fundacji Najpierw Mieszkanie Polska, Koordynatorka ds. Modelu Najpierw Mieszkanie w projekcie NM FFW 

Konsultacja: Tim Aubry, Ph.D., Co-chair, EENet Ontario Housing First Regional Network Community of Interest, Professor, School of Psychology, University of Ottawa

Konsultacja obejmowała dwie rozmowy online z wykorzystaniem tekstu artykułu w języku angielskim, październik-listopad 2021 

BIBLIOGRAFIA:

Aubry, T., Nelson, G. (2019) Manual of Pilot for Fidelity Assessment of Housing First programs. Toronto: EENet, Ontario Housing First Regional Network Community of Interest.

Bokszczanin, A., Jaskulski, P., Sochocki, M., Szadura-Urbańska, E., Szpunar, M., Wierzbicka, A., Wilczek, J. (2021) Raport z badania wierności oryginalnej metodzie Najpierw mieszkanie. Projekt „Housing first –najpierw mieszkanie”, Zabrze: Ogólnopolska Federacja na rzecz Rozwiązywania Problemu Bezdomności

Davidson, D., Neighbors, C., Hall, G., Hogue, A., Cho, R. Kutner, B., & Morgenstern, J. (2014) Association of Housing First implementation and key outcomes among homeless persons with problematic substance use. Psychiatric Services, 65, 1318–1324

European Journal of Homelessness (2018) Special Edition on Fidelity to the Housing First Model, Vol 12, Issue 3, FEANTSA, https://www.feantsa.org/en/european-journal-of-homelessness/2018/09/03/european-journal-of-homelessness-volume-12-issue-3-2018?bcParent=27

Gilmer, T.P., Stefancic, A., Katz, M.L., Sklar, M., Tsemberis, S., & Palinkas, L.A. (2014). Fidelity to the Housing First model and effectiveness of supported housing in California. Psychiatric Services, 65, 1311–1317

Gilmer, T.P., Stefancic, A., Sklar, M. (2013). Development and validation of a Housing First fidelity survey. Psychiatric Services, 64, 911–914.

Goering, P., Veldhuizen, S., Nelson, G., Stefancic, A., Tsemberis, S., Adair, C., Distasio, J., Aubry, T., Stergiopoulos, V., & Streiner, D. (2016) Further validation of the Pathways Housing First Scale. Psychiatric Services, 67, 111-114

Macnaughton, E., Stefancic, A., Nelson, G., Caplan, R., Townley, G., Aubry, T., McCullough, S., Patterson, M., Stergiopoulos, V., Vallée, C., Tsemberis, S., Fleury, M.-J., Piat, M., & Goering, P. (2015) Implementing Housing First across sites and over time: Later fidelity and implementation evaluation of a pan-Canadian multi-site Housing First program for homeless people with mental illness. American Journal of Community Psychology, 55, 279-291.

Pleace, N. (2016) Housing First Guide Europe, FEANTSA: Bruksela

Prezydent m. st. Warszawy (2021) Zarządzenie numer 1645/2021 z dnia 28 września 2021 r. w sprawie ogłoszenia otwartego konkursu ofert na realizację zadania publicznego w zakresie pomocy społecznej, w tym pomocy rodzinom i osobom w trudnej sytuacji życiowej i wyrównywania szans tych rodzin i osób w latach 2021-2023 pod nazwą „Prowadzenie mieszkań typu housing first dla osób w kryzysie bezdomności”, Warszawa, https://bip.warszawa.pl/NR/exeres/3FCD8902-58FC-4E89-9000-4B8DDB75CD84,frameless.htm

Stefancic, A., Tsemberis, S., Messeri, P., & Drake, R.E. (2013). The Pathways Housing First Fidelity Scale for individuals with psychiatric disabilities. American Journal of Psychiatric Rehabilitation, 16, 240–261.

Tsemberis, S., Czech, W. (2021) Revised Pathways Housing First Fidelity Scale for Programs with ICM or ACT. Pathways to Housing Training Institute and Canadian Alliance to End Homelessness.

Wygnańska, J. (2020) Model wstępny „Najpierw mieszkanie”, Fundacja Najpierw Mieszkanie Polska, Warszawa