Polityka jakości
Polityka jakości określa zasady przygotowania ankiet i sondaży na platformie Pryzmat oraz opracowania materiałów Obserwatorium Duszpasterskiego. Jej celem jest umożliwienie uczestnikom i czytelnikom sprawdzenia, jak powstają pytania, co oznaczają wyniki i na jakich podstawach formułowane są wnioski.
Odpowiedzialność i zakres polityki
Obserwatorium Duszpasterskie odpowiada za własne formularze, opis sposobu ich realizacji i publikowane opracowania. Przy każdym projekcie należy wskazać jego cel, odpowiedzialnego autora oraz istotny udział innych podmiotów. Jeżeli projekt ma zleceniodawcę lub zewnętrzne finansowanie, informacja o tym powinna towarzyszyć dokumentacji i wynikom.
Niniejszy dokument ustanawia zasady pracy, a nie potwierdza wykonania wszystkich możliwych procedur w każdej ankiecie. Sposób zastosowania zasad musi wynikać z dokumentacji konkretnego projektu. Odstępstwa i ograniczenia wymagają wyjaśnienia. Informacje o zewnętrznym audycie, certyfikacji lub współpracy instytucjonalnej podaje się wyłącznie wtedy, gdy można je udokumentować.
Cel i adresaci ankiety
Przed udostępnieniem formularza określa się problem, którego dotyczy ankieta, oraz decyzje lub rozmowy, którym może służyć jej opracowanie. Zakres pytań powinien wynikać z tego celu. Sama aktualność tematu nie uzasadnia zbierania informacji niezwiązanych z projektem.
Opis ankiety powinien wskazywać adresatów i warunki udziału. Dostępność formularza w internecie nie oznacza, że jest skierowany do każdego. Przy projektach obejmujących osoby niepełnoletnie lub szczególnie trudne doświadczenia warunki udziału i ochrony informacji wymagają odrębnego przygotowania.
Język i konstrukcja kwestionariusza
Pytania powinny być zrozumiałe, jednoznaczne i wolne od sugestii dotyczącej oczekiwanego stanowiska. W jednym pytaniu należy unikać łączenia różnych ocen, na które uczestnik mógłby odpowiedzieć odmiennie. Pojęcia dotyczące Kościołów, religii i światopoglądu trzeba stosować precyzyjnie, z uwzględnieniem różnych tradycji oraz osób pozostających poza wspólnotami.
Warianty odpowiedzi powinny umożliwiać opis rzeczywistej sytuacji uczestnika. Tam, gdzie jest to uzasadnione, przewiduje się brak doświadczenia, brak stanowiska, odmowę odpowiedzi lub inną możliwość. Ocenę jasności pytań należy przeprowadzić przed publikacją. Jeżeli wykonano pilotaż lub konsultację, ich zakres powinien zostać opisany; nie należy domniemywać konsultacji eksperckiej.
Dobrowolność i informacja dla uczestnika
Uczestnik otrzymuje informację o celu formularza, jego adresatach i sposobie wykorzystania odpowiedzi. Udział w standardowych otwartych ankietach jest dobrowolny i bezpłatny. Zapis do newslettera, kontakt z Obserwatorium i zgłoszenie wspólnoty są odrębnymi czynnościami.
Przed zatwierdzeniem formularza można zrezygnować. Wymagane pytania oraz ograniczenia wyboru powinny być czytelne. Orientacyjny czas wypełnienia nie stanowi obowiązku udzielenia odpowiedzi w wyznaczonym tempie. Możliwość późniejszego odnalezienia przesłanej odpowiedzi zależy od sposobu jej zapisania i nie może być bezwarunkowo obiecywana.
Docieranie do uczestników i charakter materiału
Standardowa otwarta ankieta Pryzmatu zbiera odpowiedzi osób, które same zdecydowały się wypełnić formularz. Może być udostępniana w serwisie Obserwatorium, za pomocą odnośników i na stronach innych podmiotów. Taki sposób udziału jest nielosowy i wymaga uwzględnienia samodzielnego zgłaszania się uczestników.
W opracowaniu należy wskazać rzeczywiste kanały dystrybucji i zastosowane warunki udziału. Duża liczba formularzy nie usuwa błędu wynikającego z nierównego dotarcia do środowisk lub ich różnej gotowości do odpowiedzi. Nazwa sondaż oraz technika CAWI nie stanowią samodzielnej podstawy twierdzenia o reprezentatywności.
Kontrole techniczne i ocena odpowiedzi
Silnik sprawdza wymagane pola, zgodność wyborów z kwestionariuszem, limity i aktualność wersji formularza. Zapis ukończonego formularza następuje po kontroli poprawności. Działa czasowe ograniczenie ponownej wysyłki oraz filtr słownictwa w odpowiedziach otwartych. Kontrole te nie potwierdzają tożsamości ani prawdziwości wypowiedzi i nie gwarantują wyeliminowania wszystkich nadużyć.
Dodatkowe kontrole materiału i zasady wyłączania wpisów powinny być ustalone przed oceną wyników i opisane przy publikacji. Każde istotne wyłączenie wymaga uzasadnienia i informacji o liczbie rekordów oraz wpływie na podstawę obliczeń. Krytyka Kościoła, organizatora lub przyjętych założeń nie jest sama w sobie powodem wyłączenia odpowiedzi.
Techniczny filtr może błędnie zakwalifikować wypowiedź. Uczestnik powinien mieć możliwość zgłoszenia takiego przypadku. Nie należy traktować automatycznej decyzji filtra jako merytorycznej oceny doświadczenia respondenta.
Poufność, anonimowość i dostęp
Standardowy formularz nie wymaga imienia, nazwiska ani adresu poczty elektronicznej. Odpowiedzi zapisuje się z oznaczeniem ankiety i jej wersji, czasem zapisu, tokenem rekordu oraz, w odpowiedniej integracji, źródłem udostępnienia. Ochronę materiału ocenia się również z uwzględnieniem treści wypowiedzi, informacji technicznych i innych dostępnych danych.
Poufność oznacza ograniczenie dostępu i wykorzystania informacji. Anonimowość oznacza brak realnej możliwości powiązania materiału z określoną osobą. Brak nazwiska nie wystarcza do zapewnienia anonimowości. Nie należy publikować zapewnienia o jej pełnym zakresie bez oceny faktycznego działania formularza i infrastruktury.
Dostęp do niepublicznego materiału powinien odpowiadać zadaniom osób upoważnionych. Samo osadzenie formularza na stronie wspólnoty nie daje jej dostępu do indywidualnych odpowiedzi. Przed publikacją wypowiedzi otwartych i szczegółowych zestawień trzeba ocenić ryzyko rozpoznania uczestnika lub innych osób. Szczegółowe zasady przetwarzania i przechowywania opisuje polityka prywatności.
Obliczenia, liczebności i porównania
Każda tabela i wykres powinny mieć określoną podstawę obliczeń. Liczbę ukończonych formularzy objętych raportem należy odróżnić od liczby odpowiedzi na konkretne pytanie i od potwierdzonej liczby różnych osób. Przy wielokrotnym wyborze suma procentów może przekroczyć 100%, a przy zaokrąglaniu mogą powstać niewielkie różnice.
Porównania między grupami wymagają oceny konstrukcji pytań, liczebności i sposobu dotarcia do uczestników. Mała grupa może nie pozwalać na wiarygodny opis różnic, a szczegółowe zestawienie może zwiększać ryzyko identyfikacji. W takim przypadku trzeba ograniczyć zakres publikacji lub wyjaśnić, dlaczego porównania nie wykonano.
Jeżeli stosuje się dodatkowe przekształcenia, ważenie, kodowanie wypowiedzi lub inne metody analityczne, ich zasady i wpływ należy ujawnić. Współwystępowanie odpowiedzi nie jest samo w sobie dowodem związku przyczynowego.
Publikacja, autorstwo i interpretacja
Raport powinien zawierać notę metodologiczną dotyczącą tego samego zakresu danych co przedstawione wyniki. Nota obejmuje między innymi okres zbierania odpowiedzi, zakres dystrybucji, liczebność, wersję kwestionariusza i ograniczenia. Automatyczne zestawienie wymaga sprawdzenia przed udostępnieniem publicznym.
Dane uczestników, analiza i komentarz autora pełnią różne funkcje. Wnioski duszpasterskie mogą być częścią opracowania, ale wymagają oznaczenia i nie powinny być przedstawiane jako wypowiedź respondentów. Wyniki otwartej ankiety opisuje się w odniesieniu do zebranego materiału, a uogólnienie na populację wymaga osobnych podstaw.
Podmiot udostępniający formularz zachowuje własną tożsamość i nie staje się automatycznie współautorem raportu. Kryteria publikacji nie mogą zależeć od tego, czy wynik jest korzystny dla organizatora albo współpracującego środowiska.
Narzędzia pomocnicze i sztuczna inteligencja
Narzędzia automatyczne mogą pomagać w pracy technicznej, redakcyjnej i analitycznej. Nie tworzą odpowiedzi w miejsce uczestników. Wyniki i istotne interpretacje muszą mieć podstawę w zebranym materiale oraz wskazanych źródłach.
Jeżeli automatyczne kodowanie lub narzędzia sztucznej inteligencji istotnie wpływają na opracowanie, ich zastosowanie i sposób sprawdzenia rezultatu należy opisać przy publikacji. Materiał niepubliczny można przekazywać narzędziu zewnętrznemu dopiero po ocenie dopuszczalności, zakresu danych i zabezpieczeń. Odpowiedzialność za publikację pozostaje po stronie jej autorów.
Korekty, uwagi i aktualizacja zasad
Uwagi dotyczące pytań, błędów obliczeń lub sposobu interpretacji można przekazać przez formularz kontaktowy, wskazując tytuł ankiety albo publikacji i konkretny fragment. Zgłoszenie podlega ocenie pod względem jego treści i dokumentacji, niezależnie od stanowiska osoby zgłaszającej.
Istotna korekta powinna wskazywać datę, przyczynę, zmieniony zakres oraz wpływ na wyniki lub wnioski. Korektę językową należy odróżnić od zmiany danych lub sposobu obliczeń. Zmiany polityki jakości wymagają oznaczenia wersji i daty; nie zastępują dokumentacji wcześniejszych projektów.