Metodologia ankiet i sondaży

Technika CAWI i samodzielne wypełnienie formularza

CAWI określa zbieranie odpowiedzi przez internetowy formularz wypełniany samodzielnie przez uczestnika. W Pryzmacie pytania i warianty odpowiedzi są prezentowane na komputerze, telefonie lub tablecie. Formularz może być udostępniony w serwisie Obserwatorium lub osadzony na innej stronie, a odpowiedzi trafiają do systemu Obserwatorium.

CAWI opisuje technikę zbierania odpowiedzi. Nie określa samoistnie sposobu doboru uczestników, reprezentatywności, jakości pytań ani trafności wniosków. Te kwestie trzeba oceniać osobno.

Udział otwarty i dobór nielosowy

W standardowej otwartej ankiecie osoba zainteresowana sama podejmuje decyzję o udziale. Materiał powstaje więc w drodze doboru nielosowego opartego na samodzielnym zgłoszeniu. Nie stosuje się automatycznie losowania z wykazu wszystkich osób należących do opisanej populacji.

Wyniki mogą pomóc rozpoznać doświadczenia i problemy występujące wśród osób, które odpowiedziały. Zakres dotarcia, zainteresowanie tematem i gotowość do uczestnictwa mogą jednak różnić się między środowiskami. Dlatego wyników nie należy bez odrębnego uzasadnienia przedstawiać jako opinii wszystkich Polaków, chrześcijan lub członków danego Kościoła.

Adresaci i kanały udostępniania

Adresatów określa opis ankiety. Mogą to być osoby związane ze wspólnotami, duchowni, osoby poszukujące, pozostające poza Kościołami lub inne grupy właściwe dla tematu. Warunki udziału powinny być zrozumiałe przed rozpoczęciem.

Dystrybucja może obejmować stronę Obserwatorium, odnośniki i integracje na stronach wspólnot. Techniczne oznaczenie źródła pomaga opisać tę dystrybucję. Nie jest dowodem przynależności uczestnika do wspólnoty udostępniającej formularz. Wynik z określonego źródła nie oznacza automatycznie wyniku reprezentatywnego dla tego środowiska.

Kwestionariusz i wersje pytań

Kwestionariusz określa pytania, warianty odpowiedzi, wymagane pola oraz sposób wyboru. Wersja powinna umożliwiać ustalenie, z jakim formularzem zetknął się uczestnik. Przy zmianie treści pytań lub odpowiedzi trzeba ocenić, czy materiał z różnych wersji można porównywać.

Silnik zapisuje numer wersji przy ukończonym formularzu. Nota raportu powinna wskazywać wersje faktycznie obecne w wykorzystanym zbiorze. Zapis numeru nie zastępuje archiwum pełnej treści wcześniejszego kwestionariusza. Jeżeli zbiór obejmuje różne wersje, należy wyjaśnić zmiany i zgodność prezentowanych wyników z pytaniami.

Zatwierdzenie i podstawowe kontrole

Formularz przechodzi kontrolę wymaganych odpowiedzi, dopuszczalnych wyborów i ograniczeń. Silnik sprawdza też wersję i dostępność ankiety. Zestawienia obejmują rekordy oznaczone jako ukończone. Zabezpieczenie techniczne ogranicza ponowną wysyłkę, a filtr słownictwa działa w polach otwartych.

Kontrola techniczna odróżnia poprawny zapis od nieprawidłowego przesłania. Nie ustala, czy każda wypowiedź jest prawdziwa i czy wszystkie rekordy pochodzą od różnych osób. Dodatkowe kontrole lub wyłączenia wymagają opisu, wraz z ich zasadami i wpływem na liczebność.

Liczebność i podstawy procentów

N w raporcie silnika oznacza liczbę ukończonych formularzy objętych jego zakresem. Podstawa n dla pytania dotyczy odpowiedzi wykorzystanych w obliczeniu tego pytania. Przy pytaniach macierzowych podstawę ustala się osobno dla wiersza. Liczbę rekordów należy odróżniać od potwierdzonej liczby różnych osób.

W pytaniu jednokrotnego wyboru przedstawia się liczebność i udział odpowiedzi. W pytaniu wielokrotnego wyboru udział każdego wariantu odnosi się do podstawy pytania, dlatego suma może przekroczyć 100%. Zaokrąglenia mogą prowadzić do niewielkich różnic. Braki odpowiedzi i wyłączenia wymagają jasnego opisania.

Standardowe zestawienia silnika nie stosują ważenia statystycznego. Jeżeli odrębna analiza korzysta z wag lub innych przekształceń, jej dokumentacja powinna wskazywać ich podstawę, sposób obliczenia i wpływ. Dla otwartego doboru nie podaje się klasycznego marginesu błędu losowania; ewentualne miary oparte na modelu wymagają osobnego uzasadnienia.

Zakres wnioskowania i porównania

Wynik otwartej ankiety przedstawia zebrane odpowiedzi w określonym czasie i zakresie dystrybucji. Większa liczba formularzy może poszerzać materiał, ale nie usuwa automatycznie problemów doboru. Różnice między źródłami mogą wiązać się z odmienną rekrutacją, a nie tylko z różnicą doświadczeń.

Porównywanie Kościołów, grup wieku lub kolejnych edycji wymaga sprawdzenia zgodności pytań, warunków udziału i podstaw obliczeń. Zbyt małe grupy ograniczają interpretację i mogą zwiększać ryzyko rozpoznania osób. Same zależności w odpowiedziach nie pozwalają ustalić przyczyny zjawiska.

Nota metodologiczna i odpowiedzialność za raport

Nota metodologiczna opisuje realizację konkretnej ankiety i zakres danych użytych w publikacji. Powinna zawierać cel, adresatów, sposób udostępniania, daty, liczebność, wersje pytań, obliczenia, kontrole, ograniczenia oraz odpowiedzialnego autora. Okres faktycznie wykorzystanych odpowiedzi trzeba odróżnić od planowanego czasu dostępności formularza.

Przy tworzeniu nowego raportu silnik przygotowuje część noty na podstawie zapisanego zestawienia. Opis adresatów, dystrybucji, dodatkowych kontroli i odpowiedzialności trzeba uzupełnić oraz sprawdzić. Zmiana ogólnej strony z metodologią nie zmienia dokumentacji utrwalonego raportu.