projektowanie kwestionariuszy · projektowanie kwestionariuszy •badania przedsiębiorstw...
TRANSCRIPT
![Page 1: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/1.jpg)
Eurostat
Projektowanie kwestionariuszy
![Page 2: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/2.jpg)
Prezentacja
• Paweł Lańduch
• Urząd Statystyczny w Poznaniu
![Page 3: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/3.jpg)
Projektowanie kwestionariuszy
Moduły
• Moduł główny,
• Projektowanie kwestionariuszy elektronicznych,
• Edycja danych podczas gromadzenia,
• Testowanie kwestionariuszy.
![Page 4: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/4.jpg)
Projektowanie kwestionariuszy
• Badania przedsiębiorstw
– Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane mają na ogół naturę ilościową, znajdują się w systemach danych;
– Dane zbierane są bez udziału ankietera. Osoba wypełniająca tylko wypełnia dane jako reprezentant.
![Page 5: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/5.jpg)
Projektowanie kwestionariuszy
• Badania przedsiębiorstw
– W przeciwieństwie do badań społecznych mają charakter obowiązkowy,
– Definicje i pojęcia mają charakter techniczny, złożony, często wywodzą się obowiązującego prawa. Praktyka i standardy są często okolicznością, którą trzeba brać pod uwagę, np. standardy księgowe. W związku z tym często kwestionariuszom towarzyszy rozbudowana instrukcja.
![Page 6: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/6.jpg)
Projektowanie kwestionariuszy
• Badania przedsiębiorstw
– Rozkład danych jest asymetryczny na korzyść dużych przedsiębiorstw,
– Czas jest często bardziej istotnych czynnikiem niż jakość.
– Długofalowy charakter badań jest jednym z czynników powodujących niechęć do zmian.
![Page 7: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/7.jpg)
Projektowanie kwestionariuszy
• Proces odpowiedzi
Definicja - rezultat interakcji pomiędzy respondentem a kwestionariuszem (Edwards & Cantor, 1991, Measurement Error in Surveys)
Badania społeczne badania przedsiębiorstw
indywidualny organizacyjny
pamięciowy baza danych
zrozumienie zrozumienie+organizacja
wyszukanie wyszukanie + baza danych
![Page 8: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/8.jpg)
• Pojęcia i zmienne (przykład)
Statystyka krótkookresowaq
– Pojęcie – Produkcja sprzedana w cenach bieżących (Sa)
– Zmienne Przychody ze sprzedaży (Sw)
Wartość produktów niezaliczonych do sprzedaży (Sz)
Podatek akcyzowy (Da)
Dotacje przedmiotowe (Dp)
Sa=Sw+Sz-Da+Dp
Projektowanie kwestionariuszy
![Page 9: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/9.jpg)
• Wybór metody zbierania danych
- Z udziałem ankietera
- samodzielnie
- Tryb mieszany
- Wpływ technologii komputerowych – Internet - Faktyczne obciążenie a obciążenie odczuwane
- Dane ilościowe
- Jedna z najbardziej obciążających faz – wyodrębnienie danych
Projektowanie kwestionariuszy
![Page 10: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/10.jpg)
• Prototyp
– Zawartość merytoryczna i informacje towarzyszące Pisma wprowadzające,
Aspekt kognitywny,
Wygląd,
nawigacja
instrukcje
Wyzwania technologiczne
– Istotność instrukcji
– Podręcznik - wytyczne (przykład: Economic Directorate Guidelines on Questionnaire Design. Washington, DC: U.S. Census Bureau (2008).
Projektowanie kwestionariuszy
![Page 11: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/11.jpg)
– Inne przykłady podręczników: Forms Design Standards Manual, Australian Bureau of Statistics (2010),
– Handbook of Recommended Practices for Questionnaire Development and Testing in the European Statistical System, Eurostat (2006)
- Standardy projektowania dla rozwoju, testowania, oceny oraz dla elementów technicznych
- Przykład (środowisko WWW – aspekt holistyczny, dynamika, jedno miejsce gromadzenia danych, jeden wzorzec dla wszytkich ?)
- Błędy pomiaru – Jakość
- Koszt - obciążenie odpowiedzi – satysfakcja użytkownika
Projektowanie kwestionariuszy
![Page 12: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/12.jpg)
• Wpływ na proces odpowiedzi
• Wpływ na obciążenie odpowiedzi
• Wpływ na jakość
• Nowe cechy, możliwości oraz wyzwania
• Porównanie – forma papierowa i elektroniczna
Forma wizualna – stronicowanie, skrolowanie, podobieństwo do wersji papierowych ?
Edycja – element bliskości z respondentem, redukcja kosztów, zmniejszenie obciążenia, lepsza jakość
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
![Page 13: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/13.jpg)
Automatyczny routing – eliminacja błędów, wcześniejsze odpowiedzi determinują prezentację następnych pytań,
Podsumowania – oczekiwane przez użytkowników, są elementem kontroli i spójności,
Wskaźnik zaawansowania – możliwość oceny stanu zaawansowania, ale istnieją argumenty przeciwko,
Nawigacja – łatwy sposób poruszania, możliwość przerwania i kontynuacji
Instrukcje – łatwo dostępna, na żądanie użytkownika , np. jako link
Zabezpieczenia – ważna szczególnie w statystyce przedsiębiorstw
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
![Page 14: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/14.jpg)
Testowanie „użyteczności”
- Psychologia Gestalt jako przykład dla projektowania wizualnego
- Psychologia kognitywna
- perspektywa projektanta a użytkownika
- projektowanie z użytkownikiem w centrum
- przygotowanie na popełnianie błędów
- mapowanie,
- standaryzacja
- podejście heurystyczne (Jacob Nielsen)
)
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
![Page 15: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/15.jpg)
Przykład: Kwestionariusz papierowy i elektroniczny
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
![Page 16: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/16.jpg)
Pakiet programów MS Office jako przykład standaryzacji
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
![Page 17: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/17.jpg)
Projektowanie kwestionariuszy – Kwestionariusz elektroniczny
Efekt automatycznego routingu (luka w numeracji)
![Page 18: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/18.jpg)
- Możliwość przeniesienia części edycji danych na poziom
zbierania danych.
- Redukcja kosztów, a także podniesienie jakości
- Możliwość zmniejszenia obciążeń respondenta
- Reguły edycji wbudowane w kwestionariusz
- Dwa rodzaje reguł – błędy i ostrzeżenia
Oczekiwanie:
Zebrane dane wolne od błędów i wysokiej jakości
Pytanie: Czy tak jest ?
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
![Page 19: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/19.jpg)
Przykłady prezentowanie komunikatów
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
Wykorzystanie ikon
Błędy
Ostrzeżenia
![Page 20: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/20.jpg)
Przykłady
)
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
![Page 21: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/21.jpg)
Przykłady reguł dla różnych typów danych:
- Tekst – długość, określony format
- Liczba – zakres, zależności algebraiczne,
- Zdefiniowana lista odpowiedzi
- Pole wymagane
- Reguła dopuszczająca określony typ danych, np. numeryczny
- Sprawdzenie relacji między elementami
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
![Page 22: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/22.jpg)
Strategia wybory liczby reguł i ich zakresu
- Ile reguł nie spowoduje braku odpowiedzi ?
- Podejście konserwatywne a ekstensywne
- Jaki sposób prezentacji będzie efektywny ?
- Jeśli reguła będzie zauważona to czy zrozumiała ?
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
![Page 23: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/23.jpg)
Wybór strategii (c.d.)
- Co z danymi, które pomimo sygnalizacji nie zostały poprawione?
- Jak testować reguły edycji ?
- Czy pozwolić przesłać dane, które nie spełniają założonych
reguł?
Przesłanki:
– Narzędzie powinno być pod kontrolą użytkownika
– Sposób formułowania komunikatów powinien unikać
kategorycznych stwierdzeń
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
![Page 24: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/24.jpg)
Przesłanki (c.d):
– Komunikat powinien być wyzwalany możliwie szybko z
możliwością powtórzenia,
– Ważne są atrybuty lokalizacji błędu
– Możliwość dodania komentarza dla użytkownika
– Namysł nad prezentacją danych z poprzednich okresów
Projektowanie kwestionariuszy – Edycja w czasie zbierania danych
![Page 25: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/25.jpg)
– Europejski Kodeks Praktyk, Zasada 8, wskaźnik 8.2: W przypadku
badań statystycznych, kwestionariusze poddaje się systematycznym
testom przed rozpoczęciem gromadzenia danych
Ciągły proces
– Wstępny projekt przegląd wstępne testowanie poprawa
– Gromadzenie danych ocena rewizja testowania
– Wstępny test / test w produkcji
Projektowanie kwestionariuszy – Testowanie
![Page 26: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/26.jpg)
Projektowanie kwestionariuszy – Testowanie - CASM Cognitive aspects of survey methodology
- „podmiot” proces myślowy odpowiedzi
Głośne myślenie wywiad pogłębiony
badanie społeczne badania przedsiębiorstw
w siedzibie przedsiębiorstwa
wizyty przed podjęciem badania
rozszerzenie wywiadów
kognitywnych
![Page 27: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/27.jpg)
Badania sposobu przechowywania danych
- Jedna z najbardziej obciążających faz – kwerenda wymaganych
danych
- Dane mogą nie istnieć w systemach danych
- Dane mogą być przechowywane w różnych miejscach
- Podłoże kognitywne
- Różne uprawnienia dla różnych osób
Projektowanie kwestionariuszy – Testowanie
![Page 28: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/28.jpg)
Skutek problemów z uzyskaniem danych
oszacowanie
oszacowanie mało precyzyjne
fałsz
brak odpowiedzi
Testowanie użyteczności
Aspekty wizualne – Czcionka, Grafika, „Wizualne
przepełnienie”
Interface użytkownika - Nawigacja, Mapowanie, informacja
zwrotna
Projektowanie kwestionariuszy – Testowanie
![Page 29: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/29.jpg)
- Użyteczność (c.d.) Software
Procesy (planowanie, analiza, implementacja, ocena, zamknięcie)
testy funkcjonalne (black box)
testy strukturalne (white box)
- Testy w fazie produkcyjnej (po zgromadzeniu danych) Testy pilotażowe
Wywiady z respondentami – formalne i nieformalne
Rozmowy z personelem obsługującym badanie – formalne i nieformalne – jako
pośrednika między respondentem i instytucją prowadzącą badanie
Projektowanie kwestionariuszy – Testowanie
![Page 30: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/30.jpg)
• Testowanie w fazie produkcyjnej (po zebraniu danych) Ocena jakości zebranych danych,
– Pomiar braków odpowiedzi
– Detekcja wartości odstających
– Danych niespełniających reguł edycji
– Porównanie z danymi z innych źródeł
Projektowanie kwestionariuszy – Testowanie
![Page 31: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/31.jpg)
Projektowanie kwestionariuszy – Testowanie
Metody jakościowe
Testowanie wstępne i testowanie kognitywne mogą prowadzić do lepszej budowy
Metody ilościowe poszukiwanie oceny
wprowadzonych zmian
![Page 32: Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane](https://reader033.vdocuments.site/reader033/viewer/2022060100/60b17a4805e28a3a4d442f86/html5/thumbnails/32.jpg)
Ustanowienie standardów testowania
• Standardy minimalne
• Standardy rozszerzone
• Dobre praktyki
Filarem testowania może być proces odpowiedzi:
• Oparty na poszczególnych fazach procesu
• Oparty na wyselekcjonowanej liście pytań
• Oparty na jakościowych metodach testowania
Projektowanie kwestionariuszy – Testowanie