Mgr. Jindřich Krejčí, Ph.D. ze Sociologického ústavu Akademie věd ČR.
Foto: AV ČR
Dá se věřit průzkumům trhu a veřejného mínění v Česku? Jak zodpovědně respondenti dotazníky vyplňují? Co zhoršuje kvalitu zjištěných dat? Lze ověřit pravdivost odpovědí? O těchto a dalších otázkách jsme si povídali s Jindřichem Krejčím ze Sociologického ústavu Akademie věd České republiky, kde vede oddělení Český sociálněvědní datový archiv a který se věnuje i metodám sociálního výzkumu a kvalitě dat.
Ondřej Horecký: Zabýváte se výzkumem sociálních šetření, tedy různými průzkumy trhu a veřejného mínění. Všeobecně řečeno, dá se jim věřit?
Jindřich Krejčí: Ano, kvalitně provedeným šetřením můžeme důvěřovat. Často poskytují vůbec nejpřesnější dostupné informace o společenských jevech a postojích veřejnosti. Je však potřeba si uvědomit, že jde o výběrová šetření, kdy informace o celé populaci získáváme na základě relativně malého vzorku. Výsledky proto vždy obsahují určitou míru nejistoty. Neznáme přesnou hodnotu, ale můžeme odhadnout interval, v němž se s vysokou mírou spolehlivosti nachází.
Získat reprezentativní vzorek a kvalitní odpovědi je náročný proces, který vyžaduje promyšlené postupy omezující různé zdroje chyb. Podobně jako v průmyslové výrobě i ve výzkumu záleží na kvalitě celého procesu, která se může mezi jednotlivými realizátory výrazně lišit. Je proto důležité sledovat, kdo šetření provedl a jestli aspoň základní parametry odpovídají obvyklým standardům. Nezáleží jen na počtu provedených rozhovorů, ale i na metodě výběru. Problémy navíc mohou vznikat nejen při samotném výzkumu, ale také při interpretaci výsledků a jejich zprostředkování veřejnosti. Značnou odpovědnost tak nesou i novináři.
Některé průzkumy nenabízejí finanční odměnu pro respondenty a spoléhají na dobrovolníky. Není možné, že jejich motivy pro zapojení se ovlivní výsledky v tom smyslu, že do daného šetření se zapojí většinově respondenti, kterým je toto téma blízké, např. životní prostředí nebo názor na vládu?
Takové riziko samozřejmě existuje. Základním principem reprezentativního výběrového šetření ale je, že o tom, kdo bude osloven, rozhoduje výzkumník na základě propracované výběrové metody, nikoliv sám respondent. Pokud se účastníci vybírají pouze tím, že se sami přihlásí, jde o běžnou anketu, nikoliv o reprezentativní výběrové šetření. Její výsledky nelze jednoduše zobecňovat na celou populaci.
Ani správně provedený výběr ovšem sám o sobě nestačí. Záleží také na tom, zda se podaří vybrané osoby kontaktovat a získat je pro spolupráci. Významnou roli hraje způsob kontaktování, jeho opakování v různých dnech a denních dobách, způsob informování o výzkumu a techniky navazování kontaktu, metoda dotazování, právě i odměny a další postupy. To vše musí tvořit funkční a vzájemně vyvážený celek, který omezuje riziko zkreslení výsledků.
Jiné průzkumy sice honorované jsou, ale odměny jsou velmi nízké. Jedna známá agentura např. nabízela za vyplnění online dotazníku, který zabere „5 až 8 hodin“, pouze 450 Kč, to je 56–90 Kč za hodinu. Také jiné sazby má v podobné výši. Nehrozí, že tak nízké odměny přilákají pouze vzorek populace, který nereprezentuje opravdové složení společnosti?
Finanční odměna nemusí vždy reprezentativitu zlepšit. Pokud je nevhodně nastavena, může motivovat k účasti některé skupiny více než jiné, a tím naopak zkreslení výsledků zvýšit. Nebývá to ale jediná motivace k účasti ve výzkumu.
Vyplňování dotazníků není a nemá být zaměstnáním. Odměna zpravidla představuje pouze jednu z pobídek k účasti ve výzkumu. Její výše může ovlivňovat ochotu různých skupin obyvatel zapojit se, a proto je potřeba ji nastavovat s ohledem na konkrétní šetření.
„Samotná velikost vzorku o kvalitě výzkumu mnoho nevypovídá.
Dotazování trvající pět až osm hodin je ovšem velmi neobvyklé. Délka a náročnost dotazníku mají zásadní vliv nejen na ochotu respondentů zúčastnit se výzkumu, ale také na kvalitu jejich odpovědí. Online dotazníky proto bývají relativně krátké, zpravidla do půl hodiny. Osobní rozhovor vedený tazatelem může být podstatně delší než online dotazník, ale i zde je nutné časovou náročnost pečlivě hlídat. Příliš dlouhý nebo obtížný dotazník může kvalitu výsledných dat výrazně zhoršit.
Druhým problémem je pak samotná kvalita vyplňování. Pokud chce respondent vyplnit dotazník rychle, otázky nemusí pročítat poctivě a kliká na odpovědi automaticky nebo tak, „co mu přijdou pod ruku“. Existují nějaká data o tom, jaký podíl respondentů odpovídá nezodpovědně?
Takové chování se vyskytuje, ale neexistuje jedno univerzální číslo, které by vyjadřovalo podíl nekvalitních odpovědí ve všech šetřeních. Záleží na metodě dotazování, tématu výzkumu, délce a náročnosti dotazníku a liší se to i u jednotlivých otázek – protože i ty jsou různě náročné a mají různá témata.
Kvalitní výzkum proto zahrnuje řadu kontrolních mechanismů. Agentury například sledují, jak rychle respondenti odpovídají nebo zda si jejich odpovědi vzájemně neodporují. Z takových údajů lze někdy poznat, že respondent dotazník nevyplňoval pozorně.
Zvláštní pozornost vyžadují takzvané panely respondentů, tedy skupiny lidí, kteří s agenturou spolupracují dlouhodobě a účastní se opakovaně různých šetření. Agentury musí kvalitu těchto panelů průběžně kontrolovat a udržovat. Složení panelů se také periodicky a průběžně obměňuje.
Důležitá je ovšem také samotná konstrukce dotazníku. Nekvalitní odpovědi nemusí být vždy důsledkem nezodpovědnosti respondenta. Někdy jsou problémem příliš složité, nejednoznačné nebo nevhodně formulované otázky. Zvláštní pozornost vyžaduje dotazování náročných nebo citlivých témat. Ne vše jde úspěšně dotazovat v běžném dotazovacím šetření, někdy je potřeba využít specifické techniky.
Liší se odměny pro respondenty agentura od agentury anebo jsou všude víceméně stejné?
Odměny se liší mezi agenturami i jednotlivými šetřeními. Záleží na délce a náročnosti dotazování, použité metodě i na tom, zda jde o jednorázový výzkum, nebo dlouhodobou spolupráci v panelu respondentů. Při jejich nastavení je potřeba zohlednit jak motivaci různých skupin obyvatel, tak rozpočet výzkumu. Agentury využívají své dlouhodobé zkušenosti a ověření z praxe, problematice nastavování odměn se věnuje i specifický metodologický výzkum.
Je snadné nebo obtížné pro tyto agentury získat dostatečně vypovídající vzorek populace a dostatek odpovědí pro svá šetření?
Je to stále obtížnější. Ochota lidí účastnit se výzkumů i možnost je kontaktovat se dlouhodobě zhoršují a po pandemii covidu tento trend ještě zesílil.
Získání kvalitního reprezentativního vzorku proto vyžaduje stále větší úsilí a investice do metodiky a organizace výzkumu. Nové technologie sice některé postupy zjednodušují a zlevňují, ale základní problém neodstraňují. Kvalitní a přesná výběrová šetření zůstávají pracná a nákladná.
Jak si agentury ověřují, že respondenti odpovídají podle pravdy?
Záměrné lhaní respondentů nebývá zdaleka tak časté, jak by se mohlo zdát, i když opět záleží na druhu otázek. U jednoduchých nebo neproblematických otázek většina lidí odpovídá podle svého skutečného názoru nebo zkušenosti. To ovšem neznamená, že jejich odpovědi musí být vždy přesné.
Agentury se snaží riziko nepravdivých nebo nepřesných odpovědí omezovat vhodnou metodikou, kontrolou průběhu dotazování a následnou analýzou dat. Sledují například logické rozpory mezi odpověďmi. Samotnou pravdivost každé jednotlivé odpovědi ale zpravidla nelze přímo ověřit.
Velmi důležitá je proto správná formulace otázek. Respondentům nesmíme klást nepřiměřené nároky na paměť, znalosti nebo schopnost posuzovat složité problémy. Záleží také na citlivosti tématu, délce dotazování a okolnostech, za nichž respondent odpovídá.
Jak lze zlepšit kvalitu odpovědí v průzkumech?
Především je potřeba investovat do kvalitních výzkumných struktur, promyšlených metodik a pečlivé přípravy dotazníků. To vyžaduje odborné znalosti, čas a peníze. Kvalitní výzkum zkrátka něco stojí.
Stejně důležité ovšem je, aby zadavatelé a uživatelé výzkumů dokázali alespoň v základních rysech rozlišovat mezi kvalitním a nekvalitním šetřením. Proto existují odborné standardy, které se netýkají pouze samotného výzkumného procesu, ale také zveřejňování a interpretace výsledků, včetně jejich využívání v médiích.
U zveřejněného průzkumu bychom měli vědět, kdo jej provedl a zadal, kdy a jak probíhal, kolik lidí se ho zúčastnilo a především jak byli respondenti vybráni. Samotná velikost vzorku totiž o kvalitě výzkumu mnoho nevypovídá. Důležité je také vědět, k jaké populaci se výsledky vztahují. Například stranické preference v celé dospělé populaci vypovídají o možném výsledku voleb něco jiného než preference lidí, kteří se skutečně chystají volit.
Vodítkem při posuzování kvality je i jméno agentury. Agentury si postupně budují renomé, které je v jejich vlastním zájmu udržovat. Podobně jako v jiných oborech je i zde pověst firmy spojená s kvalitou její práce důležitým faktorem konkurence na trhu.
Předvolební průzkumy v ČR obvykle vycházejí poměrně přesně. Čím to je?
O tom, nakolik jsou předvolební průzkumy přesné, se diskutuje po každých volbách i v mezivolebním období. Většina publikovaných šetření přitom poskytuje poměrně dobré informace o politických preferencích veřejnosti.
Je však důležité rozlišovat mezi průzkumem a volební předpovědí. Výsledky šetření vypovídají o preferencích v době, kdy se dotazování uskutečnilo. Neříkají, jak lidé skutečně budou hlasovat v den voleb. Preference se mohou měnit, ostatně právě proto politické strany vedou předvolební kampaně.
Navíc je nutné počítat se statistickou nejistotou. Rozdíly mezi stranami mohou být menší než výběrová chyba, a přesto mohou rozhodovat o vítězi voleb nebo možnostech sestavení povolební koalice. K tomu přistupují i další zdroje nepřesností, například obtížné odhadování volební účasti.
Přes všechna omezení patří kvalitní předvolební šetření k nejspolehlivějším informacím, které o politických preferencích společnosti máme. Politici ostatně také patří k jejich významným odběratelům. Když jim výsledky vyhovují, rádi se na ně odvolávají. Když ne, snaží se jejich důvěryhodnost zpochybnit.
Děkuji za rozhovor.
Comments