Celostátní studie promořenosti je nevěrohodná. Situace je mnohem lepší, říká statistik

Michal Půr

02. 07. 2020 • 17:00

O pořádný rozruch se před několika týdny postarali Jihočeši (Jihočeský kraj a společnost OIG Power), když uskutečnili vlastní studii promořenosti koronavirem. Ta ukázala, že by promořenost populace mohla být výrazně vyšší, než jak vyplynulo ze studie celostátní. Tu s odstupem tvrdě kritizuje předseda České statistické společnosti Ondřej Vencálek v rozhovoru pro INFO.CZ.

Co vlastně bylo cílem těchto studií?

Cílem obou bylo zjistit, jaká část populace se již setkala s tzv. novým typem koronaviru a má protilátky. Počty nakažených, které máme možnost denně sledovat ve sdělovacích prostředcích, zachycují jen „špičku ledovce“ – jde o potvrzené případy. Pak jsou ale také lidé, kteří nákazu prodělají a ani si toho nevšimnou. Jejich imunitní systém si ale vytvoří obranné protilátky. Otázkou je, kolik takových lidí je. A to právě chtěly tyto studie zjistit.

Proč by nás toto mělo zajímat? Neměli bychom se zabývat zejména případy, které mají závažný průběh a vedou třeba až k hospitalizaci?

Právě že ne. Představte si tři různé scénáře: pokud na jeden potvrzený případ připadá jeden případ, kdy nákaza proběhla nepozorovaně, znamená to, že není 11 tisíc nakažených, ale dvojnásobek a že polovina z nakažených vlastně o nákaze ani nevěděla. Pokud je ale na jeden potvrzený případ 10 nepozorovaných, pak nemoc prodělalo už přes 100 tisíc lidí a naprostá většina (přes 90 procent) měla mírný průběh. A konečně, pokud by na 1 potvrzený případ bylo 100 nepotvrzených, bylo by v tuto chvíli už celkově více než milion lidí „po nemoci“, přičemž průběh natolik závažný, že vedl k diagnóze covid-19, by se týkal jen nepatrné části nakažených. Najednou by covid-19 vypadal úplně jinak, než jak jej zatím vnímáme – daleko méně děsivě.

Který z těchto tří scénářů tedy nastává v České republice? Co říkají výše zmíněné studie?

Pokusím se výsledky krátce shrnout, ale předešlu, že obě studie mají určité slabiny, a proto bych je nepřeceňoval. A taky řeknu, že výsledky obou studií se značně liší, i když na první pohled se zdají být velmi podobné.

Můžete to vysvětlit?

V celorepublikové studii byl podíl lidí s protilátkami odhadnut na 0,4 procenta. Na nejhůře postiženém Litovelsku, kde tou dobou bylo skoro 800 potvrzených případů na 100 tisíc obyvatel, byl tento podíl asi 1,8 procenta. V jihočeské studii byl podíl obyvatel s protilátkami odhadnut na 1,6 procenta v okrese Písek a 2,3 procenta v okrese Strakonice. Někdo by tedy mohl říct – ta čísla jsou podobná, jestli je to jedno procento nebo dvě, na tom zas až tak nezáleží. Jenže si uvědomme, že jihočeské okresy měly podstatně méně potvrzených případů (14, resp. 49 na 100 tisíc obyvatel). Samozřejmě potvrzené případy záleží na tom, jak moc se testuje a koho testujeme, ale stejně, když bude někdo výsledky srovnávat, pak mu nezbude než odhadnout počet lidí s protilátkami na 1 potvrzený případ. A zatímco v celorepublikové studii tento podíl vychází přibližně 2,3 ku jedné (tedy asi 2 lidé s protilátkami na 1 potvrzený případ), v jihočeské studii jde řádově o vyšší desítky lidí na jeden potvrzený případ.

Co z těchto čísel vyplývá?

Výsledky jihočeské studie jsou daleko optimističtější – naznačují, že nákazou prošlo daleko více lidí, než bychom si mysleli na základě celostátní studie. A protože mluvíme o „neodhalených“ případech, jde o lidi s mírným průběhem. Nemoc se tak najednou jeví jako daleko méně nebezpečná. Ne proto, že by nakažených bylo méně (naopak), ale proto, že většina lidí má mírný průběh (dokonce můžeme často mluvit o průběhu bez vnějších projevů).

Jestli dobře rozumím, ani smrtnost, která vyjadřuje závažnost onemocnění, není podle jihočeské studie tak vysoká…

Přesně tak. Za celou dobu epidemie v naší zemi máme přibližně 300 zemřelých a 10 000 potvrzených nakažených. Pokud jsou tedy 2 nepotvrzené případy na jeden potvrzený, jak naznačuje celostátní studie, pak máme celkem 20 000 nepotvrzených případů a smrtnost je 300 / (10 000 + 20 000), tedy asi jedno procento. Řečeno přímo: každý stý nakažených novým typem koronaviru na nákazu, resp. v souvislosti s nákazou, zemře. Pokud máme ale 50 nepotvrzených na jeden potvrzený případ, jak naznačuje jihočeská studie, pak nákazou už mohlo projít 500 000 lidí a smrtnost by se pohybovala pod desetinou procenta. Nejistota těchto odhadů je velká, to si musíme přiznat. Vypadá to ale, že nemoc vůbec není tak děsivá, jak se zprvu zdálo.

Ale co situace v Itálii, Španělsku, nyní ve Spojených státech?

Dobře, že je zmiňujete. Srovnejme výsledky obou studií s tím, jak to vypadá v zahraničí. Podobné studie vznikají po celém světě. Jejich výsledky shrnul v nedávno publikované (meta-)studii John Ioannidis. Mnoho z nich se týkalo právě epicenter pandemie. Smrtnost se pohybovala kolem hodnoty 0,04 procenta pro populaci mladší 70 let a kolem 0,25 procenta při zahrnutí i nejstarších věkových skupin. Nikde přitom nebyla vyšší než 0,78 procenta. Takže výsledky celostátní studie by ukazovaly, že jsme na tom v celém světě naprosto nejhůře. Naopak výsledky jihočeské studie jsou v souladu s tím, co zjistili jinde ve světě.

Těch čísel je nějak hodně, mohli bychom je shrnout jednou větou?

To už za nás udělal vynikající statistik John Ioannidis, který závěry shrnul slovy: „Odhady smrtnosti infekce novým typem koronaviru na základě séroprevalenčních studií jsou mnohem nižší, než byly odhady z období počátku pandemie.“

Jak si vysvětlujete, že celostátní studie ukázala tak nízkou promořenost a potažmo vyšší smrtnost nákazy než ostatní studie?

Vysvětlení je vcelku jednoduché. Chcete-li zjistit, jaká část populace má protilátky, vezmete nějaký „vzorek“ populace a hledáte mezi nimi ty, kteří protilátky mají. To, že jste takových lidí našli málo, může znamenat dvě věci – buďto, že v tom vzorku opravdu bylo jen málo lidí s protilátkami, nebo že je neumíte najít. Bohužel autoři celostátní studie si zvolili nevhodný „nástroj“ pro detekci protilátek v populaci – tzv. rychlotest (Wantai).

Na základě čeho soudíte, že je tento test nevhodný?

Vlastnosti testu jsou popisovány pomocí dvou čísel – senzitivity a specificity. Wantai test má velmi vysokou specificitu, tedy pokud protilátky nemáte, test vám téměř jistě řekne, že jste „negativní“ – s nákazou jste se nepotkal. Pikantní je, že specificita je dokonce mnohem vyšší, než udává výrobce. Kdyby totiž byla „jen“ 95 procent, jak uvádí výrobce, musela by celostátní studie odhalit nejméně pět procent, tj. více než 1000 pozitivních. Ve skutečnosti jich bylo odhaleno jen 107.

Ve specificitě tedy zřejmě problém není.

Přesně tak. Horší je to se senzitivitou. Výrobci udávají senzitivitu přes 95 procent, autorům celostátní studie při jejich „verifikaci“ vyšla 100 procent. Problém je v tom, že k těmto číslům se dostanete, pokud budete testovat na skupině lidí s těžkým průběhem. Ty test pozná opravdu bezpečně, tedy s vysokou pravděpodobností. Nás ale zajímají i ti, kteří měli mírný průběh. Vlastně nás zajímají především tito lidé, protože právě o nich jsme zatím nevěděli. Jaká je senzitivita Wantai testu u těchto lidí vůbec nevíme, ale zřejmě bude dost nízká.

Mohl byste ty odborné pojmy senzitivita a specificita nějak laicky vysvětlit?

Představte si, že přinesete z lesa nůši hub. A potřebujete zjistit, které jsou jedlé. Je to příměr, kdy houba představuje člověka, u kterého zjišťujete protilátky, a za „jedlou houbu“ bychom označili člověka, který má protilátky. Postupně ukazujete houby kolegovi Wantaiovi a ptáte se, zda jsou jedlé. Kolega za jedlé označí jen kozáky. Kozák, jak víme, je jedlá houba, ale jedlých hub je daleko více než jen kozáci. Je-li houba nejedlá, Wantai ji určí jako nejedlou – má vysokou specificitu. Jenže za nejedlé označí i mnoho ve skutečnosti jedlých – má nízkou senzitivitu. Mimochodem, kozák je v našem příběhu člověk, který prodělal nemoc s dosti vážným průběhem.

Jestli dobře rozumím, tak tzv. verifikace probíhala pouze na „kozácích“.

Přesně tak, ukazovali jsme Wantaiovi jen samé kozáky (lidi s vážným průběhem) a pak si mnuli ruce nad tím, jak je skvělý – při tzv. verifikaci jich správně poznal 35 z 35 (tedy 100 procent). Autoři studie si asi byli vědomi toho, že je velmi neobvyklé, aby test měl 100procentní senzitivitu a 100procentní specificitu – profesor Dušek ve své prezentaci, která je mimochodem stále jediným publikovaným výstupem studie, k verifikaci uvedl, že „uvedený výsledek je nezbytné interpretovat opatrně.“ Jak se pak ale ta opatrnost projevila v praxi? Specificitu považovali za 100procentní, protože jinak by jim vycházely absurdní (záporné) odhady promořenosti, zato senzitivitu uvažovali 95procentní, což alespoň trochu zvýšilo jinak podezřele nízký odhad promořenosti.

Výsledky celostátní studie jsou ale stále ještě jen předběžné.

No jo, to jsou. Můžeme ještě pár měsíců počkat, až bude udělána validace na části dat nejlépe metodou ELISA, kterou používali v jihočeské studii. Pak se nejspíš dozvíme, jak jsme na tom v druhé polovině dubna 2020 byli. Tedy v Olomouci, u ostatních měst budeme muset předpokládat, že se tam rychlotest choval podobně špatně a bude se to muset celé přepočítat.

To nevypadá moc povzbudivě.

Z hlediska autorů té studie opravdu ne, z hlediska nás všech je ale selhání rychlotestů velmi dobrá zpráva. Mám-li si vybrat, jestli budu věřit tomu, že jsme na tom hůř než zbytek světa, nebo tomu, že někdo vybral nevhodný test (rychlo-test) pro zjišťování výskytu protilátek v populaci, vyberu si to druhé. Ta jihočeská studie už nějaké indicie o tom, jak špatně rychlotesty fungují, přináší. Takže zapomeňme na výsledky celostátní studie promořenosti a pamatujme si spíše to, že skutečná promořenost v málo zasažených lokalitách byla kolem 2 procent, a smrtnost se pohybuje v řádu desetin procent (nejspíš kolem 0,25 procenta, pro věkovou skupinu do 70 let je zřejmě pod jednou desetinou procenta).  

Proč si nevěrohodnosti té celostátní studie nikdo dříve nevšiml?

To není úplně otázka pro mě, ale samozřejmě o tom také přemýšlím. Možná bylo zapotřebí právě výsledků nějaké jiné studie (té jihočeské), abychom se nad výsledky znovu zamysleli. Když ale vidím, kolik velmi chytrých lidí si nevšimlo, že výsledky těch dvou studií jsou diametrálně odlišné, vysvětluji si to tím, že nejsme zvyklí se nad čísly hlouběji zamyslet.

Můžete být konkrétní?

Například v celostátní studii byl pro Prahu na základě populačního výběru, který čítal 288 lidí, stanoven 95procentní interval spolehlivosti pro vážený odhad procent pozitivních testů takto: 0 až 1,035 procenta. To zní velmi odborně, že? Oč méně odborně, ale taky méně věrohodně, by znělo, kdyby někdo řekl: „našli jsme jen jednoho pozitivního“. Ty absolutní počty byly zamlčeny a to byla chyba, protože když transparentně řeknete jeden z 288, každý si velmi rozmyslí, jak vážně či nevážně bude takový výsledek brát.

Očekával bych, že vás jako statistika naopak intervaly nezaskočí.

V tomto případě bych řekl, že ty intervaly zakryly podstatu věci a to jde úplně proti smyslu statistiky, kterým není věci zatemňovat, ale naopak zpřehledňovat. Já osobně bych výše uvedený výsledek prezentoval takto: pozitivní byl 1 z 288, tj. 0,3 procenta, interval spolehlivosti je 0 až 1,035 procenta. Interval nese důležitou informaci o nejistotě odhadu, ale sám jste se před chvílí přesvědčil, jak matoucí může být, když vynecháte informaci o absolutních počtech a hrubém odhadu.

Dá se tedy říci, že statistici pomohli zakrýt nevěrohodnost studie?

Asi by se to tak dalo říct. Připomíná mi to jednu dnes již klasickou publikaci o statistickém zpracování dat z počátku devadesátých let. Její autoři – pánové Hanousek a Charamza – hned v úvodu varují, že statistika je podobně jako nůž nástroj, který můžete použít správně (namazat si chleba), ale také nesprávně (k bodnutí).

Tuším, že vám se takové použití statistiky nelíbilo.

Tušíte správně, ale ta nešikovná prezentace odhadů jen pomohla zakrýt hlavní problém s nevhodně zvoleným testem. Dnes je populární rčení „garbage in – garbage out“. Garbage je anglický výraz pro odpad. Tedy, je-li vstupem vaší analýzy „odpad“, bude odpad i jejím výstupem. Jestliže test najde pouze 1 z 288, tak prostě pomocí statistiky nemůžete dojít k jiným než výše uvedeným výstupům. Já si ale myslím, že ta vstupní data (1 z 288) jsou „garbage“. Podle toho, co vím o rychlotestu Wantai, tuším, že vstupem mělo být minimálně 6 z 288.

Nedivím se, že jako statistik své kolegy hájíte.

Hájím statistiku jakožto disciplínu, ne statistiky. Jak jsem už řekl, v konečném výsledku použití statistiky přispělo k zatemnění skutečnosti, a to mi velmi vadí. A co se týká nekvalitních vstupů, dostal jsem hned na začátku svého působení coby statistik důležitou radu. Když jsem v roce 2007 nastupoval do oddělení biostatistiky Státního zdravotního ústavu, poslali mě popovídat si s inženýrem Rothem. A ten mě naučil, že opravdu dobrý statistik začíná svou práci důkladnou rozpravou s odborníkem, který mu přinese data s žádostí o jejich analýzu. Je třeba se o problému na začátku co možná nejvíc dozvědět – jak a proč byla data sbírána, na jaké otázky vlastně hledáme odpovědi. Kdyby si na začátku studie více povídali statistici a lidi z laborek, kteří mají zkušenosti s testováním, možná to mohlo celé dopadnout daleko líp.

 

SDÍLET