Verificarea faptelor Cochrane cu rezultate absurde

Pe 17 februarie, verificatorul de fapte Iria Carballo-Carbajal, un neuroștiință de pregătire, dar aparent fără nicio educație în epidemiologie, a publicat o „verificare a faptelor” articol pe site-ul web Feedback pentru sănătate. În titlul ei, Carballo-Carbajal face următoarea declarație: „Multe studii arată că măștile faciale reduc răspândirea COVID-19; o revizuire Cochrane nu demonstrează contrariul.”

Acest articol este acum folosit de companiile de social media pentru a suprima toate referințele la studiul Cochrane. Am luat cunoștință de acest lucru pe 10 martie, când am primit o notificare că o postare a unui membru al unui grup de Facebook pe care îl administrez conține „informații false”.

Postarea se referea la un opinie articol despre revizuirea Cochrane în New York Times, publicat pe 10 februarie. Resursa „verificator de fapte independent” la care se face referire a fost articolul menționat mai sus al lui Carballo-Carbajal. Obținerea unei ștampile de verificare poate fi o problemă serioasă pentru un ziar, nu mai puțin pentru o instituție științifică. Prin urmare, nu a fost surprinzător faptul că deja pe 10 martie, editorul Cochrane, Karla Soares-Weiser, a publicat o declarație în care încearcă să minimizeze rezultatele studiului, susținând în mod incorect că studiul vizează doar evaluarea eficacității intervențiilor pentru promova purtarea măștii, în timp ce este clar menționat obiectiv a studiului este de a evalua eficacitatea intervențiilor fizice în sine, nu doar eficacitatea promovării lor.

În aceeași zi New York Times a publicat un bucată susținând în titlu că măștile cu siguranță funcționează, dar în cea mai mare parte dedicate mânjirii autorului studiului Cochrane, Dr. Tom Jefferson. De exemplu, articolul susține că Jefferson a declarat într-un interviu că nu există nicio dovadă că virusul SARS-CoV-2 este transmis în aer, în timp ce ceea ce spune el de fapt este că există multe căi de transmitere și sunt necesare dovezi suplimentare pentru a stabili exact cum are loc transmiterea.

Acest lanț de evenimente este un exemplu șocant de clar al modului în care funcționează industria cenzurii. Este cu atât mai șocant având în vedere cât de grav defectuos este articolul de „verificare a faptelor” al lui Carballo-Carbajal, din punct de vedere faptic, logic și etic.

1. Omul de paie

Carballo-Carbajal începe prin a crea un om de paie, în acest caz o revendicare atribuită doctorului Robert Malone, referindu-se la un recent post pe blogul lui. Sub titlul „Revendicare”, pretinsa afirmație este astfel: „Măștile de față sunt ineficiente în reducerea răspândirii COVID-19 și a altor boli respiratorii, demonstrează o analiză Cochrane”. Această afirmație, citată pe lângă o imagine a doctorului Malone, nu se găsește nicăieri în postarea sa de pe blog.

De parcă acest lucru nu ar fi fost suficient, continuă Carballo-Carbajal, prezentând ceea ce ea numește o „afirmație completă:” Revista „nu a reușit să găsească nici măcar un „efect modest” asupra ratei infecțiilor sau a bolilor:” „CDC a exagerat enorm de mult dovezile care susțin mandatele măștilor. .”

Problema cu aceasta este că, în timp ce Dr. Malone este citat corect în prima parte a paragrafului, a doua este ceva ce pur și simplu nu o spune în postarea sa de blog.

2. Ad hominem

Carballo-Carbajal își asumă apoi asupra ei însăși să o atace pe dr. Malone, susținând că a răspândit „informații greșite despre vaccinurile Covid-19”, făcând referire la un alt articol, publicat tot de Health Feedback. Acum, în ce constă pretinsa dezinformare, conform articolului respectiv? The articol este o „verificare a faptelor” a unui Washington Times articol de opinie al Dr. Malone și Dr. Peter Navarro publicat în 2021, în care aceștia argumentează împotriva politicii de vaccinare universală a guvernului SUA, susținând că se bazează pe patru presupuneri greșite. În primul rând, că vaccinarea universală poate eradica virusul, în al doilea rând că vaccinurile sunt foarte eficiente, în al treilea rând că sunt sigure și în al patrulea rând că imunitatea mediată de vaccin este durabilă.

Carballo-Carbajal cu greu ar fi putut fi mai puțin norocos cu referința ei. Acum este foarte clar că vaccinarea universală nu poate eradica virusul, că imunitatea mediată de vaccin scade foarte repede, chiar până la punctul de a deveni negativă, pe măsură ce infecția. studiu și reinfectare studiu au arătat deja. Faptul că vaccinurile nu sunt „(aproape) perfect eficiente”, citând articolul lui Malone și Navarro, este demult evident; este de fapt motivul pentru care nu pot eradica virusul.

În ceea ce privește al treilea punct, aceasta este ceea ce spun Malone și Navarro în lor articol: „A treia presupunere este că vaccinurile sunt sigure. Cu toate acestea, oamenii de știință, medicii și oficialii din sănătatea publică recunosc acum riscuri care sunt rare, dar deloc triviale. Efectele secundare cunoscute includ afecțiuni cardiace și trombotice grave, întreruperi ale ciclului menstrual, paralizia Bell, sindromul Guillain-Barre și anafilaxia. Cu alte cuvinte, nu sunt în siguranță, au multe cunoscut efecte secundare rare, iar acest lucru devine de fapt mai clar pe măsură ce trece timpul.

Pe scurt, Carballo-Carbajal încearcă să o descalifice pe dr. Malone acuzându-l de „dezinformare” despre altceva decât subiectul articolului ei. Aceasta este tactica clasică ad-hominem aproape universală în piese de „verificare a faptelor”. Eșecul ei este spectaculos, deoarece toate presupusele „informații greșite” sunt deja fapte verificate.

3. Argumentarea

Rezumatul principal al lui Carballo-Carbajal (inclusiv „Detalii” și „Cheie de luat”) este următorul:

Afirmațiile conform cărora măștile de față sunt ineficiente în reducerea răspândirii COVID-19 pe baza unei analize Cochrane nu au ținut cont de limitările evaluării. În timp ce mulți utilizatori au prezentat această revizuire ca fiind dovezile de cea mai înaltă calitate, studiile individuale pe care le-a evaluat au variat foarte mult în ceea ce privește calitatea, designul studiului, populațiile studiate și rezultatele observate, ceea ce i-a împiedicat pe autori să tragă concluzii definitive. 

Studiile controlate randomizate sunt considerate standardul de aur atunci când se evaluează eficacitatea unei intervenții. Cu toate acestea, acest tip de studiu poate varia foarte mult în calitate, în special în intervențiile complexe, cum ar fi măștile de față, afectând fiabilitatea rezultatelor. În acest context, mulți oameni de știință consideră că studiile controlate randomizate ar trebui să fie văzute ca o parte a dovezilor mai ample, inclusiv alte modele de studii. Atunci când se iau în considerare aceste studii, dovezile sugerează că utilizarea pe scară largă a măștilor poate reduce transmiterea comunitară a SARS-CoV-2, mai ales atunci când este combinată cu alte intervenții, cum ar fi spălarea frecventă a mâinilor și distanțarea fizică.

Acum voi împărți această afirmație în părți și apoi voi verifica validitatea fiecărei părți. Trebuie să ținem cont de faptul că sursa citată este postarea de pe blog a Dr. Malone, astfel încât orice referire la „revenții” trebuie să fie la postarea de blog a lui Malone, care este singura sursă citată. Referințele la surse neidentificate, cum ar fi „multe site-uri web și postări pe rețelele sociale” trebuie ignorate din motivul evident că nu sunt furnizate referințe:

1. Declarație: Dr. Malone susține că revizuirea Cochrane arată că măștile sunt ineficiente în reducerea răspândirii Covid-19.

Discuție: După cum se arată mai sus, dr. Malone nu face această afirmație. În schimb el susține studiul „Nu a reușit să găsească nici măcar un „efect modest” asupra ratei infecțiilor sau îmbolnăvirilor.” Există o distincție critică între a afirma că A nu funcționează și a afirma că A nu a fost dovedit că funcționează. Cele două nu au același sens.

Verdict: Declarația lui Carballo-Carbajal este falsă.

2. Declarație: Dr. Malone nu ține cont de limitările revizuirii atunci când face această afirmație.

Discuție: Pentru început, dr. Malone nu face niciodată revendicarea la care se face referire, ci o revendicare diferită. Cu toate acestea, în postarea sa de pe blog, el citează în mod clar declinul de răspundere al autorilor studiului cu privire la incertitudinea cu privire la efectele măștilor de față: „Siguranța scăzută-moderată a dovezilor înseamnă că încrederea noastră în estimarea efectului este limitată și că efectul adevărat poate fi diferit de estimarea observată a efectului.”... „Riscul ridicat de părtinire în studii, variația în măsurarea rezultatului și conformitatea relativ scăzută cu intervențiile în timpul studiilor împiedică tragerea de concluzii ferme și generalizarea constatărilor la actuala pandemie COVID-19.  Prin urmare, este neadevărat că dr. Malone „nu a ținut cont de limitările revizuirii.

Verdict: Declarația lui Carballo-Carbajal este falsă.

3. Declarație: „[C]ele studii individuale […] evaluate [în cadrul revizuirii] au variat foarte mult în ceea ce privește calitatea, designul studiului, populațiile studiate și rezultatele observate, […] [prevenind] autorii să tragă concluzii definitive .”

Discuție: The studiu rezultatele sunt clare: „Există dovezi cu certitudine scăzută din nouă studii (3,507 participanți) că purtarea unei măști poate face o diferență mică sau deloc în rezultatul bolii asemănătoare gripei (ILI) în comparație cu nepurtarea unei măști (raportul de risc (RR) 0.99, 95% interval de încredere (IC) de la 0.82 la 1.18 Există dovezi cu certitudine moderată că purtarea unei măști probabil nu are nicio diferență asupra rezultatului gripei confirmate de laborator în comparație cu nepurtarea unei măști (RR 0.91, IC 95% 0.66 până la 1.26; 6). studii; 3,005 participanți).... Utilizarea unui respirator N95/P2 în comparație cu o mască medicală/chirurgicală probabil că nu face nicio diferență pentru rezultatul obiectiv și mai precis al infecției gripale confirmate de laborator (RR 1.10, IC 95% 0.90 până la 1.34; dovezi cu certitudine moderată; 5 studii; 8,407 participanți).”

Aceste rezultate sunt repetate în concluziile autorilor, adăugând declinarea răspunderii că „Riscul ridicat de părtinire în studii, variația în măsurarea rezultatului și respectarea relativ scăzută a intervențiilor în timpul studiilor împiedică tragerea de concluzii ferme și generalizarea constatărilor la actuala pandemie COVID-19.”

Această declinare a răspunderii este paiul de care se agață Carballo-Carbajal cu toată puterea ei. Dar, după cum a explicat autorul principal al studiului, acest lucru nu schimbă rezultatele studiului, ci doar afirmă că rezultatele pot fi afectate de incertitudinile care decurg din limitările studiilor utilizate. În propriile sale cuvinte:

„Se numește prudență și se numește a fi sincer cu dovezile pe care le-am găsit. Aceasta este cea mai bună dovadă pe care o avem” (vezi referința de mai jos).

Se pare că Carballo-Carbajal nu înțelege semnificația unei declinări de responsabilitate într-o lucrare științifică; în schimb, încearcă să folosească acest lucru pentru a invalida rezultatele studiului și pentru a-și susține afirmația că măștile funcționează, în ciuda dovezilor. O declinare a răspunderii într-un studiu nu invalidează rezultatele acestuia.

Verdict: Declarația lui Carballo-Carbajal este înșelătoare.

4. Afirmație: Studiile controlate randomizate sunt considerate standardul de aur atunci când se evaluează eficacitatea unei intervenții.

Discuție: Referința pe care se bazează această afirmație este blogul Dr. Malone. Deși această afirmație poate fi adevărată, a deduce că ceva este în general „considerat standardul de aur” pe baza opiniei unui om de știință, este o greșeală logică gravă.

Verdict: Declarația lui Carballo-Carbajal este logic invalidă.

5. Declarație: studiile standard de aur variază foarte mult ca calitate.

Discuție: Această afirmație nu este susținută de nicio dovadă. Poate fi adevărat, sau poate nu.

Verdict: Declarația lui Carballo-Carbajal nu este susținută de probe.

6. Declarație: Mulți oameni de știință consideră că studiile controlate randomizate ar trebui să fie văzute ca parte a unei dovezi mai ample.

Discuție: Sursa pentru aceasta este un articol din The Conversație a trei epidemiologi și un expert în asistență medicală primară. Autorii fac cu siguranță această afirmație, dar fără a cita vreo referință. Astfel, afirmația că se bazează pe opinia „mulți epidemiologi” este pur și simplu falsă. Aceasta este o afirmație făcută de trei epidemiologi și având în vedere numărul mare de persoane cu această pregătire, cuvântul „mulți” nu este cu siguranță justificat. Trebuie adăugat că apelul la numere (argumentum ad populum) este o eroare logică.

Verdict: Declarația lui Carballo-Carbajal nu este susținută de probe. Pretinsa sa relevanță se bazează pe argumentum ad populum, o eroare logică.

7. Declarație: Atunci când studiile care nu îndeplinesc cerințele cercetării standard de aur sunt luate în considerare, acestea arată că utilizarea pe scară largă a măștilor poate reduce transmiterea în comunitate.

Discuție: Este, desigur, adevărat că prin scăderea standardului puteți obține rezultate diferite, dar această afirmație este problematică, deoarece Carballo-Carbajal pare să tragă din ea concluzia că, în ciuda rezultatului revizuirii Cochrane, măștile previn de fapt transmiterea. . Acest lucru este evident din acest pasaj, spre sfârșitul articolului: „Un număr tot mai mare de dovezi din studii clinice randomizate și studii observaționale sugerează că purtarea consecventă a măștilor poate reduce în mod eficient răspândirea virusurilor respiratorii precum SARS-CoV-2 atât în ​​mediul medical, cât și în cadrul comunității. … Deocamdată, măștile de față sunt un alt strat de protecție pe lângă vaccinare, spălarea frecventă a mâinilor și distanțarea fizică atunci când circulația virusurilor respiratorii este ridicată.”

Aceasta înseamnă că afirmația lui Carballo-Carbajal nu este doar că studiile de calitate scăzută sugerează ceva; afirmația finală arată că ea susține clar că ceea ce sugerează ei este de fapt adevărat. Această afirmație este și mai clară în titlul ei: „Multe studii arată că măștile de față reduc răspândirea COVID-19.” O diferență subtilă la suprafață, dar una extrem de importantă. Înseamnă că este justificat să reformulăm afirmația inițială astfel: „Când studiile care nu îndeplinesc cerințele cercetării standard de aur sunt luate în considerare, acestea arată că utilizarea pe scară largă a măștilor poate reduce transmiterea în comunitate. și aceasta este o concluzie valabilă. "

Acest lucru ne aduce la întrebarea de ce studiile de calitate scăzută citate de Carballo-Carbajal nu au fost incluse în revizuirea Cochrane. Din fericire avem o transcriere a unui interviu detaliat între autorul principal al studiului, Dr. Tom Jefferson (JF) și Dr. Carl Heneghan (CH), unde acest lucru este discutat în detaliu:

CH. Acum uite, o să te iau la sarcină aici. În concluziile autorului, oamenii vor citi această recenzie și vor începe să se uite la asta și să spună, uite, avem dovezi de înaltă calitate, avem studii controlate randomizate și, în special, la nivelul măștii, vor spune , uite, arăți în comunitate această lipsă de efect, dar începi cu riscul mare de părtinire în studiu, variația în măsurarea rezultatului și aderarea relativ scăzută la intervenție în timpul studiilor, ceea ce ne împiedică să tragem concluzii ferme. . Acum insist asupra acestui punct pentru că răspunsul evident atunci este să merg la toate studiile observaționale în care oamenii au făcut recenzii sistematice și cu siguranță au tras concluzii ferme despre ce să facă. Deci, ați putea detalia ce înseamnă asta în contextul a 78 de studii – asta reprezintă o mulțime de dovezi ale studiilor de control randomizate – puteți detalia ce înseamnă asta?

TJ. Se numește prudență și se numește a fi sincer cu dovezile pe care le-am găsit. Aceasta este cea mai bună dovadă pe care o avem, dar spre deosebire de unii dintre ideologii care susțin ideea că studiile nerandomizate, studiile observaționale ar putea da răspunsuri, unii dintre ei vin cu răspunsuri cuprinzătoare, afirmații cuprinzătoare, certitudini, care pur și simplu nu aparțin ştiinţă. Știința nu este despre certitudine, știința este despre incertitudine, este despre încercarea de a trece pe ordinea de zi și de a acumula cunoștințe. Utilizarea unor studii nerandomizate în evaluarea virusurilor respiratorii a intervențiilor cu virusuri respiratorii înseamnă că oamenii nu înțeleg, cei care au făcut acele studii nu înțeleg jocul mai multor factori. De exemplu, sezonalitatea, de exemplu trecerile capricioase ale acestor agenți, ei sunt aici într-o zi și au plecat în următoarea. Dacă te uiți la comportamentul SARS-CoV-2 în supravegherea Regatului Unit în ultimele 12 luni, este în sus și în jos, și este complet independent de orice intervenție și, de asemenea, este foarte rapid în sus și foarte rapid în jos. Studiile observaționale nu pot explica acest lucru. De asemenea, o proporție foarte mare din studiile observaționale sunt retrospective și, prin urmare, sunt supuse unei părtiniri nemiloase de reamintire; cercetătorii trag concluzii din datele pe care le-au obținut din adresarea unor întrebări precum „Îți amintești acum o lună de câte ori ai purtat o mască” sau „Ce ai făcut pe asta sau ce ai făcut zilele trecute” fără a ține un jurnal. Aceasta pur și simplu nu este știință. Deducerea metrului, distanțarea, când studiile originale nu făceau așa ceva. Deci aceasta este doar o listă nesfârșită de părtiniri care nu pot fi luate în considerare de studiile observaționale. Și singura modalitate prin care trebuie să răspundem la întrebări este să desfășurăm studii de control randomizate mari, prospective, pentru a răspunde la o anumită întrebare într-o anumită populație.”

După cum explică Jefferson aici, limitările studiilor observaționale fac practic imposibil să tragem din ele concluzia pe care Carballo-Carbajal o face. Carballo-Carbajal citează o serie de studii observaționale pentru a susține afirmația ei. Nu le voi trece pe toate aici, dar examinarea unor exemple ar trebui să fie suficientă pentru a oferi dovezi pentru unele dintre problemele pe care le discută Jefferson, precum și pentru a respinge unele dintre concluziile nefondate ale lui Carballo-Carbajal.

De exemplu, unul dintre studiile citate, Wang și colab, concluzionează că utilizarea măștii de față de către cazul primar și contactele de familie înainte ca cazul primar să dezvolte simptome a fost cu 79% eficientă în reducerea transmiterii. Acesta este un studiu observațional retrospectiv în care dovezile pentru utilizarea măștii se bazează exclusiv pe auto-raportarea ulterioară a participantului. 

Încă unul, Mello şi colab. arată cum particulele virale se acumulează în măști, dar Carballo-Carbajal consideră acest lucru ca o dovadă că „[a] Datele disponibile indică faptul că purtarea măștii este mai eficientă atunci când este combinată cu alte măsuri de control, cum ar fi distanțarea fizică și spălarea frecventă a mâinilor.”

Pentru a rezuma, Carballo-Carbajal susține că, din moment ce studiile de înaltă calitate nu dovedesc eficacitatea măștilor împotriva transmiterii, atunci studiile observaționale nesigure, care sunt excluse din meta-evaluarea „standard de aur”, tocmai din cauza nesiguranței lor, demonstrează ceea ce studiile de calitate nu reușesc să dovedească.

Verdict: Afirmația (reformulată) a lui Carballo-Carbajal este falsă. Fără a reformula, este irelevant.

8. Afirmație: Efectul utilizării măștii este mai mare atunci când este combinat cu alte intervenții.

Discuție: Această afirmație este problematică. Din dovezile de înaltă calitate furnizate de revizuirea Cochrane reiese deja clar că afirmația că măștile reduc transmiterea nu este dovedită. Aceasta înseamnă că pretinderea că acestea se adaugă la protecția oferită de alte intervenții trebuie să fie incorectă.

Verdict: Declarația lui Carballo-Carbajal este falsă.

Carballo-Carbajal începe prin a atribui în mod fals doctorului Robert Malone două afirmații pe care nu le-a făcut niciodată. Acele afirmații false devin baza „verificarii faptelor” ei.

Apoi îl acuză în mod greșit pe Dr. Malone că a făcut declarații false cu privire la o altă chestiune, un argument ad hominem irelevant pentru subiectul articolului.

Din cele opt afirmații făcute de Carballo-Carbajal în rezumatul său, susținute de textul său principal, patru sunt în mod evident false, una este invalidă din punct de vedere logic, una este înșelătoare și două nu sunt susținute de nicio dovadă, dintre care una se bazează pe si o eroare logica.

Având în vedere modul în care acest articol grav defectuos este acum aparent folosit pentru a suprima diseminarea unei lucrări științifice importante, pentru a-l presa pe editorul-șef Cochrane să facă afirmații false cu privire la obiectivul lucrării și pentru a minimiza rezultatele acesteia și pentru a cenzura o revizuire a Conform constatărilor unui important ziar de masă, există în mod clar o nevoie urgentă de a acționa cu fermitate împotriva așa-numitei industrie de „verificare a faptelor”. Nivelul la care această cenzură a escaladat este o amenințare clară și actuală la adresa cercetării și dezvoltării științifice.