Plauzibilitatea, dar nu știința a dominat discuțiile publice despre pandemia de Covid

„Atacurile asupra mea, sincer, sunt atacuri asupra mea ştiinţă.” ~ Anthony Fauci, 9 iunie 2021 (MSNBC).

Absurd.

În primul rând, dr. Fauci nu a raportat cu exactitate întrebările științifice de-a lungul pandemiei de Covid-19. Pe de altă parte, dialectica esențială a științei este argumentarea, chestionarea, dezbaterea. Fără dezbateri, știința nu este altceva decât propagandă. 

Cu toate acestea, cineva se poate întreba, cum a fost posibil să se prezinte material tehnic publicului american, dacă nu publicului internațional, timp de aproape trei ani și să se ajungă la o înțelegere generală că problemele erau „științifice”, când de fapt nu erau ? Afirm că ceea ce a fost furnizat acestor public prin mass-media tradițională de-a lungul pandemiei a fost în mare parte plauzibilitatea, dar nu știința și că atât publicul american și cel internațional, cât și majoritatea medicilor și oamenii de știință înșiși, nu pot spune. diferența. Cu toate acestea, diferența este fundamentală și profundă.

Știința începe cu teorii, ipoteze, care au ramificații empirice examinabile. Cu toate acestea, acele teorii nu sunt știință; ei motiva ştiinţă. Știința apare atunci când indivizii fac experimente sau fac observații care se referă la implicațiile sau ramificațiile teoriilor. Aceste descoperiri tind să susțină sau să infirme teoriile, care sunt apoi modificate sau actualizate pentru a se adapta la noile observații sau eliminate dacă dovezi convingătoare arată că nu reușesc să descrie natura. Ciclul se repetă apoi. Ştiinţă este efectuarea de lucrări empirice sau de observație pentru a obține dovezi care confirmă sau infirmă teoriile.

În general, teoriile tind să fie afirmații plauzibile care descriu ceva specific despre modul în care funcționează natura. Plauzibilitatea este în ochii privitorului, deoarece ceea ce este plauzibil pentru un expert cu cunoștințe tehnice poate să nu fie plauzibil pentru un neprofesionist. De exemplu, poate prea simplificat, heliocentrismul nu era plauzibil înainte ca Nicolaus Copernic să-și publice teoria în 1543 și nu a fost deosebit de plauzibil ulterior pentru o perioadă de timp, până când Johannes Kepler a înțeles că măsurătorile astronomice făcute de Tycho Brahe sugerau rafinarea orbitelor circulare copernicane la elipse. , precum și că regulile matematice păreau să guverneze mișcările planetare de-a lungul acelor elipse – totuși motivele acestor reguli matematice, chiar dacă erau descrieri bune ale mișcărilor, nu au fost plauzibile până când Isaac Newton în 1687 a postulat existența unei gravitații universale. forța dintre mase, împreună cu o lege de distanță proporțională cu masa, inversă pătrată care guvernează mărimea atracției gravitaționale și a observat numeroase fenomene cantitative în concordanță cu și susținând această teorie.

Pentru noi astăzi, cu greu ne gândim la plauzibilitatea orbitelor eliptice heliocentrice ale sistemului solar, deoarece datele observaționale care se întind pe o perioadă de 335 de ani au fost foarte în concordanță cu această teorie. Dar am putea refuza să credem că este plauzibil că lumina călătorește simultan ca particule și unde și că efectuarea de măsurători asupra luminii, ceea ce facem ca observatori, determină dacă vedem comportamentul particulelor sau comportamentul undelor și putem alege să observăm fie particule. sau valuri, dar nu ambele în același timp. Natura nu este neapărat plauzibilă.

Dar totuși, teoriile plauzibile sunt ușor de crezut și aceasta este problema. Asta am fost hrăniți de aproape trei ani de pandemie de Covid-19. De fapt, totuși, am fost hrăniți cu plauzibilitate în loc de știință pentru mult mai mult timp.

Cargo-Cult Science

Șarlatanii care pretindeau că îndoaie lingurile cu mintea sau pretindeau că studiază „percepția extrasenzorială” neconfirmabilă și ireplicabilă au fost foarte populare în anii 1960 și 1970. Credințele ciudate în ceea ce ar putea stabili „știința” au atins un astfel de nivel încât laureatul Nobel pentru fizică Richard Feynman a rostit discursul de începere al Caltech din 1974 (Feynman, 1974), deplângând astfel de credințe iraționale. Remarcile sale nu s-au adresat publicului larg, ci studenților absolvenți de la Caltech, mulți dintre ei destinați să devină oameni de știință academicieni.

În discursul său, Feynman a descris modul în care locuitorii Mării de Sud, după cel de-al Doilea Război Mondial, i-au imitat pe soldații americani staționați acolo în timpul războiului, care au ghidat aterizările avioanelor cu provizii. Locuitorii insulei, folosind materiale locale, au reprodus forma și comportamentele a ceea ce fuseseră martori despre GI-urile americane, dar nu au venit provizii.

În contextul nostru, ideea lui Feynman ar fi că, până când o teorie nu are dovezi empirice obiective, ea rămâne doar o teorie, indiferent cât de plauzibilă ar părea pentru toți cei care o întrețin. Insulenilor le lipsea faptul crucial că nu înțelegeau cum funcționa sistemul de aprovizionare, în ciuda cât de plauzibilă era pentru ei reproducerea acestuia. Că Feynman s-a simțit obligat să avertizeze studenții absolvenți de Caltech despre diferența dintre plauzibilitate și știință, sugerând că această diferență nu a fost învățată în mod adecvat în educația lor de la Institut. Nu a fost predat în mod explicit când acest autor era licență acolo în acei ani, dar cumva, era de așteptat să-l fi învățat „prin osmoză”.

Medicina bazată pe dovezi

Poate că nu există o falsă de plauzibilitate mai mare astăzi decât „Medicina bazată pe dovezi” (EBM). Acest termen a fost inventat de Gordon Guyatt în 1990, după ce prima sa încercare, „Medicina științifică”, nu a reușit să câștige acceptarea în anul precedent. În calitate de epidemiolog universitar în 1991, am fost insultat de orgoliul și ignoranța în folosirea acestui termen, EBM, de parcă dovezile medicale ar fi oarecum „neștiințifice” până când s-au proclamat o nouă disciplină cu noi reguli pentru dovezi. Nu am fost singur în critica la adresa EBM (Sackett et al., 1996), deși o mare parte din acest răspuns negativ pare să se fi bazat mai degrabă pe pierderea controlului narativ decât pe o revizuire obiectivă a ceea ce cercetarea medicală a realizat de fapt fără „EBM”.

Cunoștințele medicale occidentale s-au acumulat de mii de ani. În Biblia ebraică (Exodul 21:19), „Când două părți se ceartă și una o lovește pe cealaltă... victima va fi vindecată complet” [traducerea mea], ceea ce implică faptul că au existat persoane care aveau cunoștințe medicale și că un anumit grad de eficacitate inerente. Hipocrate, în secolele al V-lea-IV î.Hr., a sugerat că dezvoltarea bolii ar putea să nu fie întâmplătoare, ci să fie legată de expunerile din mediu sau de anumite comportamente. În acea epocă, existau o mulțime de ceea ce am considera astăzi contraexemple pentru buna practică medicală. Cu toate acestea, a fost un început să ne gândim la dovezi raționale pentru cunoștințele medicale.

James Lind (1716-1794) a pledat pentru protecția scorbutului prin consumul de citrice. Acest tratament era cunoscut anticilor și, în special, fusese recomandat anterior de chirurgul militar englez John Woodall (1570-1643) — dar Woodall a fost ignorat. Lind primește meritul pentru că în 1747 a efectuat un mic, dar de succes, un studiu controlat, nerandomizat, cu portocale și lămâi în comparație cu alte substanțe printre 12 pacienți cu scorbut.

În anii 1800, utilizarea de către Edward Jenner a variolei bovine ca vaccin împotriva variolei a fost elaborată prin cultivarea la alte animale și pusă în uz general în focare, astfel încât până la momentul cauzei Curții Supreme din 1905 de Jacobson c. Massachusetts, Chief Justice ar putea afirma că vaccinarea împotriva variolei a fost convenită de către autoritățile medicale să fie o procedură general acceptată. Reviste medicale au început publicații regulate și în anii 1800. De exemplu, cel Lanţetă a început să se publice în 1824. Cunoștințele medicale acrescente au început să fie împărtășite și dezbătute mai general și pe scară largă.

Înainte rapid până în anii 1900. În 1914-15, Joseph Goldberger (1915) a efectuat un studiu de intervenție alimentară nerandomizat, care a concluzionat că pelagra a fost cauzată de lipsa niacinei alimentare. În anii 1920 au fost dezvoltate vaccinuri pentru difterie, pertussis, tuberculoză și tetanos. S-a extras insulina. Au fost dezvoltate vitamine, inclusiv vitamina D pentru prevenirea rahitismului. În anii 1930, antibioticele au început să fie create și utilizate eficient. În anii 1940, a fost dezvoltat acetaminofenul, la fel ca și chimioterapiile, iar estrogenul conjugat a început să fie folosit pentru a trata bufeurile de la menopauză. Noile medicamente, vaccinuri și dispozitive medicale eficiente au crescut exponențial ca număr în anii 1950 și 1960. Toate fără EBM.

În 1996, răspunzând criticilor la adresa EBM, David Sackett et al. (1996) a încercat să explice principiile sale generale. Sackett a afirmat că EBM a rezultat din „Medicii buni folosesc atât expertiza clinică individuală, cât și cele mai bune dovezi externe disponibile”. Aceasta este o implicație de plauzibilitate anodină, dar ambele componente sunt practic greșite sau cel puțin înșelătoare. Formulând această definiție în termeni a ceea ce ar trebui să facă medicii individuali, Sackett a sugerat că practicienii individuali ar trebui să-și folosească propriile observații și experiență clinică. Cu toate acestea, reprezentativitatea generală a experienței clinice a unui individ este probabil să fie slabă. La fel ca și alte forme de dovezi, dovezile clinice trebuie colectate, revizuite și analizate în mod sistematic, pentru a forma o sinteză a raționamentului clinic, care ar furniza apoi componenta clinică a dovezilor medicale științifice.

Un eșec mai mare al raționamentului probatoriu este afirmația lui Sackett conform căreia ar trebui să se folosească „cele mai bune dovezi externe disponibile” decât toate dovezi externe valide. Judecățile cu privire la ceea ce constituie „cea mai bună” dovezi sunt extrem de subiective și nu produc neapărat rezultate generale care sunt cantitativ cele mai precise și mai precise (Hartling et al., 2013; Bae, 2016). În formularea „aspectelor” acum canonice ale raționamentului cauzal evidențial, Sir Austin Bradford Hill (1965) nu a inclus un aspect al ceea ce ar constitui „cea mai bună” dovadă și nici nu a sugerat că studiile ar trebui măsurate sau clasificate pentru „calitatea studiului”. ” nici măcar că unele tipuri de modele de studiu ar putea fi intrinsec mai bune decât altele. În Manual de referință pentru dovezi științifice, Margaret Berger (2011) afirmă în mod explicit, „... multe dintre cele mai respectate și prestigioase organisme științifice (cum ar fi Agenția Internațională pentru Cercetare a Cancerului (IARC), Institutul de Medicină, Consiliul Național de Cercetare și Institutul Național pentru Științe ale Sănătății Mediului) să ia în considerare toate dovezile științifice relevante disponibile, luate în ansamblu, pentru a determina care concluzie sau ipoteză cu privire la o afirmație cauzală este cel mai bine susținută de corpul de dovezi.” Aceasta este exact abordarea lui Hill; aspectele sale ale raționamentului cauzal au fost utilizate pe scară largă de mai bine de 50 de ani pentru a raționa de la observație la cauzalitate, atât în ​​știință, cât și în drept. Că EBM se bazează pe „cele mai bune” dovezi de alegere subiectivă este o metodă plauzibilă, dar nu științifică.

De-a lungul timpului, abordarea EBM de a lua în considerare în mod selectiv „cele mai bune” dovezi pare să fi fost „abătută”, mai întâi prin plasarea studiilor randomizate controlate (RCT) în vârful unei piramide a tuturor modelelor de studiu ca proiectul presupus „standard de aur”, și mai târziu, ca singurul tip de studiu afirmat în care se poate avea încredere pentru a obține estimări imparțiale ale efectelor. Toate celelalte forme de dovezi empirice sunt „potențial părtinitoare” și, prin urmare, nesigure. Aceasta este o pretenție plauzibilă, așa cum voi arăta mai jos.

Dar este atât de plauzibil încât este predat în mod obișnuit în învățământul medical modern, astfel încât majoritatea medicilor iau în considerare doar dovezile RCT și resping toate celelalte forme de dovezi empirice. Este atât de plauzibil că acest autor a avut o luptă verbală în aer cu un comentator de televiziune needucat din punct de vedere medical, care nu a oferit nicio altă dovadă decât plauzibilitatea (Whelan, 2020): Nu este „doar evident” că, dacă randomizați subiecții, orice diferențele trebuie să fie cauzate de tratament și nu se poate avea încredere în alte tipuri de studii? Evident, da; adevărat, nu.

Cine beneficiază de o concentrare unică, obsesivă, pe dovezile RCT? RCT-urile sunt foarte costisitoare de efectuat dacă se dorește să fie valide din punct de vedere epidemiologic și adecvate statistic. Acestea pot costa milioane sau zeci de milioane de dolari, ceea ce limitează atractivitatea lor în mare măsură la companiile care promovează produse medicale care ar putea aduce profituri substanțial mai mari decât acele costuri. Din punct de vedere istoric, controlul farmaceutic și manipularea dovezilor RCT în procesul de reglementare au oferit un impuls enorm în capacitatea de a împinge produsele prin aprobarea de reglementare pe piață, iar motivația de a face acest lucru continuă și astăzi.

Această problemă a fost recunoscută de Congres, care a adoptat Legea de Modernizare a Administrației pentru Alimente și Medicamente din 1997 (FDAMA), care a stabilit în 2000 ClinicalTrials.gov site-ul web pentru înregistrarea tuturor studiilor clinice efectuate în cadrul aplicațiilor investigaționale de medicamente noi pentru a examina eficacitatea medicamentelor experimentale pentru pacienții cu afecțiuni grave sau care pun viața în pericol (National Library of Medicine, 2021). Din motive conexe care implică conflicte de interese în studiile clinice, site-ul ProPublica „Dollars for Docs” (Tigas et al., 2019) care acoperă plățile către medici ale companiilor farmaceutice în anii 2009-2018 și site-ul OpenPayments (Centre pentru servicii Medicare și Medicaid). , 2022) care acoperă plățile din 2013 până în 2021 au fost stabilite și făcute în căutarea publicului. Aceste sisteme informatice au fost create pentru că „plauzibilitatea” conform căreia randomizarea face automat rezultatele studiului exacte și imparțiale a fost recunoscută ca fiind insuficientă pentru a face față chinelor de cercetare și motivelor neadecvate ale investigatorilor conflictului de interese.

În timp ce aceste încercări de a reforma sau limita corupția în cercetarea medicală au ajutat, denaturarea dovezilor sub pretextul EBM persistă. Unul dintre cele mai rele exemple a fost o lucrare publicată în New England Journal of Medicine 13 februarie 2020, la începutul pandemiei de Covid-19, intitulată „Magia randomizării versus mitul dovezilor din lumea reală”, de către patru cunoscuți statisticieni medicali britanici care au legături substanțiale cu companiile farmaceutice (Collins et al. ., 2020). Probabil că a fost scris în ianuarie 2020, înainte ca majoritatea oamenilor să știe că pandemia urmează. Această lucrare susține că randomizarea creează în mod automat studii puternice și că toate studiile nerandomizate sunt un gunoi probatoriu. La momentul citirii lui, am simțit că este o șapă împotriva întregii mele discipline, epidemiologia. M-a jignit imediat, dar mai târziu am înțeles gravele conflicte de interese ale autorilor. Reprezentarea faptului că doar dovezile RCT extrem de inaccesibile sunt adecvate pentru aprobările de reglementare oferă companiilor farmaceutice un instrument pentru a-și proteja produsele brevetate scumpe și foarte profitabile împotriva concurenței prin medicamente generice aprobate off-label eficiente și ieftine ai căror producători nu și-ar putea permite la scară largă. RCT-uri.

randomizare

Deci, care este defectul randomizării la care am făcut aluzie, care necesită o examinare mai profundă pentru a înțelege validitatea relativă a studiilor RCT față de alte modele de studii? Problema constă în înțelegerea intricate. Confuzia este o circumstanță epidemiologică în care o relație între o expunere și un rezultat nu se datorează expunerii, ci unui al treilea factor (factorul de confuzie), cel puțin parțial. Elementul de confuzie este într-un fel asociat cu expunerea, dar nu este un rezultat al expunerii.

În astfel de cazuri, relația aparentă expunere-rezultat se datorează într-adevăr relației factor de confuzie-rezultat. De exemplu, un studiu despre consumul de alcool și riscul de cancer ar putea fi confundat de antecedentele de fumat care se corelează cu consumul de alcool (și nu este cauzat de consumul de alcool), dar determină într-adevăr un risc crescut de cancer. O simplă analiză a riscului de alcool și cancer, ignorând fumatul, ar arăta o relație. Cu toate acestea, odată ce efectul fumatului a fost controlat sau ajustat, relația alcoolului cu riscul de cancer ar scădea sau ar dispărea.

Scopul randomizării, de a echilibra totul între grupurile de tratament și de control, este de a elimina potențialele confuzii. Există vreo altă modalitate de a elimina potențialele confuzii? Da: măsurați factorii în cauză și ajustați sau controlați-i în analize statistice. Este astfel evident că randomizarea are exact un beneficiu posibil care nu este disponibil pentru studiile nerandomizate: controlul unfactori de confuzie măsurați. Dacă relațiile biologice, medicale sau epidemiologice sunt incomplet înțelese cu privire la un rezultat de interes, atunci nu toți factorii relevanți pot fi măsurați, iar unii dintre acești factori nemăsurați ar putea încă să confunde o asociere de interes.

Astfel, randomizarea, teoretic, elimină potențiala confuzie din cauza factorilor nemăsurați ca o explicație pentru o asociere observată. Acesta este argumentul plauzibilității. Întrebarea se referă însă la cât de bine funcționează randomizarea în realitate și cine trebuie să fie echilibrat de randomizare. Studiile clinice aplică randomizarea tuturor subiecților participanți pentru a determina repartizarea grupului de tratament. Dacă în evenimentul rezultat al studiului, indivizii cuprind un subset al studiului total, atunci acești oameni trebuie să fie echilibrați și în potențialii factori de confuzie. De exemplu, dacă toate decesele din grupul de tratament sunt bărbați și toate din grupul placebo sunt femei, atunci sexul probabil confundă efectul tratamentului. 

Problema este că, în esență, studiile RCT nu demonstrează niciodată în mod explicit randomizarea adecvată a subiecților lor cu rezultate, iar ceea ce pretind să arate despre randomizarea pentru grupurile lor totale de tratament este aproape întotdeauna irelevant din punct de vedere științific. Această problemă apare probabil deoarece persoanele care efectuează studii RCT, precum și recenzorii și editorii de reviste care iau în considerare lucrările lor, nu înțeleg suficient principiile epidemiologice.

În majoritatea publicațiilor RCT, investigatorii furnizează un tabel descriptiv inițial superficial al grupurilor de tratament și placebo (sub formă de coloane), față de diverși factori măsurați (sub formă de rânduri). Adică, distribuțiile procentuale ale subiecților tratați și placebo în funcție de sex, grup de vârstă, rasă/etnie etc. A treia coloană din aceste tabele este de obicei statistica valorii p pentru diferența de frecvență dintre subiecții tratați și placebo pentru fiecare factor măsurat. Vorbind în mod vag, această statistică estimează probabilitatea ca o diferență de frecvență între subiecții tratați și placebo atât de mare să fi apărut întâmplător. Având în vedere că subiecților li s-au repartizat grupurile de tratament în întregime întâmplător, examinarea statistică a procesului de randomizare este tautologică și irelevantă. Faptul că în unele RCT, unii factori pot părea a fi mai extremi decât ar permite șansa în cazul randomizării, se datorează faptului că mai mulți factori de jos pe rânduri au fost examinați pentru diferențele de distribuție și, în astfel de circumstanțe, trebuie invocat controlul statistic al comparațiilor multiple.

Ceea ce este necesar în a treia coloană a tabelului descriptiv RCT nu este valoarea p, ci o măsură a mărimii confuziei unui anumit factor de rând. Confuzia nu se măsoară după cum s-a produs, ci după cât de rău este. Din experiența mea ca epidemiolog de carieră, cea mai bună măsură unică a confuziei este modificarea procentuală a mărimii relației tratament-rezultat cu vs fără ajustare pentru factor de confuzie. Deci, de exemplu, dacă prin ajustare pentru sex, tratamentul reduce mortalitatea cu 25% (risc relativ = 0.75), dar fără ajustare o reduce cu 50%, atunci amploarea confuziei în funcție de gen ar fi (0.75 – 0.50)/0.75 = 33 %. Epidemiologii consideră, în general, o modificare mai mare de 10% cu o astfel de ajustare pentru a implica faptul că confuzia este prezentă și trebuie controlată.

După cum am observat, majoritatea publicațiilor RCT nu oferă amploarea estimărilor confuze pentru grupurile lor generale de tratament și niciodată pentru subiecții lor cu rezultate. Deci, nu este posibil să spunem că subiecții rezultat au fost randomizati în mod adecvat pentru toți factorii menționați în tabelul descriptiv al lucrării. Dar potențialul defect fatal al studiilor RCT, ceea ce le poate face să nu fie mai bune decât studiile nerandomizate și, în unele cazuri, mai rele, este că randomizarea funcționează numai atunci când un număr mare de subiecți au fost randomizați (Deaton și Cartwright, 2018), iar acest lucru se aplică în special pentru subiecții rezultat, nu doar la studiul total. 

Luați în considerare să aruncați o monedă de zece ori. S-ar putea să apară cel puțin șapte capete și trei cozi, sau invers, ușor din întâmplare (34%). Cu toate acestea, magnitudinea acestei diferențe, 7/3 = 2.33, este potențial destul de mare în ceea ce privește posibila confuzie. Pe de altă parte, apariția aceleiași magnitudini de 2.33 de la 70 sau mai multe capete din 100 de flip-uri ar fi rară, p=.000078. Pentru ca randomizarea să funcționeze, trebuie să existe un număr considerabil de evenimente rezultate atât în ​​grupul de tratament, cât și în grupul placebo, să zicem 50 sau mai mult în fiecare grup. Acesta este potențialul defect major nerostit al studiilor RCT care face ca argumentul lor de plauzibilitate să fie inutil, deoarece studiile RCT sunt, în general, concepute pentru a avea suficientă putere statistică pentru a găsi semnificația statistică a rezultatului lor primar dacă tratamentul funcționează conform previziunilor, dar nu este conceput pentru a avea un rezultat suficient. subiecții să reducă potențialul de confuzie la mai puțin de 10% spun.

Un exemplu important al acestei probleme poate fi văzut în primul rezultat RCT de eficacitate publicat pentru vaccinul Pfizer BNT162b2 mRNA Covid-19 (Polack et al., 2020). Acest studiu a fost considerat suficient de mare (43,548 de participanți randomizați) și suficient de important (Covid-19) încât, datorită plauzibilității sale presupuse RCT, a asigurat publicarea în „prestigioasa” New England Journal of Medicine. Rezultatul principal al studiului a fost apariția Covid-19 cu debut la cel puțin șapte zile după a doua doză de vaccin sau injecție placebo. Cu toate acestea, în timp ce a observat 162 de cazuri printre subiecții placebo, suficient pentru o randomizare bună, a găsit doar opt cazuri printre subiecții vaccinați, nicăieri suficient pentru ca randomizarea să fi făcut ceva pentru a controla confuzia. 

Din experiența epidemiologică generală, un risc relativ estimat atât de mare (aproximativ 162/8 = 20) ar fi puțin probabil să se datoreze în totalitate confuziei, dar acuratețea riscului relativ sau eficacitatea acestuia implicită ((20 – 1)/20 = 95 %) este în dubiu. Faptul că acest vaccin utilizat nu este atât de eficient în reducerea riscului de infecție nu este surprinzător, având în vedere slăbiciunea rezultatului studiului din cauza dimensiunii inadecvate a eșantionului pentru a se asigura că randomizarea a funcționat pentru subiecții cu rezultat atât din grupul de tratament, cât și din grupul placebo.

Această „cufundare în buruienile” epidemiologiei luminează de ce un studiu RCT cu mai puțin de, să zicem, 50 de subiecți cu rezultate în fiecare grup de tratament al studiului are prea puțin sau deloc pretenția de a evita posibila confuzie prin factori nemăsurați. Dar arată și de ce poate fi un astfel de proces mai rău decât un studiu controlat nerandomizat cu aceeași expunere și rezultat. În studiile nerandomizate, anchetatorii știu că mulți factori pot, ca posibili factori de confuzie, să influențeze apariția rezultatului, așa că măsoară tot ceea ce consideră că este relevant, pentru a ajusta și controla apoi acești factori în analizele statistice. 

Cu toate acestea, în RCT, anchetatorii cred în mod obișnuit că randomizarea a avut succes și, astfel, efectuează analize statistice neajustate, oferind rezultate potențial confuze. Când vedeți RCT prezentate ca studii „mari” din cauza zecilor de mii de participanți, priviți dincolo de asta, la numărul de evenimente de rezultat primar din brațele de tratament ale studiului. Studiile cu un număr mic de evenimente de rezultat primar sunt inutile și nu ar trebui publicate, cu atât mai puțin să se bazeze pe considerente de sănătate publică sau de politică.

Dovada empirica

După ce ați citit toate cele de mai sus, ați putea crede că aceste argumente privind studiile randomizate versus studiile nerandomizate sunt foarte plauzibile, dar cum rămâne cu dovezile empirice care să le susțină? Pentru aceasta, a fost efectuată o analiză foarte amănunțită de către Cochrane Library Database of Systematic Reviews (Anglemyer și colab., 2014). Acest studiu a căutat în mod cuprinzător în șapte baze de date de publicații electronice pentru perioada din ianuarie 1990 până în decembrie 2013, pentru a identifica toate lucrările de revizuire sistematică care au comparat „estimările cantitative ale mărimii efectului care măsoară eficacitatea sau eficacitatea intervențiilor testate în studii [randomizate] cu cele testate în studii observaționale. ” De fapt, o meta-analiză a meta-analizelor, analiza a inclus multe mii de comparații de studii individuale, rezumate în 14 lucrări de revizuire. 

Concluzia: o diferență medie de doar 8% (limite de încredere de 95%, -4% până la 22%, nesemnificativă statistic) între studiile clinice randomizate și rezultatele lor corespunzătoare ale studiilor nerandomizate. În rezumat, acest corp de cunoștințe – atât empiric, cât și cel bazat pe principii epidemiologice – demonstrează că, contra așa-numitei „plauzibilitate”, studiile randomizate nu au o clasificare automată ca standard de aur al dovezilor medicale sau ca singura formă acceptabilă de dovezi medicale și că fiecare studiu trebuie examinat în mod critic și obiectiv pentru propriile puncte tari și puncte slabe și pentru cât de mult contează acele puncte forte și slabe pentru concluziile trase.

Alte plauzibilitati

În timpul pandemiei de Covid-19, numeroase alte afirmații de dovezi științifice au fost folosite pentru a justifica politicile de sănătate publică, inclusiv pentru chiar declararea urgenței pandemice în sine. La baza multora dintre acestea s-a aflat principiul plauzibil, dar greșit, conform căruia scopul managementului pandemiei de sănătate publică este de a minimiza numărul de persoane infectate cu virusul SARS-CoV-2. 

Această politică poate părea evidentă, dar este greșită ca politică generală. Ceea ce trebuie redus la minimum sunt consecințele dăunătoare ale pandemiei. Dacă infecția duce la simptome neplăcute sau enervante pentru majoritatea oamenilor, dar fără probleme grave sau pe termen lung - așa cum este în general cazul cu SARS-CoV-2, în special în era Omicron - atunci nu ar exista niciun beneficiu tangibil al sănătății publice generale. intervenții și limitări care încalcă drepturile naturale sau economice ale unor astfel de persoane și provoacă prejudicii în sine. 

Societățile occidentale, inclusiv SUA, iau valuri anuale de infecții respiratorii în pas fără situații de urgență pandemice declarate, chiar dacă produc milioane de persoane infectate în fiecare an, deoarece consecințele infecției sunt considerate în general minore din punct de vedere medical, permițând chiar și câteva zeci de mii de decese. anual. 

S-a stabilit în primele luni ale pandemiei de Covid-19 că riscul de mortalitate prin infecție a variat de peste 1,000 de ori de-a lungul intervalului de vârstă și că persoanele fără afecțiuni cronice de sănătate, cum ar fi diabet, obezitate, boli de inimă, boli de rinichi, istoric de cancer etc., au un risc neglijabil de mortalitate și un risc foarte scăzut de spitalizare. La acel moment, era simplu să se definească categorii de indivizi cu risc ridicat care, în medie, ar beneficia de intervenții de sănătate publică, comparativ cu persoanele cu risc scăzut care ar rezista cu succes infecției fără probleme apreciabile sau pe termen lung. Astfel, o schemă de gestionare a pandemiei obsesivă, universală, care nu distingea categoriile de risc a fost nerezonabilă și opresivă încă de la început.

În consecință, măsurile promovate de plauzibilitatea pentru a reduce transmiterea infecției, chiar dacă ar fi fost eficiente în acest scop, nu au servit la un bun management al pandemiei. Cu toate acestea, aceste măsuri nu au fost niciodată justificate de dovezi științifice în primul rând. Regula de distanțare socială la șase picioare a fost o combinație arbitrară a CDC (Dangor, 2021). Afirmațiile privind beneficiile pentru purtarea măștilor faciale au făcut rareori distincție între beneficiile potențiale pentru purtător – pentru care o astfel de purtare ar fi o alegere personală dacă acceptă sau nu un risc teoretic mai mare – față de beneficiul celor din jur, așa-numitul „control al sursei”, în care publicul considerațiile de sănătate s-ar putea aplica în mod corespunzător. Studiile de control al sursei pe bază de mască pentru virușii respiratori, în care studiile sunt fără defecte fatale, nu au arătat niciun beneficiu apreciabil în reducerea transmiterii infecțiilor (Alexander, 2021; Alexander, 2022; Burns, 2022).

Blocarea generală a populației nu a fost niciodată folosită în țările occidentale și nu au nicio dovadă de efect pentru a face altceva decât amânarea inevitabilului (Meunier, 2020), după cum arată clar datele privind populația Australiei (Worldometer, 2022). În discuția definitivă a măsurilor de sănătate publică pentru controlul gripei pandemice (Inglesby și colab., 2006), afirmă autorii, „Nu există observații istorice sau studii științifice care să susțină izolarea prin carantină a unor grupuri de persoane posibil infectate pentru perioade îndelungate pentru a încetini răspândirea gripei. Un grup de redactare a Organizației Mondiale a Sănătății (OMS), după ce a analizat literatura de specialitate și a luat în considerare experiența internațională contemporană, a concluzionat că „izolarea forțată și carantina sunt ineficiente și impracticabile”. … Consecințele negative ale carantinei pe scară largă sunt atât de extreme (izolarea forțată a persoanelor bolnave la fântână; restricția completă a circulației populațiilor mari; dificultatea de a obține provizii, medicamente și alimente critice pentru persoanele din zona de carantină) încât această atenuare măsura ar trebui eliminată dintr-o analiză serioasă.”

Cu privire la restricțiile de călătorie, Inglesby și colab. (2006) notează: „Restricțiile de călătorie, cum ar fi închiderea aeroporturilor și controlul călătorilor la frontiere, au fost istoric ineficiente. Grupul de Scriere al Organizației Mondiale a Sănătății a concluzionat că „screening-ul și carantinarea călătorilor care intră la granițele internaționale nu a întârziat substanțial introducerea virusului în pandemiile trecute... și probabil că va fi și mai puțin eficient în epoca modernă.” Despre închiderea școlilor (Inglesby et al., 2006): „În epidemiile anterioare de gripă, impactul închiderii școlilor asupra ratelor de îmbolnăvire a fost mixt. Un studiu din Israel a raportat o scădere a infecțiilor respiratorii după o grevă a profesorilor de 2 săptămâni, dar scăderea a fost evidentă doar pentru o singură zi. Pe de altă parte, când școlile s-au închis pentru o vacanță de iarnă în timpul pandemiei din 1918 din Chicago, „s-au dezvoltat mai multe cazuri de gripă în rândul elevilor... decât atunci când școlile erau în sesiune”.

Această discuție arată clar că aceste acțiuni care se presupune că interferează cu transmiterea virusului pe baza argumentelor plauzibile pentru eficacitatea lor au fost atât greșite pentru gestionarea pandemiei, cât și nefondate de dovezi științifice ale eficienței în reducerea răspândirii. Promovarea lor pe scară largă a demonstrat eșecul politicilor de sănătate publică în era Covid-19.

Plauzibilitate vs știință proastă

Ar putea fi argumentat că diversele politici de sănătate publică, precum și informațiile puse la dispoziția publicului larg nu au fost susținute de plauzibilitate, ci în schimb de știință proastă sau fatal defectuoasă, pretinzând drept știință reală. De exemplu, în jurnalul său intern, care nu este revizuit de colegi, Rapoarte săptămânale privind morbiditatea și mortalitatea, CDC a publicat o serie de analize ale eficacității vaccinului. Aceste rapoarte au descris studii transversale, dar le-au analizat ca și cum ar fi studii caz-control, utilizând în mod sistematic parametrii cotelor estimate în loc de riscuri relative pentru a calcula eficacitatea vaccinului. Când rezultatele studiului sunt rare, să zicem mai puțin de 10% dintre subiecții studiului, atunci cotele de cote pot aproxima riscurile relative, dar, în caz contrar, cotele de cote tind să fie supraestimări. Cu toate acestea, în studiile transversale, riscurile relative pot fi calculate direct și pot fi ajustate pentru potențiali factori de confuzie prin regresia riscului relativ (Wacholder, 1986), similar cu utilizarea regresiei logistice în studiile caz-control.

Un exemplu reprezentativ este un studiu al eficacității vaccinurilor Covid-19 cu a treia doză (Tenforde și colab., 2022). În acest studiu, „… Rețeaua IVY a înrolat 4,094 de adulți cu vârsta ≥ 18 ani”, iar după excluderile relevante ale subiectelor, „au fost incluși 2,952 de pacienți spitalizați (1,385 de pacienți de caz și 1,567 de controale non-COVID-19).” Studiile transversale — prin proiectare — identifică un număr total de subiecți, în timp ce numărul de cazuri și controale, expuși și neexpusi, se întâmplă în afara intervenției investigatorului, adică prin orice procese naturale care stau la baza mecanismelor medicale, biologice și epidemiologice examinate. Prin selectarea unui număr total de subiecți, Tenforde și colab. studiul este prin definiție un design transversal. Acest studiu a raportat o eficacitate a vaccinului de 82% în rândul pacienților fără afecțiuni imunocompromisante. Această estimare reflectă un raport de cote ajustat de 1 – 0.82 = 0.18. Cu toate acestea, fracția de pacienți de caz dintre cei vaccinați a fost de 31% și dintre cei nevaccinați a fost de 70%, niciunul dintre acestea nu este suficient de rar pentru a permite utilizarea aproximării cotelor pentru a calcula eficacitatea vaccinului. După cifrele din raportul de studiu Tabelul 3, calculez un risc relativ neajustat de 0.45 și un risc relativ aproximativ ajustat de 0.43, dând o eficacitate reală a vaccinului de 1 – 0.43 = 57%, ceea ce este substanțial diferit și mult mai rău decât 82% prezentate în lucrare.

Într-un context diferit, după ce am publicat un articol de revizuire rezumat privind utilizarea hidroxiclorochinei (HCQ) pentru tratamentul ambulatoriu timpuriu al Covid-19 (Risch, 2020), au fost publicate o serie de lucrări de studii clinice în încercarea de a arăta că HCQ este ineficient. . Primele dintre aceste așa-numite „refutări” au fost efectuate la pacienți internați, a căror boală este aproape complet diferită ca fiziopatologie și tratament decât boala precoce în ambulatoriu (Park et al., 2020). Rezultatele importante pe care le-am abordat în recenzia mea, riscurile de spitalizare și mortalitate, au fost distrase în aceste lucrări prin concentrarea asupra rezultatelor subiective și mai mici, cum ar fi durata pozitivității testului viral sau durata șederii în spital.

Ulterior, au început să fie publicate RCT-uri privind utilizarea HCQ în ambulatoriu. Unul tipic este cel de Caleb Skipper et al. (2020). Obiectivul principal al acestui studiu a fost o modificare a severității simptomelor auto-raportate în general pe parcursul a 14 zile. Acest obiectiv subiectiv a fost de mică importanță pandemică, mai ales având în vedere că subiecții din studiile acestui grup de cercetare au fost moderat capabili să spună dacă au fost în brațele HCQ sau placebo ale studiului (Rajasingham et al., 2021) și, prin urmare, auto- rezultatele raportate nu au fost atât de orbite la brațele de medicamente. Din analizele lor statistice, autorii au concluzionat în mod corespunzător că „Hidroxiclorochina nu a redus substanțial severitatea simptomelor la pacienții ambulatori cu COVID-19 precoce și ușor”. Cu toate acestea, mass-media generală a raportat că acest studiu arată că „hidroxiclorochina nu funcționează”. De exemplu, Jen Christensen (2020) în CNN Sănătate a declarat despre acest studiu: „Medicamentul antimalaric hidroxiclorochina nu a beneficiat de pacienții nespitalizați cu simptome ușoare de Covid-19 care au fost tratați la începutul infecției, potrivit unui studiu publicat joi în jurnalul medical. Annals of Internal Medicine. " 

Dar, de fapt, studiul Skipper a raportat cele două rezultate importante, riscurile de spitalizare și de mortalitate: cu placebo, 10 spitalizări și 1 deces; cu HCQ, 4 internari si 1 deces. Aceste cifre arată un risc redus de spitalizare cu 60%, care, deși nu este semnificativ statistic (p=0.11), este în întregime în concordanță cu toate celelalte studii privind riscul de spitalizare pentru utilizarea HCQ în ambulatoriu (Risch, 2021). Cu toate acestea, acest număr mic de evenimente de rezultat nu este suficient pentru ca randomizarea să echilibreze orice factor, iar studiul este în esență inutil pe această bază. Dar a fost încă interpretat greșit în literatura de specialitate ca arătând că HCQ nu oferă niciun beneficiu în utilizarea în ambulatoriu.

Concluzii

Multe alte cazuri de claptrap științific plauzibile sau știință proastă au avut loc în timpul pandemiei de Covid-19. După cum s-a văzut cu lucrările retractate de la Surgisphere, reviste medicale publică în mod obișnuit și necritic aceste prostii, atâta timp cât concluziile se aliniază cu politicile guvernamentale. Acest corp de cunoștințe false a fost promulgat la cele mai înalte niveluri, de către NSC, FDA, CDC, NIH, OMS, Wellcome Trust, AMA, consilii de specialitate medicală, agenții de sănătate publică de stat și locale, companii farmaceutice multinaționale și alte organizații din întreaga lume. care și-au încălcat responsabilitățile față de public sau au ales intenționat să nu înțeleagă știința falsă. 

Senatul SUA a votat recent, pentru a treia oară, să pună capăt stării de urgență cauzate de Covid-19, dar președintele Biden a declarat că va opune măsurii de veto din cauza „fricii” de a se repeta. numere de caz. Eu și colegii mei am susținut în urmă cu aproape un an că urgența pandemică s-a încheiat (Risch și colab., 2022), dar încrederea falsă pe numărul de cazuri pentru a justifica suprimarea drepturilor omului sub acoperirea „urgenței” continuă fără încetare.

Cenzura masivă din partea mass-mediei tradiționale și a multor rețele sociale a blocat majoritatea discuțiilor publice despre această știință proastă și falsă. Cenzura este instrumentul de neapărat, deoarece știința validă se apără în mod inerent. Până când publicul nu începe să înțeleagă diferența dintre plauzibilitate și știință și cât de mare a fost efortul de a produce în masă „produs” științific care arată ca știință, dar nu este, procesul va continua, iar liderii care caută putere autoritara vor continua să se bazeze pe el. pentru o justificare falsă.

Referinte

Alexander, PE (2021 decembrie 20). Peste 150 de studii și articole comparative despre ineficacitatea și efectele nocive ale măștilor. Institutul Brownstone. https://brownstone.org/articles/more-than-150-comparative-studies-and-articles-on-mask-ineffectiveness-and-harms/

Alexander, PE (2022, 3 iunie). CDC refuză să posteze remedierea în studiul său privind măști. Institutul Brownstone. https://brownstone.org/articles/cdc-refuses-to-post-the-fix-to-its-mask-study/

Anglemyer, A., Horvath, HT, Bero, L. (2014). Rezultatele în domeniul sănătății au fost evaluate cu modele de studii observaționale în comparație cu cele evaluate în studiile randomizate (Review). Baza de date Cochrane de revizuiri sistematice, 4, articolul MR000034. https://doi.org/10.1002/14651858.MR000034.pub2

Bae, J.-M. (2016). O sugestie pentru evaluarea calității în revizuirile sistematice ale studiilor observaționale în epidemiologia nutrițională. Epidemiologie și sănătate, 38, Articolul e2016014. https://doi.org/10.4178/epih.e2016014

Berger, MA (2011). Admisibilitatea mărturiei expertizei. În Consiliul Național de Cercetare, Comitetul pentru Dezvoltarea celei de-a treia ediții a Manualului de referință privind dovezile științifice, Manual de referință pentru dovezi științifice, Ediția a treia (p. 11-36). Presa Academiilor Naționale. https://nap.nationalacademies.org/catalog/13163/reference-manual-on-scientific-evidence-third-edition

Burns, E. (2022, 10 noiembrie). O altă zi, un alt studiu groaznic al măștilor. Să ne uităm sub capota celei mai noi piese de știință de proastă calitate despre măști. Substiva. https://emilyburns.substack.com/p/another-day-another-terrible-mask

Centre pentru servicii Medicare și Medicaid. (2022, iunie). Căutați Plăți deschise. Departamentul de Sănătate și Servicii Umane din SUA, Centrele pentru Servicii Medicare și Medicaid. https://openpaymentsdata.cms.gov/

Christensen, J. (2020, 16 iulie). De asemenea, hidroxiclorochina nu ajută la pacienții cu Covid-19 care nu sunt spitalizați, arată un nou studiu. CNN Sănătate. https://www.cnn.com/2020/07/16/health/hydroxychloroquine-doesnt-work-hospitalized-patients/

Collins, R., Bowman, L., Landray, M. și Peto, R. (2020). Magia randomizării versus mitul dovezilor din lumea reală. New England Journal of Medicine, 382 (7), 674-678. https://www.nejm.org/doi/10.1056/NEJMsb1901642

Dangor, G. (2021, 19 septembrie). Regula de distanțare socială de XNUMX picioare a CDC a fost „arbitrară”, spune fostul comisar FDA. Forbes. https://www.forbes.com/sites/graisondangor/2021/09/19/cdcs-six-foot-social-distancing-rule-was-arbitrary-says-former-fda-commissioner/

Deaton, A. și Cartwright, N. (2018). Înțelegerea și înțelegerea greșită a studiilor controlate randomizate. Științe sociale și medicină, 210, 2-21. https://doi.org/10.1016/j.socscimed.2017.12.005

Feynman, RP (1974). Cargo Cult Science. Inginerie și Știință, 37 (7), 10-13. https://resolver.caltech.edu/CaltechES:37.7.CargoCult

Goldberger, J., Waring, CH și Willets, DG (1915). Prevenirea pelagrai: un test de dietă în rândul deținuților instituționali. Rapoarte de sănătate publică, 30 (43), 3117-3131. https://www.jstor.org/stable/4572932

Hartling, L., Milne, A., Hamm, MP, Vandermeer, B., Ansari, M., Tsertsvadze, A., Dryden, DM (2013). Testarea Scalei Newcastle Ottawa a arătat o fiabilitate scăzută între recenzenții individuali. Jurnalul de Epidemiologie Clinică, 66, 982-993. https://doi.org/10.1016/j.jclinepi.2013.03.003

Hill, AB (1965). Mediul și boala: asociere sau cauzalitate. Proceedings of the Royal Society of Medicine, 58 (5), 295-300. https://doi.org/10.1177/003591576505800503

Inglesby, TV, Nuzzo, JB, O'Toole, T., Henderson, DA (2006). Măsuri de atenuare a bolilor în controlul gripei pandemice. Biosecuritate și bioterorism: strategie, practică și știință de bioapărare, 4 (4): 366-375. https://doi.org/10.1089/bsp.2006.4.366

Meunier, T. (2020, 1 mai). Politicile de blocare completă în țările din Europa de Vest nu au efecte evidente asupra epidemiei COVID-19. medRxiv. https://doi.org/10.1101/2020.04.24.20078717

MSNBC. (2021, 9 iunie). Fauci răspunde la atacurile republicanilor [Video]. YouTube. https://www.youtube.com/watch?v=z-tfZr8Iv0s

Biblioteca Națională de Medicină (2021, mai). ClinicalTrials.gov. Istorie, politici și legi. Departamentul de Sănătate și Servicii Umane din SUA, National Institutes of Health, National Library of Medicine. https://clinicaltrials.gov/ct2/about-site/history

Park, JJH, Decloedt, EH, Rayner, CR, Cotton, M., Mills, EJ (2020). Testele clinice ale stadiilor bolii în COVID 19: complicate și adesea interpretate greșit. Lancet Global Health, 8(10), e1249-e1250. https://doi.org/10.1016/S2214-109X(20)30365-X

Polack, FP, Thomas, SJ, Kitchin, N., Absalon, J., Gurtman, A., Lockhart, S., Perez, JL, Pérez Marc, G., Moreira, ED, Zerbini, C., Bailey, R. ., Swanson, KA, Roychoudhury, S., Koury, K., Li, P., Kalina, WV, Cooper, D., Frenck, RW, Jr., Hammitt, LL, …, Gruber, WC (2020). Siguranța și eficacitatea vaccinului ARNm BNT162b2 Covid-19. New England Journal of Medicine, 383 (27), 2603-2615. https://www.nejm.org/doi/full/10.1056/nejmoa2034577

Rajasingham, R., Bangdiwala, AS, Nicol, MR, Skipper, CP, Pastick, KA, Axelrod, ML, Pullen, MF, Nascene, AA, Williams, DA, Engen, NW, Okafor, EC, Rini, BI, Mayer , IA, McDonald, EG, Lee, TC, Li P., MacKenzie, LJ, Balko, JM, Dunlop, SJ, …, Lofgren, SM (2021). Hidroxiclorochina ca profilaxie pre-expunere pentru boala cu coronavirus 2019 (COVID-19) la lucrătorii din domeniul sănătății: un studiu randomizat. Clinic de Boli Infectioase, 72(11), e835-e843. https://doi.org/10.1093/cid/ciaa1571

Risch, HA (2020). Tratamentul precoce în ambulatoriu al pacienților cu COVID-19 simptomatici, cu risc ridicat, care ar trebui să fie intensificat imediat ca cheie pentru criza pandemică. Jurnalul American de Epidemiologie, 189 (11), 1218-1226. https://doi.org/10.1093/aje/kwaa093

Risch, HA (2021, 17 iunie). Hidroxiclorochina în tratamentul precoce al pacienților ambulatoriali cu risc ridicat de COVID-19: dovezi privind eficacitatea și siguranța. EarlyCovidCare.org, https://earlycovidcare.org/wp-content/uploads/2021/09/Evidence-Brief-Risch-v6.pdf

Risch, H., Bhattacharya, J., Alexander, PE (2022 ianuarie 23). Urgența trebuie terminată, acum. Institutul Brownstone. https://brownstone.org/articles/the-emergency-must-be-ended-now/

Sackett, DL, Rosenberg, WMC, Gray, JAM, Haynes, RB și Richardson, WS (1996). Medicina bazată pe dovezi: ce este și ce nu este. BMJ, 312, articolul 71. https://doi.org/10.1136/bmj.312.7023.71

Skipper, CP, Pastick, KA, Engen, NW, Bangdiwala, AS, Abassi, M., Lofgren, SM, Williams, DA, Okafor, EC, Pullen, MF, Nicol, MR, Nascene, AA, Hullsiek, KH, Cheng , MP, Luke, D., Lother, SA, MacKenzie, LJ, Drobot, G., Kelly, LE, Schwartz, IS, …, Boulware, DR (2020). Hidroxiclorochina la adulții nespitalizați cu COVID-19 precoce: un studiu randomizat. Annals of Internal Medicine, 173 (8), 623-631. https://doi.org/10.7326/M20-4207

Tenforde, MW, Patel, MM, Gaglani, M., Ginde, AA, Douin, DJ, Talbot, HK, Casey, JD, Mohr, NM, Zepeski, A., McNeal, T., Ghamande, S., Gibbs, KW, Files, DC, Hager, DN, Shehu, A., Prekker, ME, Erickson, HL, Gong, MN, Mohamed, A., …, Self, WH (2022). Raport săptămânal privind morbiditatea și mortalitatea, 71(4), 118-124. https://www.cdc.gov/mmwr/volumes/71/wr/mm7104a2.htm

Tigas, M., Jones, RG, Ornstein, C. și Groeger, L. (2019, 17 octombrie). Dolari pentru Docs. Cum au ajuns dolarii din industrie la medicii dvs. ProPublica. https://projects.propublica.org/docdollars/

Wacholder, S. (1986). Regresia binomială în GLIM: estimarea ratelor de risc și a diferențelor de risc. Jurnalul American de Epidemiologie, 123 (1), 174-184. https://doi.org/10.1093/oxfordjournals.aje.a114212

Whelan, R. (2020, 3 august). 2020-08-03 – CNN COVID cu interviu Harvey Risch, epidemiolog Yale [Video]. YouTube. https://www.youtube.com/watch?v=gGO6Ke81bUQ

Worldometru. (2022, 15 noiembrie). Numărul total de cazuri de coronavirus în Australia. Worldometru. https://www.worldometers.info/coronavirus/country/australia/