Nieuwe statistiek brengt studies in vroeg stadium samen
Tijdens de coronapandemie had de wetenschap haast om middelen te vinden die helpen tegen de ziekte. Om het wereldwijde onderzoek hiernaar te combineren, ontwikkelde promovendus Judith ter Schure een nieuw soort statistiek: ALL-IN meta-analyse. Hiermee kan sneller worden bepaald of bijvoorbeeld een vaccin werkt. Promotie op 7 april.
In het begin van de pandemie onderzochten vijftien onderzoeksgroepen wereldwijd of een tuberculosevaccin ook is in te zetten tegen corona. Van het vaccin is bekend dat het niet alleen tegen tuberculose helpt, maar er ook voor zorgt dat mensen veel minder ziek worden van andere infectieziekten.
Voor hun studies hebben de wetenschappers een deel van hun patiënten het tuberculosevaccin gegeven en een deel een placebo. Vervolgens moesten ze wachten totdat de proefpersonen corona kregen. Als elke afzonderlijke onderzoeksgroep moest wachten totdat ze genoeg data had om een conclusie te kunnen trekken, kan dat lang duren. De statistiek van Ter Schure maakt het mogelijk om de data van al het onderzoek tussentijds te combineren, waardoor sneller conclusies kunnen worden getrokken of het vaccin werkt of niet. Op deze manier zijn resultaten van verschillende onderzoeksgroepen ook meteen in context met andere studies te plaatsen. Iets wat in klassieke statistiek vaak pas achteraf wordt gedaan.
Net als in het casino kan een reeks toevallige resultaten onderzoekers om de tuin leiden.
Roulette
Wetenschap is altijd een gok. En net als in het casino kan een reeks toevallige resultaten onderzoekers om de tuin leiden, waardoor ze de verkeerde beslissing nemen. De statistiek van Ter Schure helpt om een toevallige foute conclusie te voorkomen. ‘Er is een maf statistisch fenomeen waardoor als je vaak dezelfde vraag stelt, de kans groot is dat die een keer verkeerd wordt beantwoord.’ Ze vergelijkt het met het spelen van roulette. De meeste mensen winnen niet veel bij dit spel, maar er is altijd wel een gelukkige die veel geld wint. Dan moet niet worden geconcludeerd dat die ene persoon heeft aangetoond dat altijd geld valt te winnen.
Poker
Om te voorkomen dat te vaak door puur toeval een foute conclusie wordt getrokken, is er in statistische methodes een bepaald minimum resultaat nodig. Denk bijvoorbeeld aan de hoeveelheid corona-infecties bij proefpersonen die een placebo kregen in tegenstelling tot het aantal corona-infecties bij de proefpersonen met het vaccin. De methode geeft aan wanneer een bepaalde drempelwaarde is behaald om een conclusie te trekken. Na een tijd is toeval echt te onwaarschijnlijk. De statistische methode lijkt daarmee op hoe professionele pokeraars werken. Ter Schure: ‘Zij kunnen wel hun salaris verdienen in het casino. Om een professional te herkennen, observeer je hun resultaten over vele pokertoernooien. Zij hebben een langetermijnstrategie. Dat heeft de wetenschap ook nodig.’
'Professionele pokerspelers hebben een langetermijn-strategie. Dat heeft de wetenschap ook nodig.’
Software
Een softwarepakket en tutorials staan online waardoor anderen ALL-IN meta-analyse ook kunnen gebruiken. Daarmee kunnen ze resultaten van studies samennemen en tussentijds kijken hoe ver weg de finishlijn nog is. Dat kan de wetenschap dynamischer en efficiënter maken en samenwerking centraal stellen. Elke onderzoeksgroep die werkt aan dezelfde vraag kan bijvoorbeeld data uploaden en het effect op de resultaten tot dusver volgen op een dashboard. De methode is nu te gebruiken voor klinische trials die lijken op het onderzoek naar het tuberculosevaccin en veel andere simpele analyses. Voor studies die complexer zijn willen Ter Schure en haar collega’s van het Centrum Wiskunde & Informatica, waar ze haar promotieonderzoek deed, ook software ontwikkelen.
Cultuuromslag
Binnenkort worden de resultaten gepubliceerd van het onderzoek naar het tuberculosevaccin tegen corona. Ter Schure vindt het mooi dat de onderzoekers de onderzoekslijn centraal stelden in plaats van hun eigen onderzoek. Het zou volgens haar mooi zijn als dat in de toekomst vaker gebeurt, maar dat zou een hele cultuuromslag zijn in de academische wereld. ‘We hebben nu in ieder geval een voorbeeld dat het kan. Wie weet helpt ALL-IN bij wetenschap waarbij iedereen minder met z’n eigen paper bezig is en meer met het grote geheel.’
Tekst: Dagmar Aarts
Foto: Unsplash