Videnskabelige ’fakta’ kan være forkerte
Videnskabelige ’fakta’ kan være forkerte Hvornår er et videnskabeligt resultat sandt eller usandt? Eksperimenter har altid en vis andel af positive resultater og negative resultater, men videnskabelige tidsskrifter foretrækker at bringe de positive resultater, og ny forskning fra bl.a. Niels Bohr Institutet viser, at det kan medføre, at usande påstande kan ende med at blive betragtet som sande fakta. Resultaterne er publiceret i det videnskabelige tidsskrift, eLife.
Silas Boye Nissen er ph.d.-studerende i biofysik på Niels Bohr Institutet. (Credit: Ola Jakup Joensen.
Videnskab er en proces, hvor forskerne observerer, eksperimenterer og udvikler teorier for at opnå en grundlæggende forståelse af naturens verden. Når forskerne skal undersøge en hypotese, udfører de en række eksperimenter. Hypotesen kan for eksempel være, at et bestemt protein sætter sig på en celles RNA-molekyle og klipper RNA-strengen i mindre stykker. RNA-stumperne kan så sætte sig på andre RNA-molekyler, og det kan forstyrre cellens kemiske processer og f.eks. udløse sygdom. Nu kan forskerne så trin for trin udføre en række eksperimenter for at teste hypotesen, og resultaterne kan blive publiceret i videnskabelige tidsskrifter.
Sandsynligheden for, om en hypotese er sand eller usand, bevæger sig op og ned af en ’stige’ efterhånden som der publiceres flere og flere eksperimenter om hypotesen. Modellen viser, at man er nødt til at publicere negative resultater med en vis andel (ofte 20-30 %) for at sikre, at hypoteser, som er usande, ikke ender med at blive betragtet som fakta. (Credit: Nissen, NBI og Bergstrom, UW)
Men eksperimenter er sjældent 100 procent entydige. Nogle eksperimenter viser, at hypotesen mest sandsynligt er sand, mens andre viser, at den mest sandsynligt er usand, og når man publicerer forskningsresultater antages det, at en vis procentdel kan være såkaldt falske positive eller falske negative resultater.
Foretrækker positive resultater
Ved en tidligere analyse fandt en gruppe forskere, at ud af 74 undersøgelser af 12 antidepressive midler, blev 37 ud af 38 indsendte positive resultater publiceret, mens kun 3 ud af de indsendte 24 negative undersøgelser blev publiceret. Yderligere blev 8 indsendte negative resultater omformuleret som positive med henblik på offentliggørelse. Undersøgelser med negativt resultat blev altså kun publiceret med en tiendedel så stor andel som de positive.
”For at undersøge effekten af publikations-tendensen (bias), har vi med computerberegninger skabt en model for, hvordan en hypotese efter gentagne eksperimenter kan blive opfattet som sand eller usand baseret på tidligere publicerede videnskabelige artikler om hypotesen”, fortæller Silas Boye Nissen, ph.d.-studerende i biofysik på Niels Bohr Institutet ved Københavns Universitet.
Sandsynligheden for, om en hypotese er sand eller usand, bevæger sig op og ned af en ’stige’ efterhånden som der publiceres flere og flere eksperimenter om hypotesen.
Nødvendige negative resultater
Figuren viser en falsk negativ rate på 0,2 (hvilket er den standard, som mange videnskabsområder benytter). Standarden for falsk positiv rate er på 0,05 (den hvid/gule linje), men meget tyder på, at den i praksis er højere. Figuren viser netop, at hvis man publicerer mindre end 20-30 procent negative resultater, vil der være en stor sandsynlighed for, at en hypotese, som er usand, efter gentagne eksperimenter og udgivne artikler vil blive opfattet som værende et faktum. Kun hvis man publicerer en større andel negative resultater vil man undgå dette. (Credit: Nissen, NBI og Bergstrom, UW)
”Vores model viser, at hvis der ikke publiceres tilstrækkeligt mange negative resultater, vil der ske det, at hypoteser, som i realiteten er usande, vil kunne blive opfattet som værende sande kendsgerninger. Hvis man derimod øger raten (ofte i størrelsesorden 20-30 procent), hvormed negative resultater bliver publiceret, vil man bedre kunne adskille usande hypoteser fra sande kendsgerninger”, siger Silas Boye Nissen, som har lavet beregningerne sammen med forskere på University of Washington i Seattle, USA.
De konkluderer, at hvis de videnskabelige tidsskrifter overvejende helst vil publicere resultater, som er positive og afviser de mere negative, kan det bevirke, at for hver gang et positivt resultat publiceres, vokser troen på, at hypotesen er sand, og til sidst bliver den erklæret som et faktum. Som beregningerne viser, er de videnskabelige tidsskrifter nødt til at publicere negative resultater med en vis rate for at sikre, at hypoteser, der er usande, ikke ender med at blive betragtet som værende sande fakta.
Men, slutter Silas Boye Nissen: ”Naturvidenskab vedbliver at være vores bedste måde at forstå den fysiske verden på, og vel-studerede emner som klimakonflikten og sikkerheden ved vacciner er langt uden for vores models rækkevidde”.
Silas Boye Nissen, PhD studerende i biofysikgrupperne, StemPhys og Uni-Bio Lab på Niels Bohr Institutet, Københavns Universitet, +45 2186-2025, silas@nbi.ku.dk