Statistisk signifikans

Vad är statistisk signifikans?

Statistisk signifikans avser påståendet att en uppsättning observerade data inte är resultatet av slumpen utan istället kan hänföras till en specifik orsak. Statistisk signifikans är viktig för akademiska discipliner eller praktiker som är mycket beroende av att analysera data och forskning, såsom ekonomi, finans,. investeringar,. medicin, fysik och biologi.

Statistisk signifikans kan anses vara stark eller svag. När man analyserar en datamängd och gör de nödvändiga testerna för att urskilja om en eller flera variabler har en effekt på ett utfall, hjälper stark statistisk signifikans till att stödja det faktum att resultaten är verkliga och inte orsakade av tur eller slump. Enkelt uttryckt, om ett p-värde är litet så anses resultatet vara mer tillförlitligt.

Problem uppstår i tester av statistisk signifikans eftersom forskare vanligtvis arbetar med urval av större populationer och inte populationerna själva. Som ett resultat av detta måste urvalen vara representativa för populationen, så uppgifterna i urvalet får inte vara partiska på något sätt. Inom de flesta vetenskaper, inklusive ekonomi, kan ett resultat anses vara statistiskt signifikant om det har en konfidensnivå på 95 % (eller ibland 99 %).

Förstå statistisk signifikans

Beräkningen av statistisk signifikans (signifikanstestning) är föremål för en viss grad av fel. Även om data verkar ha ett starkt samband, måste forskare redogöra för möjligheten att en uppenbar korrelation uppstod på grund av slumpmässig slump eller ett urvalsfel.

Provstorleken är en viktig komponent av statistisk signifikans i och med att större prover är mindre benägna att få utslag. Endast slumpmässigt utvalda representativa urval bör användas vid signifikanstestning. Den nivå på vilken man kan acceptera om en händelse är statistiskt signifikant kallas signifikansnivån.

Forskare använder ett mått som kallas p-värdet för att bestämma statistisk signifikans: om p-värdet faller under signifikansnivån är resultatet statistiskt signifikant. P-värdet är en funktion av medelvärdet och standardavvikelserna för dataproverna.

P-värdet anger sannolikheten under vilken det givna statistiska resultatet inträffade, förutsatt att slumpen ensam är ansvarig för resultatet. Om denna sannolikhet är liten kan forskaren dra slutsatsen att någon annan faktor kan vara ansvarig för de observerade uppgifterna.

Motsatsen till signifikansnivån, beräknad som 1 minus signifikansnivån, är konfidensnivån. Det anger graden av tillförlitlighet för att det statistiska resultatet inte inträffade av en slump eller av ett urvalsfel. Den sedvanliga konfidensnivån i många statistiska test är 95 %, vilket leder till en sedvanlig signifikansnivå eller p-värde på 5 %.

"P-hacking" är metoden att uttömmande jämföra många olika uppsättningar data på jakt efter ett statistiskt signifikant resultat. Detta är föremål för rapporteringsbias eftersom forskarna bara rapporterar gynnsamma resultat – inte negativa.

Särskilda överväganden

Statistisk signifikans indikerar inte alltid praktisk signifikans, vilket innebär att resultaten inte kan tillämpas på verkliga affärssituationer. Dessutom kan statistisk signifikans misstolkas när forskare inte använder språket noggrant i rapporteringen av sina resultat. Det faktum att ett resultat är statistiskt signifikant betyder inte att det inte är resultatet av slumpen, bara att det är mindre sannolikt att det är fallet.

Bara för att två dataserier har en stark korrelation med varandra innebär inte orsakssamband. Till exempel är antalet filmer där skådespelaren Nicolas Cage spelar under ett givet år mycket starkt korrelerat med antalet oavsiktliga drunkningar i simbassänger. Men denna korrelation är falsk eftersom det inte finns några teoretiska orsakskrav som kan göras.

Ett annat problem som kan uppstå med statistisk signifikans är att tidigare data, och resultaten från dessa data, vare sig de är statistiskt signifikanta eller inte, kanske inte speglar pågående eller framtida förhållanden. Vid investeringar kan detta yttra sig i att en prismodell går sönder under tider av finanskris eftersom korrelationerna förändras och variabler inte interagerar som vanligt. Statistisk signifikans kan också hjälpa en investerare att avgöra om en modell för tillgångsprissättning är bättre än en annan.

Typer av statistisk signifikanstest

Flera typer av signifikanstest används beroende på vilken forskning som bedrivs. Till exempel kan tester användas för ett, två eller flera dataprover av olika storlekar för medelvärden, varianser, proportioner, parade eller oparade data eller olika datafördelningar.

Det finns också olika tillvägagångssätt för signifikanstestning, beroende på vilken typ av data som finns tillgänglig. Ronald Fisher är krediterad för att ha formulerat ett av de mest flexibla tillvägagångssätten, samt att sätta normen för signifikans till p < 0,05. Eftersom det mesta av arbetet kan utföras efter att data redan har samlats in, är denna metod fortfarande populär för kortsiktiga eller ad-hoc forskningsprojekt.

För att bygga vidare på Fishers metod, slutade Jerzy Neyman och Egon Pearson med att utveckla ett alternativt tillvägagångssätt. Denna metod kräver mer arbete innan data samlas in, men den tillåter forskare att utforma sin studie på ett sätt som kontrollerar sannolikheten att dra falska slutsatser.

Test av nollhypotes

Statistisk signifikans används i nollhypotestestning där forskare försöker stödja sina teorier genom att förkasta andra förklaringar. Även om metoden ibland missförstås, är den fortfarande den mest populära metoden för datatestning inom medicin, psykologi och andra områden.

Den vanligaste nollhypotesen är att parametern i fråga är lika med noll (typiskt indikerar att en variabel har noll effekt på utfallet av intresse). Om forskare förkastar nollhypotesen med en konfidens på 95 % eller bättre kan de hävda att ett observerat samband är statistiskt signifikant. Nollhypoteser kan också testas för lika effekt för två eller flera alternativa behandlingar.

Tvärtemot den vanliga missuppfattningen kan en hög nivå av statistisk signifikans inte bevisa att en hypotes är sann eller falsk. I verkligheten mäter statistisk signifikans sannolikheten för att ett observerat utfall skulle ha inträffat, förutsatt att nollhypotesen är sann.

Förkastande av nollhypotesen, även om en mycket hög grad av statistisk signifikans aldrig kan bevisa något, kan bara ge stöd till en existerande hypotes. Å andra sidan är underlåtenhet att förkasta en nollhypotes ofta skäl att avfärda en hypotes.

Dessutom kan en effekt vara statistiskt signifikant men ha endast en mycket liten effekt. Till exempel kan det vara statistiskt signifikant att företag som använder tvåskikts toalettpapper i sina badrum har mer produktiva anställda, men förbättringen av den absoluta produktiviteten för varje arbetare kommer sannolikt att vara minimal.

Rättelse – 15 maj 2022: Den här artikeln har redigerats för att belysa potentiella felaktigheter i signifikanstestning.

Höjdpunkter

• Statistisk signifikans avser påståendet att ett resultat från data som genererats genom testning eller experiment sannolikt kan hänföras till en specifik orsak.

– Beräkningen av statistisk signifikans är föremål för en viss grad av fel.

– En hög grad av statistisk signifikans tyder på att ett observerat samband sannolikt inte beror på slumpen.

– Flera typer av signifikanstest används beroende på vilken forskning som bedrivs.

– Statistisk signifikans kan misstolkas när forskare inte använder språket noggrant i rapporteringen av sina resultat.