Statistisk signifikant

Hva er statistisk signifikans?

Statistisk signifikans refererer til påstanden om at et sett med observerte data ikke er et resultat av tilfeldigheter, men i stedet kan tilskrives en spesifikk årsak. Statistisk signifikans er viktig for akademiske disipliner eller praktikere som er sterkt avhengige av å analysere data og forskning, som økonomi, finans,. investering,. medisin, fysikk og biologi.

Statistisk signifikans kan betraktes som sterk eller svak. Når man analyserer et datasett og gjør de nødvendige testene for å finne ut om en eller flere variabler har en effekt på et utfall, er sterk statistisk signifikans med på å støtte det faktum at resultatene er reelle og ikke forårsaket av flaks eller tilfeldigheter. Enkelt sagt, hvis en p-verdi er liten, anses resultatet som mer pålitelig.

Problemer oppstår i tester av statistisk signifikans fordi forskere vanligvis arbeider med utvalg av større populasjoner og ikke selve populasjonene. Som et resultat må prøvene være representative for populasjonen, så dataene i utvalget må ikke være partiske på noen måte. I de fleste vitenskaper, inkludert økonomi, kan et resultat betraktes som statistisk signifikant hvis det har et konfidensnivå på 95 % (eller noen ganger 99 %).

Forstå statistisk signifikans

Beregningen av statistisk signifikans (signifikanstesting) er gjenstand for en viss grad av feil. Selv om data ser ut til å ha en sterk sammenheng, må forskere redegjøre for muligheten for at en tilsynelatende korrelasjon oppsto på grunn av tilfeldig tilfeldighet eller en prøvetakingsfeil.

Prøvestørrelse er en viktig komponent av statistisk signifikans ved at større prøver er mindre utsatt for flukes. Kun tilfeldig utvalgte, representative utvalg bør brukes i signifikanstesting. Nivået der man kan akseptere om en hendelse er statistisk signifikant er kjent som signifikansnivået.

Forskere bruker en måling kjent som p-verdien for å bestemme statistisk signifikans: Hvis p-verdien faller under signifikansnivået, er resultatet statistisk signifikant. P-verdien er en funksjon av gjennomsnittene og standardavvikene til dataprøvene.

P-verdien indikerer sannsynligheten for at det gitte statistiske resultatet skjedde, forutsatt at tilfeldighetene alene er ansvarlig for resultatet. Hvis denne sannsynligheten er liten, kan forskeren konkludere med at en annen faktor kan være ansvarlig for de observerte dataene.

Det motsatte av signifikansnivået, regnet som 1 minus signifikansnivået, er konfidensnivået. Den indikerer graden av sikkerhet for at det statistiske resultatet ikke oppsto ved en tilfeldighet eller ved prøvetakingsfeil. Det vanlige konfidensnivået i mange statistiske tester er 95 %, noe som fører til et vanlig signifikansnivå eller p-verdi på 5 %.

"P-hacking" er praksisen med å sammenligne mange forskjellige sett med data uttømmende på jakt etter et statistisk signifikant resultat. Dette er underlagt rapporteringsskjevhet fordi forskerne bare rapporterer gunstige resultater – ikke negative.

Spesielle hensyn

Statistisk signifikans indikerer ikke alltid praktisk signifikans, noe som betyr at resultatene ikke kan brukes på virkelige forretningssituasjoner. I tillegg kan statistisk signifikans mistolkes når forskere ikke bruker språket forsiktig i rapporteringen av resultatene sine. At et resultat er statistisk signifikant betyr ikke at det ikke er et resultat av tilfeldigheter, bare at det er mindre sannsynlig at dette er tilfelle.

Bare fordi to dataserier har en sterk korrelasjon med hverandre, innebærer det ikke årsakssammenheng. For eksempel er antallet filmer der skuespilleren Nicolas Cage spiller i et gitt år, veldig høy korrelert med antall utilsiktede drukninger i svømmebassenger. Men denne sammenhengen er falsk siden det ikke er noen teoretisk årsakspåstand som kan fremsettes.

Et annet problem som kan oppstå med statistisk signifikans er at tidligere data, og resultatene fra disse dataene, enten det er statistisk signifikant eller ikke, kanskje ikke reflekterer pågående eller fremtidige forhold. Ved investering kan dette manifestere seg i at en prismodell bryter sammen i tider med finanskrise ettersom korrelasjoner endres og variabler ikke samhandler som vanlig. Statistisk signifikans kan også hjelpe en investor med å finne ut om en formuesprisingsmodell er bedre enn en annen.

Typer statistisk signifikanstest

Flere typer signifikanstester brukes avhengig av forskningen som utføres. For eksempel kan tester brukes for ett, to eller flere dataprøver av forskjellige størrelser for gjennomsnitt, varianser, proporsjoner, sammenkoblede eller uparrede data, eller forskjellige datafordelinger.

Det finnes også ulike tilnærminger til signifikanstesting, avhengig av hvilken type data som er tilgjengelig. Ronald Fisher er kreditert med å formulere en av de mest fleksible tilnærmingene, samt å sette normen for signifikans til p < 0,05. Fordi det meste av arbeidet kan gjøres etter at dataene allerede er samlet inn, er denne metoden fortsatt populær for kortsiktige eller ad-hoc forskningsprosjekter.

Jerzy Neyman og Egon Pearson forsøkte å bygge videre på Fishers metode, og endte opp med å utvikle en alternativ tilnærming. Denne metoden krever mer arbeid før dataene samles inn, men den lar forskere designe studien sin på en måte som kontrollerer sannsynligheten for å trekke falske konklusjoner.

Nullhypotesetesting

Statistisk signifikans brukes i nullhypotesetesting der forskere forsøker å støtte teoriene sine ved å avvise andre forklaringer. Selv om metoden noen ganger blir misforstått, er den fortsatt den mest populære metoden for datatesting innen medisin, psykologi og andre felt.

Den vanligste nullhypotesen er at den aktuelle parameteren er lik null (som typisk indikerer at en variabel har null effekt på utfallet av interesse). Hvis forskere avviser nullhypotesen med en konfidens på 95 % eller bedre, kan de hevde at en observert sammenheng er statistisk signifikant. Nullhypoteser kan også testes for effektlikhet for to eller flere alternative behandlinger.

I motsetning til populær misoppfatning, kan ikke et høyt nivå av statistisk signifikans bevise at en hypotese er sann eller usann. I virkeligheten måler statistisk signifikans sannsynligheten for at et observert utfall ville ha skjedd, forutsatt at nullhypotesen er sann.

Forkastelse av nullhypotesen, selv om en svært høy grad av statistisk signifikans aldri kan bevise noe, kan bare gi støtte til en eksisterende hypotese. På den annen side er unnlatelse av å forkaste en nullhypotese ofte grunnlag for å avvise en hypotese.

I tillegg kan en effekt være statistisk signifikant, men ha bare en svært liten effekt. For eksempel kan det være statistisk signifikant at bedrifter som bruker to-lags toalettpapir på badene har mer produktive ansatte, men forbedringen i den absolutte produktiviteten til hver enkelt arbeider vil sannsynligvis være minimal.

Rettelse – 15. mai 2022: Denne artikkelen er redigert for å fremheve potensielle feilslutninger i signifikanstesting.

Høydepunkter

• Statistisk signifikans refererer til påstanden om at et resultat fra data generert ved testing eller eksperimentering sannsynligvis kan tilskrives en spesifikk årsak.

– Beregningen av statistisk signifikans er gjenstand for en viss grad av feil.

– En høy grad av statistisk signifikans indikerer at en observert sammenheng neppe skyldes tilfeldigheter.

– Det brukes flere typer signifikanstester avhengig av forskningen som utføres.

– Statistisk signifikans kan mistolkes når forskere ikke bruker språket varsomt i rapporteringen av resultatene sine.