Hypoteesitestaukseen kuuluu olettamusten muotoileminen populaatioparametreista otostilastojen perusteella ja näiden oletusten tiukka arviointi empiiristä näyttöä vastaan. Tämä artikkeli valaisee hypoteesien testauksen merkitystä ja prosessin kriittisiä vaiheita.

Mitä on hypoteesien testaus?

Hypoteesin testaus on tilastollinen menetelmä, jota käytetään tilastollisen päätöksen tekemiseen kokeellisen tiedon avulla. Hypoteesin testaus on pohjimmiltaan oletus, jonka teemme populaatioparametrista. Se arvioi kahta toisensa poissulkevaa väitettä populaatiosta määrittääkseen, mikä väite parhaiten tukee otosdataa.

Esimerkki: Sanot, että luokan keskipituus on 30 tai poika on tyttöä pitempi. Kaikki nämä ovat oletuksia, joita oletamme, ja tarvitsemme jonkin tilastollisen tavan todistaa nämä. Tarvitsemme jonkin matemaattisen johtopäätöksen riippumatta siitä, mitä oletamme olevan totta.

Hypoteesien määrittely

• Nollahypoteesi (H ₀ ): Tilastoissa nollahypoteesi on yleinen lausunto tai oletusasema, jonka mukaan kahden mitatun tapauksen välillä ei ole yhteyttä tai ryhmien välillä ei ole yhteyttä. Toisin sanoen se on perusoletus tai tehty ongelmatiedon perusteella.
  Esimerkki : Yrityksen keskimääräinen tuotanto on 50 yksikköä/da H₀: = 50.
• Vaihtoehtoinen hypoteesi (H ₁ ): Vaihtoehtoinen hypoteesi on hypoteesitestauksessa käytetty hypoteesi, joka on ristiriidassa nollahypoteesin kanssa.
  Esimerkki: Yrityksen tuotanto ei ole 50 yksikköä/päivä eli H₁: viisikymmentä.

Hypoteesitestauksen keskeiset ehdot

• Merkityksen taso : Se viittaa merkittävyyden asteeseen, jolla hyväksymme tai hylkäämme nollahypoteesin. 100 %:n tarkkuus ei ole mahdollista hypoteesin hyväksymiselle, joten valitsemme siksi merkitsevyystason, joka on yleensä 5 %. Tämä on yleensä merkitty ja yleensä se on 0,05 tai 5%, mikä tarkoittaa, että tulostesi tulee olla 95% varma, jotta jokaisessa näytteessä saadaan samanlainen tulos.
• P-arvo: The P-arvo , tai laskettu todennäköisyys, on todennäköisyys löytää havaitut/äärimmäiset tulokset, kun tutkimuksen antaman ongelman nollahypoteesi (H0) on totta. Jos P-arvosi on pienempi kuin valittu merkitsevyystaso, hylkäät nollahypoteesin eli hyväksyt sen, että otoksesi väittää tukevansa vaihtoehtoista hypoteesia.
• Testitilasto: Testitilasto on numeerinen arvo, joka lasketaan otantatiedoista hypoteesitestin aikana ja jota käytetään määrittämään, hylätäänkö nollahypoteesi. Sitä verrataan kriittiseen arvoon tai p-arvoon, jotta voidaan tehdä päätöksiä havaittujen tulosten tilastollisesta merkitsevyydestä.
• Kriittinen arvo : Tilastojen kriittinen arvo on kynnys- tai raja-arvo, jota käytetään määrittämään, hylätäänkö nollahypoteesi hypoteesitestissä.
• Vapauden asteet: Vapausasteet liittyvät muuttuvuuteen tai vapauteen, joka on parametrin arvioinnissa. Vapausasteet liittyvät näytteen kokoon ja määrittävät muodon.

Miksi käytämme hypoteesitestausta?

Hypoteesien testaus on tärkeä prosessi tilastoissa. Hypoteesitestaus arvioi kahta toisensa poissulkevaa populaatiolauseketta määrittääkseen, mikä väite on eniten tuettu otantatiedoilla. Kun sanomme, että havainnot ovat tilastollisesti merkittäviä hypoteesitestauksen ansiosta.

Yksi- ja kaksipyrstötesti

Yksi suunnattu testi keskittyy yhteen suuntaan, joka on joko suurempi tai pienempi kuin määritetty arvo. Käytämme yksisuuntaista testiä, kun aikaisempaan tietoon tai teoriaan perustuvat selkeät suunta-odotukset. Kriittinen alue sijaitsee vain jakautumiskäyrän toisella puolella. Jos näyte osuu tälle kriittiselle alueelle, nollahypoteesi hylätään vaihtoehtoisen hypoteesin hyväksi.

Yksisuuntainen testi

Yksisuuntaisia ​​testejä on kahdenlaisia:

• Vasenkätinen (vasenpuoleinen) testi: Vaihtoehtoinen hypoteesi väittää, että todellinen parametrin arvo on pienempi kuin nollahypoteesi. Esimerkki: H₀: ja H₁:
• ja H₁:

Kaksisuuntainen testi

Kaksisuuntainen testi ottaa huomioon molemmat suunnat, suurempia ja pienempiä kuin määritetty arvo. Käytämme kaksisuuntaista testiä, kun ei ole erityistä suunta-odotusta ja haluamme havaita merkittävän eron.

Esimerkki: H₀: 50 ja H₁:

Mitä ovat tyypin 1 ja tyypin 2 virheet hypoteesitestauksessa?

Hypoteesitestauksessa Tyypin I ja tyypin II virheet ovat kaksi mahdollista virhettä, joita tutkijat voivat tehdä tehdessään johtopäätöksiä populaatiosta otoksen perusteella. Nämä virheet liittyvät nollahypoteesia ja vaihtoehtoista hypoteesia koskeviin päätöksiin.

• Tyypin I virhe: Kun hylkäämme nollahypoteesin, vaikka se hypoteesi olikin totta. Tyypin I virhe on merkitty alfa( ).
• Tyypin II virheet: Kun hyväksymme nollahypoteesin, mutta se on väärä. Tyypin II virheet on merkitty beta( ).

Kuinka hypoteesitestaus toimii?

Vaihe 1: Määrittele nolla- ja vaihtoehtoinen hypoteesi

Esitä nollahypoteesi ( ), joka edustaa ei vaikutusta, ja vaihtoehtoinen hypoteesi ( ​), ehdottaa vaikutusta tai eroa.

Tunnistamme ensin ongelman, josta haluamme tehdä oletuksen pitäen mielessä, että olettamuksemme tulisi olla ristiriidassa keskenään, olettaen Normaalisti jaettu data.

Vaihe 2 – Valitse merkitystaso

Valitse merkitystaso ( ), tyypillisesti 0,05, määrittääkseen nollahypoteesin hylkäämisen kynnyksen. Se antaa pätevyyden hypoteesitestillemme ja varmistaa, että meillä on riittävästi tietoa väitteidemme varmuuskopioimiseksi. Yleensä määritämme merkitsevyystasomme ennen testiä. The p-arvo on kriteeri, jota käytetään laskettaessa merkitsevyysarvomme.

Vaihe 3 – Kerää ja analysoi tietoja.

Kerää asiaankuuluvat tiedot havainnoinnin tai kokeilun avulla. Analysoi tiedot sopivilla tilastollisilla menetelmillä saadaksesi testitilaston.

logo java

Vaihe 4 - Laske testitilastot

Testien tiedot arvioidaan tässä vaiheessa etsimme erilaisia ​​pisteitä tietojen ominaisuuksien perusteella. Testitilaston valinta riippuu suoritettavan hypoteesitestin tyypistä.

On olemassa erilaisia ​​hypoteesitestejä, joista jokainen sopii eri tavoitteisiin testimme laskemiseksi. Tämä voisi olla a Z-testi , Chi-neliö , T-testi , ja niin edelleen.

1. Z-testi : Jos populaation keskiarvot ja keskihajonnan tunnetaan. Z-tilastoa käytetään yleisesti.
2. t-testi : Jos populaation keskihajontoja ei tunneta. ja otoskoko on pieni kuin t-testitilasto on sopivampi.
3. Chi-neliö testi : Chi-neliötestiä käytetään kategorisille tiedoille tai riippumattomuuden testaamiseen ehdollisuustaulukoissa
4. F-testi : F-testiä käytetään usein varianssianalyysissä (ANOVA) varianssien vertaamiseen tai useiden ryhmien keskiarvojen yhtäläisyyden testaamiseen.

Meillä on pienempi tietojoukko, joten T-testi on sopivampi testata hypoteesiamme.

T-tilasto on mitta kahden ryhmän keskiarvojen välisestä erosta suhteessa kunkin ryhmän sisäiseen vaihteluun. Se lasketaan näytteen keskiarvojen erotuksena jaettuna erotuksen keskivirheellä. Sitä kutsutaan myös t-arvoksi tai t-pisteeksi.

Vaihe 5 – Testitilastojen vertailu:

Tässä vaiheessa päätämme, missä meidän tulee hyväksyä nollahypoteesi tai hylätä nollahypoteesi. On kaksi tapaa päättää, missä meidän pitäisi hyväksyä tai hylätä nollahypoteesi.

Menetelmä A: Kriittisten arvojen käyttäminen

Vertaamalla meillä olevaa testitilastoa ja taulukoitua kriittistä arvoa,

• Jos testitilasto>kriittinen arvo: Hylkää nollahypoteesi.
• Jos testitilasto≤kriittinen arvo: nollahypoteesin hylkääminen epäonnistui.

Huomautus: Kriittiset arvot ovat ennalta määrättyjä kynnysarvoja, joita käytetään hypoteesitestauksessa päätöksentekoon. Määrittämiseksi kriittiset arvot hypoteesitestauksessa viitataan yleensä tilastolliseen jakaumataulukkoon, kuten normaalijakauma- tai t-jakaumataulukoihin, jotka perustuvat.

Menetelmä B: P-arvojen käyttö

Voimme myös tehdä johtopäätöksen käyttämällä p-arvoa,

• Jos p-arvo on pienempi tai yhtä suuri kuin merkitsevyystaso eli ( ), hylkäät nollahypoteesin. Tämä osoittaa, että havaitut tulokset eivät todennäköisesti ole syntyneet pelkästään sattumalta, mikä tarjoaa todisteita vaihtoehtoisen hypoteesin puolesta.
• Jos p-arvo on suurempi kuin merkitsevyystaso, eli ( ), et hylkää nollahypoteesia. Tämä viittaa siihen, että havaitut tulokset ovat yhdenmukaisia ​​sen kanssa, mitä nollahypoteesissa odotettaisiin.

Huomautus : p-arvo on todennäköisyys saada testitilasto yhtä äärimmäiseksi kuin otoksessa havaittu tai sitä äärimmäisempi, olettaen, että nollahypoteesi on totta. Määrittämiseksi p-arvo hypoteesitestauksessa viitataan yleensä tilastolliseen jakaumataulukkoon, kuten normaalijakauma- tai t-jakaumataulukoihin, jotka perustuvat.

Vaihe 7 - Tulkitse tulokset

Viimeinkin voimme päättää kokeemme käyttämällä menetelmää A tai B.

Lasketaan testitilastoa

Vahvistaaksemme hypoteesimme populaatioparametrista, jota käytämme tilastolliset toiminnot . Käytämme z-pistettä, p-arvoa ja merkitsevyystasoa (alfa) todistaaksemme hypoteesimme normaalisti jaettua dataa .

1. Z-tilastot:

Kun populaation keskiarvot ja keskihajonnat tiedetään.

missä,

• on näytteen keskiarvo,
• μ edustaa väestön keskiarvoa,
• σ on keskihajonta
• ja n on näytteen koko.

2. T-tilastot

T-testiä käytetään, kun n <30,

t-tilastolaskelma saadaan seuraavasti:

missä,

• t = t-pisteet,
• x̄ = näytekeskiarvo
• μ = väestön keskiarvo,
• s = näytteen keskihajonta,
• n = näytteen koko

3. Chi-neliötesti

Khi-neliötesti riippumattomuuden kategorisille tiedoille (ei-normaalisti jakautunut) käyttämällä:

missä,

• on solussa havaittu taajuus
• i,j ovat rivien ja sarakkeiden indeksit.
• on odotettu taajuus solussa , lasketaan seuraavasti:
  

Esimerkki tosielämän hypoteesitestauksesta

Tarkastellaan hypoteesien testausta kahdella tosielämän tilanteessa,

Tapaus A: D vaikuttaako uusi lääke verenpaineeseen?

Kuvittele, että lääkeyritys on kehittänyt uuden lääkkeen, jonka he uskovat voivan tehokkaasti alentaa verenpainetta potilailla, joilla on korkea verenpaine. Ennen lääkkeen tuomista markkinoille heidän on suoritettava tutkimus arvioidakseen sen vaikutusta verenpaineeseen.

Tiedot:

automaattinen teoria

• Ennen hoitoa: 120, 122, 118, 130, 125, 128, 115, 121, 123, 119
• Hoidon jälkeen: 115, 120, 112, 128, 122, 125, 110, 117, 119, 114

Vaihe 1 : Määrittele hypoteesi

• Nollahypoteesi : (H₀)Uudella lääkkeellä ei ole vaikutusta verenpaineeseen.
• Vaihtoehtoinen hypoteesi : (H₁)Uudella lääkkeellä on vaikutusta verenpaineeseen.

Vaihe 2: Määritä Merkitystaso

Tarkastellaan merkitsevyystasoa 0,05:ssä, mikä osoittaa nollahypoteesin hylkäämistä.

Jos todisteet viittaavat alle 5 %:n todennäköisyyteen havaita tulokset satunnaisvaihtelun vuoksi.

Vaihe 3 : Laske testitilasto

Käyttämällä parillinen T-testi analysoida tiedot testitilaston ja p-arvon saamiseksi.

Testitilasto (esim. T-tilasto) lasketaan verenpainemittausten erojen perusteella ennen hoitoa ja sen jälkeen.

t = m/(s/√n)

Missä:

• m = eron keskiarvo eli X jälkeen, X ennen
• s = eron (d) keskihajonta eli d _i = X jälkeen, i − X ennen,
• n = näytteen koko,

sitten m = -3,9, s = 1,8 ja n = 10

laskemme , T-tilasto = -9 parillisen t-testin kaavan perusteella

Vaihe 4: Etsi p-arvo

Laskettu t-tilasto on -9 ja vapausasteet df = 9, voit löytää p-arvon käyttämällä tilastoohjelmistoa tai t-jakaumataulukkoa.

siis p-arvo = 8,538051223166285e-06

Vaihe 5: Tulos

• Jos p-arvo on pienempi tai yhtä suuri kuin 0,05, tutkijat hylkäävät nollahypoteesin.
• Jos p-arvo on suurempi kuin 0,05, he eivät hylkää nollahypoteesia.

Johtopäätös: Koska p-arvo (8,538051223166285e-06) on pienempi kuin merkitsevyystaso (0,05), tutkijat hylkäävät nollahypoteesin. On tilastollisesti merkitsevää näyttöä siitä, että keskimääräinen verenpaine ennen ja jälkeen uudella lääkkeellä on erilainen.

Hypoteesitestauksen Python-toteutus

Tehdään hypoteesitestaus pythonilla, jossa testataan, vaikuttaako uusi lääke verenpaineeseen. Tässä esimerkissä käytämme paritettua T-testiä. Käytämme scipy.stats> kirjasto T-testiä varten.

Toteutamme ensimmäisen tosielämän ongelmamme pythonin kautta,

Python 3

>

>

Lähtö:

T-statistic (from scipy): -9.0 P-value (from scipy): 8.538051223166285e-06 T-statistic (calculated manually): -9.0 Decision: Reject the null hypothesis at alpha=0.05. Conclusion: There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.>

Yllä olevassa esimerkissä, kun otetaan huomioon T-tilasto noin -9 ja erittäin pieni p-arvo, tulokset osoittavat vahvan syyn hylätä nollahypoteesi merkitsevyystasolla 0,05.

• Tulokset viittaavat siihen, että uudella lääkkeellä, hoidolla tai interventiolla on merkittävä vaikutus verenpaineen alentamiseen.
• Negatiivinen T-tilasto osoittaa, että keskimääräinen verenpaine hoidon jälkeen on merkittävästi alhaisempi kuin oletettu väestön keskiarvo ennen hoitoa.

Tapaus B : Kolesterolitaso väestössä

Tiedot: Otetaan näyte 25 yksilöstä, ja heidän kolesterolitasonsa mitataan.

Kolesteroliarvot (mg/dl): 205, 198, 210, 190, 215, 205, 200, 192, 198, 205, 198, 202, 208, 200, 205, 198, 200, 205, 198, 20, 20, 20, 198, 20, 20 205, 210, 192, 205.

Populaatioiden keskiarvo = 200

Populaation keskihajonta (σ): 5 mg/dL (tälle ongelmalle annettu)

Vaihe 1: Määrittele hypoteesi

• Nollahypoteesi (H ₀ ): Keskimääräinen kolesterolitaso väestössä on 200 mg/dl.
• Vaihtoehtoinen hypoteesi (H ₁ ): Populaatiossa keskimääräinen kolesterolitaso on eri kuin 200 mg/dl.

Vaihe 2: Määritä Merkitystaso

Koska poikkeaman suuntaa ei ole annettu, oletetaan kaksisuuntaista testiä ja normaalijakaumataulukon perusteella kriittiset arvot merkitsevyystasolle 0,05 (kaksisuuntainen) voidaan laskea z-taulukko ja ovat noin -1,96 ja 1,96.

Vaihe 3 : Laske testitilasto

Testitilasto lasketaan käyttämällä z-kaavaa KANSSA = ja saamme sen mukaisesti, KANSSA =2.039999999999992.

Vaihe 4: Tulos

Koska testitilaston absoluuttinen arvo (2,04) on suurempi kuin kriittinen arvo (1,96), hylkäämme nollahypoteesin. Ja päättele, että on tilastollisesti merkitsevää näyttöä siitä, että väestön keskimääräinen kolesterolitaso on eri kuin 200 mg/dl

Hypoteesitestauksen Python-toteutus

Python 3

>

>

Lähtö:

Reject the null hypothesis. There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.>

Hypoteesitestauksen rajoitukset

• Vaikka hypoteesien testaus on hyödyllinen tekniikka, se ei tarjoa kattavaa käsitystä tutkittavasta aiheesta. Kuvaamatta täysin ilmiöiden monimutkaisuutta tai koko kontekstia, se keskittyy tiettyihin hypoteeseihin ja tilastolliseen merkitykseen.
• Hypoteesien testaustulosten tarkkuus riippuu saatavilla olevan tiedon laadusta ja käytettyjen tilastollisten menetelmien asianmukaisuudesta. Epätarkat tiedot tai huonosti muotoiltu hypoteesi voivat johtaa vääriin johtopäätöksiin.
• Pelkästään hypoteesitestaukseen luottaminen voi saada analyytikot jättämään huomiotta tiedoissa olevat merkittävät mallit tai suhteet, joita testattavat tietyt hypoteesit eivät kaappaa. Tämä rajoitus korostaa hypoteesitestauksen täydentämisen tärkeyttä muiden analyyttisten lähestymistapojen kanssa.

Johtopäätös

Hypoteesien testaus on tilastollisen analyysin kulmakivi, jonka avulla datatieteilijät voivat navigoida epävarmuuksissa ja tehdä uskottavia johtopäätöksiä näytetiedoista. Määrittelemällä systemaattisesti nolla- ja vaihtoehtoisia hypoteeseja, valitsemalla merkitsevyystasoja ja hyödyntämällä tilastollisia testejä tutkijat voivat arvioida olettamustensa paikkansapitävyyttä. Artikkelissa myös selvitetään kriittistä eroa tyypin I ja tyypin II virheiden välillä, mikä tarjoaa kattavan käsityksen hypoteesien testaamiseen liittyvästä vivahteellisesta päätöksentekoprosessista. Tosielämän esimerkki uuden lääkkeen verenpaineen vaikutuksen testaamisesta parillisen T-testin avulla esittelee näiden periaatteiden käytännön soveltamista ja korostaa tilastollisen kurinalaisuuden merkitystä tietopohjaisessa päätöksenteossa.

Usein kysytyt kysymykset (FAQ)

1. Mitkä ovat kolme hypoteesitestin tyyppiä?

Hypoteesitestejä on kolmenlaisia: oikeakätinen, vasenkätinen ja kaksisuuntainen. Oikeansuuntaiset testit arvioivat, onko parametri suurempi, vasemmanpuoleinen, jos pienempi. Kaksisuuntaiset testit tarkistavat suuntaamattomien erojen, suurempia tai pienempiä.

2. Mitkä ovat hypoteesien testauksen 4 komponenttia?

Nollahypoteesi ( ): Ei vaikutusta tai eroa.

Vaihtoehtoinen hypoteesi ( ): Vaikutus tai ero on olemassa.

Merkitsevyystaso ( ): Nollahypoteesin hylkäämisen riski, kun se on totta (tyypin I virhe).

Testitilasto: Numeerinen arvo, joka edustaa havaittua näyttöä nollahypoteesia vastaan.

3. Mitä on hypoteesien testaus ML:ssä?

Tilastollinen menetelmä koneoppimismallien suorituskyvyn ja validiteetin arvioimiseksi. Testaa tiettyjä hypoteeseja mallin käyttäytymisestä, kuten onko ominaisuuksien vaikutusta ennusteisiin tai yleistyykö malli hyvin näkymättömään dataan.

4.Mitä eroa on Pytestillä ja Pythonin hypoteesilla?

Pytestin tarkoitus on yleinen Python-koodin testauskehys, kun taas Hypothesis on Pythonin ominaisuuspohjainen testauskehys, joka keskittyy testitapausten luomiseen koodin määritettyjen ominaisuuksien perusteella.