A hipotézis teszt ereje annak a valószínűsége, hogy a teszt helyesen elutasítja a nullhipotézist. A hipotézis teszt erejét befolyásolja a minta mérete, a különbség, az adatok változékonysága és a teszt szignifikancia szintje.
Ha egy tesztet alulteljesítenek, előfordulhat, hogy nem észlel hatást, és tévesen arra a következtetésre jut, hogy ilyen nincs. Ha egy teszt ereje túl nagy, akkor nagyon kicsi és esetleg jelentéktelen hatások tűnhetnek jelentősnek.
Egyetlen teszt sem tökéletes, mindig fennáll annak a lehetősége, hogy a teszt eredményei a nullhipotézis (H 0) elutasításához vezetnek, amikor az valóban igaz (I. típusú hiba), vagy a H 0 elutasításához, amikor valóban hamis (hibatípus II). Ennek oka, hogy a populációs átlag becsléséhez véletlenszerű mintákat kell használnia, és a véletlenszerű minták csak véletlenszerűek. Ezért mindig lehetséges, hogy a minta átlag nagyon eltér a populáció átlagától.
Tegyük fel például, hogy egy bizonyos, normálisan eloszlott populáció átlagának (μ) értéke 10, szórása (σ) értéke 2. Ez az eloszlás azt jelzi, hogy a populációban az értékek 95,44% -a 6 és 14 között van. mindig Lehetséges, hogy véletlenszerűen kiválaszt 10 megfigyelést, és végül egy minta 4-es átlagot kap. Ilyen mintával nem következtethetne arra, hogy a populáció átlaga valóban 10!
Természetesen az ilyen minta megszerzésének esélye hihetetlenül kicsi, bár ez még mindig lehetséges. A mintavételi hiba időnként téves következtetéshez vezethet. Bár nem lehet tudni, hogy ez mikor következik be, megbecsülheti, hogy milyen gyakran fog bekövetkezni. Ott játszik szerepet a hatalom.
Tegyük fel például, hogy 1 mintás t-tesztet hajt végre annak megállapítására, hogy a gyárban a samponpalackokban kiadagolt termék átlagos mennyisége eltér-e a 8 oz céltérfogattól. Úgy dönt, hogy véletlenszerű mintát vesz 10 palackból. Ha μ valóban 7,5 oz. (a palackokat 0,5 oz. kevesebbet várják, mint várták), a σ pedig 0,43 oz., így a teszt teljesítménye 0,9039.
A 0,9039 teljesítményérték azt jelenti, hogy ha úgy dönt, hogy sokszor megismétli a kísérletet (minden alkalommal új véletlenszerű mintával), az idő kb. 90,39% -ával, akkor a nullhipotézist helyesen elutasítja. Az idő fennmaradó 9,61% -ában egy mintavételi hiba miatt nem utasítja el a H 0 értéket, pedig valójában hamis. Természetesen nem valószínű, hogy többször tesztel, de jó tudni, hogy a megtévesztő minta megszerzésének esélye viszonylag alacsony.