有意差検定とは — 「差がある」と言ってよい条件

p値は「本当は差がないと仮定したときに、今回観測されたのと同じかそれ以上の差が、偶然だけで出てしまう確率」です。慣習的にp < 0.05なら「有意差あり」と扱います。

① n数が大きいと何にでも有意が付く

n=5,000同士の比較なら、41%と43%の2ポイント差にも有意が付きます。統計的には偶然でない差ですが、この2ポイントで施策を変える意味はありません。大規模調査では、有意かどうかより「何ポイント差なら動くか」を先に決めてください。

② 検定を繰り返すと偽の有意が生まれる

有意水準5%とは「差がなくても20回に1回は有意が出る」ということです。50設問 × 10層のクロス集計に一律で検定を掛ければ、差がなくても25個前後の有意が生まれます。「有意が付いた項目を拾う」という読み方は、この偽陽性を拾い集める作業になりがちです。仮説を先に決めてから検定してください。

③ 有意でないことを「差がない」と報告する

n=50同士の比較では、10ポイント差でも有意は付きません。これは「差がない」ことの証明ではなく、「判定できるだけの人数がなかった」だけです。報告書には「有意差なし」ではなく「n=50のため、10ポイント程度の差は判定できない」と書くほうが正確です。

有意差の情報は、次の3点セットで書くと誤解が起きません。

• 差の大きさ：「20代は48%、50代は31%で、17ポイント高い」
• 回収数：「（20代 n=112、50代 n=108）」
• 判定：「この差は有意（p<0.01）」

逆に避けるべきは、表に星印だけを付けて本文で触れない書き方です。読み手は星印を「重要な差」と受け取りますが、星印が示しているのは「偶然では説明しにくい」ことだけです。