m
!

日本語サポートはご利用いただけなくなります

*
日本語でのEメールサポートは近日中にご利用いただけなくなります。メールでのサポートは以下の言語でご利用いただけます:英語、ドイツ語、フランス語、スペイン語、オランダ語、ポルトガル語

統計的有意性

有料機能:統計的有意性を利用できるのは、一部の有料プランに限られます。ご自分のプランでご利用できるかどうか確認してください。

回答者グループによってアンケートの回答に統計的な有意差が生じているのかどうかを確認できます。SurveyMonkey の統計的有意性機能の利用手順は以下のとおりです。

  • アンケートに比較ルールが適用されている状態で統計的有意性をオンにします。比較したいグループを選択すると、そのグループを基準にアンケート結果が細分化され横並びで表示されます。
  • 表示された表を見ると、回答グループによってアンケートの回答に統計的な有意差が生じているのかどうかがわかります。

統計的有意性の表示

統計的有意性を確認できるアンケートの実施方法を以下にステップごとに紹介します。

ステップ1:アンケートに複数選択肢の質問を追加する

「集計結果の分析」ページで統計的有意性を確認するには、質問に比較ルールを適用する必要があります。

比較ルールを適用して統計的有意性を計算するには、アンケートで以下の質問タイプのいずれかを使用しておく必要があります。

分析にて回答者をグループ分けすることを意識して回答選択肢を作成します。「比較ルール」を作成するときにはこの回答選択肢を選択して、クロス集計の基準にします。

ステップ2:回答を収集する

アンケートを作成したら、コレクターを作成して配信します。アンケートを配信する方法はいくつかあります。

統計的有意性をオンにして確認するには、比較基準となる各回答選択肢に少なくとも 30 件は回答が入っている必要があります。

ヒント!SurveyMonkey Audience を使って回答を購入することもできます。性別や年齢、収入、雇用状況など回答者の属性を細かく定義し、意見を聞きたい人々からより多くの回答を集めるようにしましょう。
ステップ3:比較ルールを適用する

統計的有意性をオンにするには、質問に比較ルールを適用して、回答者をグループ分けしておく必要があります。

比較ルールを適用するには

  1. 対象アンケートの[集計結果の分析]ページを開きます。
  2. 左側のサイドバーの[現在のビュー]セクションにある[比較]をクリックします。
  3. 質問と回答による比較]をクリックします(アンケートに A/B テストを使用している場合を除きます)。
  4. ドロップダウンメニューから比較の基準となる質問を選択します。
  5. グループ分けしたい回答選択肢を選びます。これらのグループが、残りのアンケートデータをクロス集計する基準になります。
  6. 統計的有意性の表示の隣にあるトグルをクリックすると、統計的有意性がオンになります。統計的有意性をオンにするには、少なくとも 2 つの回答選択肢に回答が 30 件以上入っている必要があります。
  7. 適用]をクリックします。

ルールを作成した後に回答グループを編集するには、左サイドバーでそのルールの右にある下向き三角をクリックし、ルールの編集を選択します。

ヒント!比較ルールは複数作成できますが、適用または表示できる比較ルールは 1 つだけです。
ステップ4:表の確認

比較ルールを適用すると、回答グループ別に集計結果が横並びで表示されるので、グループを軸に回答の類似性や相違性を簡単に確認できます。

グラフの下に表示される表では、統計的有意性が認められる回答選択肢がハイライトされます。

回答選択肢にマウスポインタを合わせると、さらに情報が表示されます。表示されるメッセージは以下のいずれかです。

メッセージ
説明
著しく低い他のハイライトされているグループに比べて、そのグループがその回答選択肢を選択する割合が著しく低いことを示しています。
著しく高い他のハイライトされているグループに比べて、そのグループがその回答選択肢を選択する割合が著しく高いことを示しています。
回答不足統計的有意性を計算するには、そのグループを選択した回答が少なくとも 30 件は必要です。
結合された回答選択肢現時点では、結合された回答選択肢で統計的有意性を計算することはできません。結合を解除してください。
非表示の回答選択肢現時点では、非表示の回答選択肢で統計的有意性を計算することはできません。非表示を解除してください。
統計的有意性なしそのグループがその回答選択肢を選択した割合はほかのグループとあまり変わりません。

詳細については、この画面を下にスクロールして「統計的な有意差とは?」のセクションで"ご確認ください。

ステップ5:結果を共有する

共有データページ

アンケート結果をオンラインで共有すると、統計的有意性もその共有ページに表示されます。

統計的有意性を含む共有データページを作成するには

  1. 左サイドバーの「現在のビュー」にて、統計的有意性をオンにした比較ルールをクリックします。
  2. 左サイドバーの「保存されたビュー」にて、+名前を付けて保存...]をクリックします。
  3. ビューに名前を付け、[保存]をクリックします。
  4. ページ右上の[すべて共有]をクリックします。
  5. 共有データページに必要な設定を行います。

エクスポート

統計的有意性は、PDF や PPT 形式のサマリーデータにも含めることができます。エクスポートデータでは、統計的有意性のある回答に、有意な違いのある回答グループの文字が付与されます。

エクスポートデータに統計的有意性を含めるには、「比較ルール」を適用して、「現在のビュー」をエクスポートします。

アンケート例

ある製品に対し、女性よりも男性の方が著しく高い満足度を得られているか知りたいとします。

  1. 複数選択肢の質問を 2 つアンケートに追加します。
     •  性別(男性、女性)
     •  当社の製品に対する満足度を選択してください。(満足、不満)
  2. 男性を選択した回答者の数と女性を選択した回答者の数がそれぞれ 30 以上になるよう、回答を収集します。
  3. 性別を問う質問の方に比較ルールを適用し、"回答選択肢は男性と女性の両方をグループとして選択します。
  4. 製品の満足度を問う質問については、質問グラフの下にあるデータテーブルを使用し、"統計的な有意差が生じているかどうかを確認します。

統計的な有意差とは?

統計的な有意差とは、あるグループの選択と他のグループの選択に大幅な違いがあるかどうかを、統計的な検定によって示すものです。統計的有意性とは、その数値間に明確な差があり、そのデータ分析の明確な裏づけになり得ることを意味します。それでも、その結果に意味があるかどうかは熟考する必要があります。その結果をどのように解釈し、どのように次の行動につなげるかは分析者次第です。

たとえば、ある会社では男性顧客よりも女性顧客からのクレームが多いとします。その差が何らかの対応をとるほどの差であるかどうかは、どのように判断したら良いでしょう?有効な手段としては、アンケートを実施して、実際に男性顧客の方が製品への満足度が明らかに高いのかどうかを確認するという方法があります。統計数式を使用する SurveyMonkey の統計的有意性機能を使用すれば、本当に男性顧客の方が製品満足度が著しく高いのかどうかも判断しやすくなります。そうすることで、推測ではなくデータに基づいてアクションを起こすことができるようになります。

統計的な有意差の計算

データテーブルにハイライトされている箇所があれば、それは 2 つのグループの間に著しい違いがあることを示しています。著しいとは、統計学的に異なるといえるほど数値に違いがあることを意味するもので、その結果の重要性や意義とは関係ありません。

統計的な有意差なし

データテーブルにハイライトされている箇所がなければ、割合が違っていたとしても、2 つのグループの差が統計学的に異なるといえるほどではないことを示しています。

統計的な有意差なしとは、その時点までの回答数において比較対象の 2 項目に著しい違いがないという意味であって、必ずしもそのデータが重要でないということにはなりません。回答数を増やすことで、統計的な有意差が認められることもあります。

回答数

回答数が非常に少ない場合、2 つのグループ間の大きな違いのみが統計的有意性となります。回答数が非常に多い場合、大きな違いと小さな違いの両方が統計的有意性として検出されます。

しかし 2 つの数値に統計的な違いが見られたからといって、その違いに意義があるということにはなりません。アンケートの目的から見て、どの違いに意義があるかを考える必要があります。

統計的有意性の計算

SurveyMonkey では、信頼度 95% を用いて統計的有意性を計算しています。信頼度95%とは、回答選択肢に統計的有意性があると示されたとき、2つのグループ間の差が偶然で生じた確率またはサンプリングのエラーで生じた確率が5%未満であることを示しており、「P < 0.05」と表記されることがよくあります。

グループ間の統計的有意性は以下の数式を用いて計算しています。

統計
説明
数式
a1第 1 グループの中で、ある回答を選択した回答者の割合に、そのグループの人数を乗じます。
b1第 2 グループの中で、ある回答を選択した回答者の割合に、そのグループの人数を乗じます。
統合サンプル割合 (p)両グループの割合の和になります。
標準誤差 (SE)算出した割合が実際の割合とどれだけ離れているかを示します。数値が小さいほど実際の割合に近く、数値が大きいほど実際の割合から遠くなります。ユーザーによって追加された画像
検定統計量 (t)検定統計量。数値が平均から離れている標準偏差の数になります。
統計的有意性検定統計量の絶対数が平均値 ±1.96* 標準偏差より大きい場合、統計的な有意差ありと考えられます。

*1.96 は信頼度 95% のときに使用される数値です。スチューデントの t-検定量関数では、その領域の 95% が平均値 ±1.96 標準偏差内に収まっているためです。

計算例

上の例をもとに、製品に満足していると回答した男性顧客の割合と女性顧客の割合との間に有意差があるかどうかを検証してみましょう。

男女 1,000 人ずつから回答を集め、製品に満足していると回答した割合が男性顧客では 70%、女性顧客では 65% だったとします。この 70% という割合は、65% に比べて著しく高いといえるでしょうか?

以下のアンケートデータを使用して、計算してみましょう。

  • p1 (製品に満足していると回答した男性顧客の割合) = 0.7
  • p2(製品に満足していると回答した女性顧客の割合)= 0.65
  • n1(男性回答者数)= 1000
  • n2(女性回答者数)= 1000
数式
ユーザーによって追加された画像ユーザーによって追加された画像

検定統計量の絶対数が 1.96 より大きいため、男女間の回答には有意差があることが示されました。男性顧客は女性顧客よりも製品満足度が高い傾向にあるということになります。

統計的有意性の非表示

すべての質問で統計的有意性を非表示にするには

  1. 左サイドバーの比較ルールの右にある下向き三角をクリックします。
  2. ルールの編集をクリックします。
  3. 統計的有意性の表示の隣にあるトグルをクリックすると、統計的有意性がオンになります。
  4. 適用]をクリックします。

特定の質問のみ、統計的有意性を非表示にするには

  1. グラフの上のカスタマイズをクリックします。
  2. 表示オプションタブをクリックします。
  3. 統計的有意性の隣にあるボックスのチェックを外します。
  4. 保存]をクリックします。

統計的有意性を表示しているときは、行列の入れ替えオプションが自動的にオンになっています。従って、この表示オプションのチェックを外して統計的有意性をオフにするという方法もあります。

アンケートに比較ルールが適用されている状態で統計的有意性をオンにします。表示された表を見ると、回答グループによってアンケートの回答に統計的な有意差が生じているのかどうかがわかります。

回答を得る