Statistische Signifikanz

Nutzen Sie den GOLD-Tarif oder höher, dann können Sie feststellen, ob bei Ihrer Umfrage beträchtliche Unterschiede zwischen den Antworten bestimmter Beantwortungsgruppen aufgetreten sind. So verwenden Sie das Feature „Statistische Signifikanz“ in SurveyMonkey:

  • Aktivieren Sie das Feature „Statistische Signifikanz“, während Sie einer Frage in Ihrer Umfrage eine Vergleichsregel hinzufügen. Wählen Sie die Gruppen aus, die Sie vergleichen möchten, um Ihre Umfrageergebnisse nach Gruppe sortiert in einer Gegenüberstellung anzuzeigen.
  • Überprüfen Sie die Datentabellen im Hinblick darauf, ob es zwischen den verschiedenen teilnehmenden Gruppen statistisch signifikante Unterschiede bei der Beantwortung von Fragen gab.

Statistische Signifikanz anzeigen

Die folgenden Schritte zeigen, wie Sie eine Umfrage erstellen, die die statistische Signifikanz anzeigen kann.

Schritt 1: Fügen Sie einer Umfrage Fragen mit bestimmtem Ende hinzu.

Um bei der Analyse von Ergebnissen die statistische Signifikanz anzeigen zu können, müssen Sie auf eine Frage in Ihrer Umfrage eine Vergleichsregel anwenden.

Sie müssen in Ihrem Umfrageentwurf einen der folgenden Fragetypen verwenden, um eine Vergleichsregel anwenden und die statistische Signifikanz berechnen zu können:

Stellen Sie sicher, dass sich Ihre Antwortoptionen in aussagekräftige Gruppen untergliedern lassen. Die Antwortoptionen, die Sie beim Erstellen der Vergleichsregel zum Vergleich auswählen, werden verwendet, um Ihre Daten für den Rest der Umfrage in einer Kreuztabelle darzustellen.

Schritt 2: Erfassen Sie Beantwortungen.

Wenn Sie das Entwerfen Ihrer Umfrage abgeschlossen haben, erstellen Sie einen Collector, um sie zu verteilen. Es gibt mehrere Möglichkeiten Ihre Umfrage zu versenden.

Sie benötigen mindestens 30 Beantwortungen pro Antwortoption, die Sie für die Vergleichsregel verwenden möchten, um das Feature „Statistische Signifikanz“ zu aktivieren und anzuzeigen.

TIPP! Sie können mit SurveyMonkey Audience Umfragebeantwortungen erwerben. Legen Sie bestimmte Attribute wie Geschlecht, Alter, Einkommen, Beschäftigungsstatus und vieles mehr fest, um Antworten von solchen Personen zu erhalten, deren Meinungen für Sie relevant sind.
Schritt 3: Wenden Sie eine Vergleichsregel an.

Um das Feature „Statistische Signifikanz“ zu aktivieren, müssen Sie einer Frage in der Umfrage eine Vergleichsregel hinzufügen, um die Befragten in Gruppen einzuteilen.

So wenden Sie eine Vergleichsregel an:

  1. Wechseln Sie in den Bereich Ergebnisse analysieren Ihrer Umfrage.
  2. Klicken Sie in der linken Seitenleiste im Bereich AKTUELLE ANSICHT auf + VERGLEICHEN.
  3. Klicken Sie auf Nach Frage und Antwort vergleichen, sofern Sie keinen A/B-Test in Ihrer Umfrage verwendet haben.
  4. Suchen Sie im Dropdownmenü nach der gewünschten Frage.
  5. Wählen Sie die Antwortoptionen aus, die Sie für Ihre Gruppen verwenden möchten. Diese Gruppen werden verwendet, um Ihre Daten für den Rest der Umfrage in einer Kreuztabelle darzustellen.
  6. Klicken Sie auf die Umschaltfläche neben Statistische Signifikanz anzeigen, um dieses Feature zu aktivieren. Mindestens zwei der Antwortoptionen benötigen mindestens 30 Beantwortungen in jeder Gruppe, damit das Feature „Statistische Signifikanz“ aktiviert werden kann.
  7. Klicken Sie auf Übernehmen.

Um Ihre Gruppen nach Erstellung der Regel bearbeiten zu können, klicken Sie in der linken Seitenleiste rechts neben der Regel auf den Pfeil und auf Regel bearbeiten.

TIPP! Sie können mehrere Vergleichsregeln erstellen, aber jeweils nur eine Vergleichsregel anwenden oder anzeigen.
Schritt 4: Prüfen Sie Ihre Datentabellen.

Nachdem Sie die Vergleichsregel angewendet haben, können Sie in der direkten Gegenüberstellung feststellen, wie jede Gruppe die Fragen beantwortet hat, und problemlos Ähnlichkeiten und Unterschiede erkennen.

Antwortoptionen mit statistischer Signifikanz sind in den Datentabellen unterhalb der Fragediagramme hervorgehoben.

  • Die statistische Signifikanz wird für die folgenden Fragetypen berechnet: Multiple Choice, Dropdownmenü, Matrix/Bewertungsskala und Ranking.
  • Jede Zeile in der Datentabelle steht für eine Beantwortungsgruppe. Außerdem wird jeder Beantwortungsgruppe ein Buchstabe zugewiesen, den Sie in der Datentabelle angeben können.
  • Jede Spalte in der Datentabelle steht für eine Antwortmöglichkeit.

Zeigen Sie mit dem Mauszeiger auf eine beliebige Antwortoption, um weitere Informationen zu sehen. Es werden folgende Nachrichten angezeigt:

Nachricht
Beschreibung
Deutlich geringer alsBei dieser Gruppe ist die Wahrscheinlichkeit, dass diese Antwortoption ausgewählt wird, deutlich geringer als bei anderen markierten Gruppen.
Deutlich höher alsBei dieser Gruppe ist die Wahrscheinlichkeit, dass diese Antwortoption ausgewählt wird, deutlich höher als bei anderen markierten Gruppen.
Mehr Beantwortungen erforderlichSie benötigen mindestens 30 Beantwortungen, um die statistische Signifikanz für diese Gruppe zu berechnen.
Kombinierte AntwortmöglichkeitenAktuell können wir die statistische Signifikanz für kombinierte Antwortmöglichkeiten nicht berechnen. Heben Sie die Kombination auf.
Ausgeblendete AntwortmöglichkeitenAktuell können wir die statistische Signifikanz für ausgeblendete Antwortmöglichkeiten nicht berechnen. Blenden Sie sie wieder ein.
Kein signifikanter UnterschiedDie Gruppe hat diese Antwortauswahl genauso oft ausgewählt wie andere Gruppen.

Blättern auf der Seite nach unten zum Abschnitt „Was ist ein statistisch signifikanter Unterschied?“, um weitere Informationen zu erhalten.

Schritt 5: Geben Sie Ihre Ergebnisse frei.

Seiten mit freigegebenen Daten

Bei einer Online-Freigabe von Umfrageergebnissen können Personen, die Seiten mit freigegebenen Daten einsehen, die statistische Signifikanz anzeigen.

So erstellen Sie eine Seite mit freigegebenen Daten, die auch die statistische Signifikanz umfasst:

  1. Klicken Sie unter „Aktuelle Ansicht“ in der linken Seitenleiste auf die Vergleichsregel, die Sie mit der statistischen Signifikanz erstellt haben.
  2. Klicken Sie unter „Gespeicherte Ansichten“ in der linken Seitenleiste auf +Speichern unter.
  3. Geben Sie einen Namen für die Ansicht ein und klicken Sie auf Speichern.
  4. Klicken Sie oben rechts auf der Seite auf Alle freigeben.
  5. Beenden Sie die Einrichtung der Seite mit freigegebenen Daten.

Exporte

Die statistische Signifikanz ist in den Exporten der Übersichtsdaten im PDF- und PPT-Format enthalten. Im Export sind Beantwortungen, die signifikante Unterschiede aufweisen, mit dem Buchstaben der Beantwortungsgruppe gekennzeichnet, von der sie deutlich abweichen.

Um Ergebnisse mit der statistischen Signifikanz zu exportieren, wenden Sie Ihre Vergleichsregel an und exportieren Sie die aktuelle Ansicht.

Beispielumfrage

Sie möchten wissen, ob Männer mit Ihrem Produkt deutlich zufriedener sind als Frauen.

  1. Fügen Sie Ihrer Umfrage zwei Multiple-Choice-Fragen hinzu:
     •  Geschlecht? (männlich, weiblich)
     •  Wie zufrieden oder unzufrieden sind Sie mit unserem Produkt? (zufrieden, unzufrieden)
  2. Stellen Sie sicher, dass mindestens 30 Befragte diese Frage mit „männlich“ UND mindestens 30 mit „weiblich“ beantworten.
  3. Fügen Sie der Frage „Geschlecht?“ eine Vergleichsregel hinzu und wählen Sie die Antwortoptionen „Männlich“ und „Weiblich“ als Gruppen aus.
  4. Verwenden Sie die Datentabelle unterhalb des Fragendiagramms zu „Wie zufrieden oder unzufrieden sind Sie mit unserem Produkt?“, um zu sehen, ob die Antwortoptionen statistisch signifikante Unterschiede erkennen lassen.

Was ist ein statistisch signifikanter Unterschied?

Ein statistisch signifikanter Unterschied gibt darüber Auskunft, ob sich die Antworten einer Gruppe grundlegend von denen einer anderen Gruppe unterscheiden. Hierfür wird ein statistisches Testverfahren verwendet. Statistische Signifikanz bedeutet, dass Zahlen zuverlässig verschieden sind, was die Datenanalyse maßgeblich unterstützt. Trotzdem sollten Sie auch überlegen, ob die Ergebnisse wichtig sind, und es liegt letztendlich an Ihnen, die Ergebnisse zu interpretieren oder Maßnahmen zu ergreifen.

Angenommen, Sie erhalten mehr Beschwerden von Frauen als von Männern. Woran erkennen Sie, dass es sich hierbei um einen echten Unterschied handelt, der Maßnahmen erfordert? Eine gute Methode ist die Durchführung einer Umfrage, um herauszufinden, ob männliche Kunden mit Ihrem Produkt deutlich zufriedener sind. Mithilfe unserer statistischen Formel kann Ihnen unser Feature „Statistische Signifikanz“ dabei helfen herauszufinden, ob Männer mit Ihrem Produkt deutlich zufriedener sind als Frauen. Das bietet Ihnen die Möglichkeit, Schritte nicht auf der Basis von Vermutungen, sondern handfester Daten einzuleiten.

Statistisch signifikanter Unterschied

Wenn Ihre Ergebnisse in der Datentabelle markiert werden, bedeutet dies, dass sich die zwei Gruppen deutlich voneinander unterscheiden. Signifikanz bedeutet, dass sich die Zahlen statistisch unterscheiden, aber nicht unbedingt, dass das Ergebnis wichtig oder aussagekräftig ist.

Kein statistisch signifikanter Unterschied

Wenn Ihre Ergebnisse in der Datentabelle nicht hervorgehoben sind, obwohl sich die verglichenen Prozentwerte unterscheiden, sind die Werte statistisch betrachtet nicht unterschiedlich.

Beantwortungen ohne statistisch signifikante Unterschiede zeigen, dass die zwei verglichenen Elemente sich nicht wesentlich von Ihrem Stichprobenumfang unterscheiden. Das bedeutet aber nicht zwangsläufig, dass sie nicht wichtig sind. Vielleicht lässt sich ein statistisch signifikanter Unterschied erkennen, wenn Sie den Stichprobenumfang erhöhen.

Stichprobenumfang

Wenn Sie mit einem sehr kleinen Stichprobenumfang arbeiten, sind nur große Unterschiede zwischen zwei Gruppen signifikant. Wenn Sie mit einem sehr großen Stichprobenumfang arbeiten, werden sowohl kleine als auch große Unterschiede erkannt und als signifikant eingestuft.

Wenn zwei Zahlen jedoch statistisch unterschiedlich sind, bedeutet das nicht, dass die Unterschiedlichkeit der Ergebnisse aussagekräftig ist. Sie müssen für Ihr Umfrageziel entscheiden, welche Unterschiede aussagekräftig sind.

 

Statistische Signifikanz berechnen

Wir berechnen die statistische Signifikanz mit einem den gängigen Anforderungen entsprechenden Konfidenzniveau von 95 %. Wenn wir eine Antwortoption als statistisch signifikant anzeigen, bedeutet dies, dass der Unterschied zwischen zwei Gruppen mit einer Wahrscheinlichkeit von weniger als 5 % zufällig oder durch einen Stichprobenfehler aufgetreten ist, was häufig als p < 0,05 dargestellt wird.

Zur Berechnung der statistischen Signifikanz zwischen Gruppen verwenden wir die folgenden Formeln:

Statistik
Beschreibung
Formel
a1Der Anteil der ersten Gruppe, der eine Frage auf bestimmte Weise beantwortet, multipliziert mit dem Stichprobenumfang dieser Gruppe.
b1Der Anteil der zweiten Gruppe, der eine Frage auf bestimmte Weise beantwortet, multipliziert mit dem Stichprobenumfang dieser Gruppe.
Zusammengeführter Stichprobenanteil (p)Die Kombination der zwei Anteile für beide Gruppen.
StandardfehlerEin Maß dafür, wie stark Ihr ermittelter Anteil vom tatsächlichen Anteil abweicht. Ein kleiner Wert gibt eine geringe, ein hoher Wert eine starke Abweichung des von Ihnen ermittelten Anteils vom tatsächlichen Anteil an.Vom Benutzer hinzugefügtes Bild
Teststatistik (T)Eine Testgröße Die Anzahl der Standardabweichungen, die eine Zahl vom Mittelwert abweicht.
Statistische SignifikanzWenn der Absolutwert der Teststatistik größer als 1,96* Standardabweichungen vom Mittelwert ist, wird dies als statistisch signifikanter Unterschied betrachtet.

*1,96 ist eine Zahl, die für ein Konfidenzniveau von 95 % verwendet wird, da 95 % des Bereichs unterhalb der Student-t-Verteilungsfunktion innerhalb von 1,96 Standardabweichungen vom Mittelwert liegen.

Beispielberechnung

Als Weiterführung des obigen Beispiels wollen wir herausfinden, ob der Prozentsatz der Männer, die mit Ihrem Produkt zufrieden sind, deutlich höher liegt als der Prozentsatz der Frauen.

Angenommen, Sie haben je 1000 Männer und Frauen befragt und dabei festgestellt, dass 70 % der Männer mit Ihrem Produkt zufrieden sind, aber nur 65 % der Frauen. Sind 70 % deutlich höher als 65 %?

Verwenden Sie die folgenden Umfragedaten, um die Formeln zu vervollständigen:

  • p1 (Prozentsatz der mit dem Produkt zufriedenen Männer) = 0,7
  • p2 (Prozentsatz der mit dem Produkt zufriedenen Frauen) = 0,65
  • n1 (Anzahl der befragten Männer) = 1000
  • n2 (Anzahl der befragten Frauen) = 1000
Formel
Beispiel
Vom Benutzer hinzugefügtes BildVom Benutzer hinzugefügtes Bild

Da der Absolutwert der Teststatistik größer als 1,96 ist, ist der Unterschied zwischen Männern und Frauen signifikant. Männer werden mit einer höheren Wahrscheinlichkeit mit Ihrem Produkt zufrieden sein als Frauen.

Statistische Signifikanz ausblenden

So blenden Sie die statistische Signifikanz für alle Fragen aus:

  1. Klicken Sie in der linken Seitenleiste auf den Pfeil rechts neben der Vergleichsregel.
  2. Klicken Sie auf Regel bearbeiten.
  3. Klicken Sie auf die Umschaltfläche neben Statistische Signifikanz anzeigen, um dieses Feature zu deaktivieren.
  4. Klicken Sie auf Übernehmen.

So blenden Sie die statistische Signifikanz für eine Frage aus:

  1. Klicken Sie oberhalb des Fragendiagramms auf Anpassen.
  2. Klicken Sie auf die Registerkarte Anzeigeoptionen.
  3. Deaktivieren Sie das Kontrollkästchen neben Statistische Signifikanz.
  4. Klicken Sie auf Speichern.

Die Anzeigeoption Zeilen und Spalten tauschen wird automatisch aktiviert, wenn Sie die statistische Signifikanz anzeigen. Wenn Sie diese Anzeigeoption deaktivieren, wird auch die statistische Signifikanz deaktiviert.

Aktivieren Sie das Feature „Statistische Signifikanz“, während Sie einer Frage in Ihrer Umfrage eine Vergleichsregel hinzufügen. Überprüfen Sie die Datentabellen im Hinblick darauf, ob es zwischen den verschiedenen teilnehmenden Gruppen statistisch signifikante Unterschiede bei der Beantwortung von Fragen gab.

Alle Antworten heute noch