m

Статистическая значимость

ПЛАТНАЯ ФУНКЦИЯ. Функция статистической значимости доступна только в некоторых тарифных планах. Проверьте, есть ли она в Вашем плане.

Можно узнать, есть ли статистически значимые отличия в ответах, полученных от разных групп респондентов на вопросы в опросе. Для работы с функцией статистической значимости в SurveyMonkey необходимо:

  • Включить функцию статистической значимости при добавлении правила сравнения к вопросу в Вашем опросе. Выбрать группы респондентов для сравнения, чтобы отсортировать результаты опроса по группам для наглядного сравнения.
  • Изучить таблицы с данными по вопросам Вашего опроса, чтобы выявить наличие статистически значимых отличий в ответах, полученных от различных групп респондентов.

Просмотр статистической значимости

Выполнив нижеописанные действия, Вы сможете создать опрос, отображающий статистическую значимость.

1. Добавьте в опрос вопросы закрытого типа

Для того, чтобы отобразить статистическую значимость во время анализа результатов, Вам понадобится применить правило сравнения к какому-либо вопросу из Вашего опроса.

Применить правило сравнения и вычислить статистическую значимость в ответах можно в том случае, если в схеме опроса Вы используете один из следующих типов вопросов:

Необходимо убедиться в том, что предлагаемые варианты ответа можно разделить на полноценные группы. Варианты ответа, выбираемые Вами для сравнения при создании правила сравнения, будут использованы для организации данных в перекрестные таблицы в рамках всего опроса.

2. Соберите ответы

После завершения составления опроса создайте коллектор для его рассылки. Существует несколько способов рассылки опросов.

Вам необходимо получить не менее 30 ответов по каждому варианту ответа, который Вы планируете использовать в своем правиле сравнения, чтобы активировать и просмотреть статистическую значимость.

СОВЕТ. Вы можете приобрести ответы на опрос с помощью SurveyMonkey Audience. Укажите в параметрах целевой аудитории конкретные особенности (например, пол, возраст, уровень доходов, статус занятости и т. д.), чтобы получить ответы именно от тех людей, мнения которых для Вас важны.
3. Примените правило сравнения

Для активации функции статистической значимости необходимо добавить правило сравнения к вопросу в опросе, чтобы разделить респондентов на группы.

Как применить правило сравнения

  1. Откройте в опросе раздел Анализ результатов.
  2. На левой боковой панели в разделе «Текущий режим просмотра» нажмите кнопку +СРАВНИТЬ.
  3. Выберите пункт Сравнить по вопросу и ответу, если только в Вашем опросе не используется A/B-тестирование.
  4. Найдите нужный вопрос в раскрывающемся меню.
  5. Выберите варианты ответа для своих групп. Эти группы будут использованы для организации данных в перекрестные таблицы для всех остальных частей Вашего опроса.
  6. Включите функцию Показать статистическую значимость с помощью переключателя. Для активации функции статистической значимости необходимо, чтобы не менее 2 вариантов ответа набрали по 30 или более ответов в каждой группе.
  7. Нажмите кнопку Применить.

Для изменения групп после создания правила нажмите стрелку «вниз», которая находится справа от данного правила на левой боковой панели, а затем выберите пункт Редактировать правило.

СОВЕТ. Можно создавать несколько правил сравнения, но применять или просматривать за раз можно только одно из них.
4. Изучите таблицы данных

После применения правила сравнения можно просматривать результаты ответов каждой группы на каждый из вопросов в режиме наглядного сравнения, благодаря которому удобно выявлять сходства и отличия.

Варианты ответов, являющиеся статистически значимыми, автоматически выделяются в таблицах данных, размещаемых под диаграммами вопросов.

Задержите указатель над любым вариантом ответа, чтобы увидеть дополнительную информацию. Вы увидите одно из следующих сообщений:

Сообщение
Описание
Значительно ниже, чемПо сравнению с другими основными группами вероятность того, что респонденты из данной группы выберут данный вариант ответа, значительно ниже.
Значительно выше, чемПо сравнению с другими основными группами вероятность того, что респонденты из данной группы выберут данный вариант ответа, значительно выше.
Требуется больше ответовДля вычисления статистической значимости для данной группы необходимо получить не менее 30 ответов.
Комбинированные варианты ответаВ настоящее время мы не имеем возможности вычислять статистическую значимость для комбинированных вариантов ответа. Отмените комбинирование вариантов ответа.
Скрытые варианты ответаВ настоящее время мы не можем вычислять статистическую значимость для скрытых вариантов ответа. Отмените скрытие вариантов ответа.
Значительные отличия отсутствуютРеспонденты из данной группы выбирали данный вариант ответа примерно так же часто, как и респонденты из других групп.

Прокрутите страницу до раздела «Что такое статистически значимое отличие?»" для получения дополнительных сведений.

5. Поделитесь своими результатами

Страницы с совместно используемыми данными

Если Вы предоставите онлайн-доступ к результатам своих опросов, то те, кто будет просматривать Ваши страницы с данными в совместном доступе, увидят также и статистическую значимость.

Как создать страницу с совместно используемыми данными, содержащими статистическую значимость

  1. В разделе «Текущий режим просмотра» на левой боковой панели выберите правило сравнения, которое Вы создали с активированной функцией статистической значимости.
  2. В разделе «Сохраненные режимы просмотра» на левой боковой панели выберите пункт +Сохранить как...
  3. Введите название режима просмотра и нажмите кнопку Сохранить.
  4. В правом верхнем углу страницы нажмите кнопку + Поделиться данными.
  5. Завершите настройку страницы с совместно используемыми данными.

Экспорт

Статистическая значимость включается в экспорт сводных данных в формате PDF и PPT. В файлах экспорта ответы, которые значительно отличаются, отмечаются буквой той группы респондентов, от ответов которой они значительно отличаются.

Для экспорта результатов со статистической значимостью примените свое правило сравнения и экспортируйте текущий режим просмотра.

Пример опроса

Вы хотите узнать, довольны ли мужчины Вашей продукцией значительно больше, чем женщины.

  1. Добавьте в опрос два вопроса с множественными вариантами ответа:
     •  Какой Ваш пол? (мужской, женский)
     •  Довольны ли Вы или недовольны нашим продуктом? (доволен(-льна), недоволен(-льна))
  2. Убедитесь, что не менее 30 респондентов выбрали вариант ответа «мужской» на вопрос о поле, А ТАКЖЕ не менее 30 респондентов в качестве своего пола выбрали вариант «женский».
  3. Добавьте правило сравнения к вопросу "Какой Ваш пол?" и выберите оба варианта ответа как Ваши группы.
  4. Используйте таблицу данных ниже диаграммы вопроса "Довольны ли Вы или недовольны нашим продуктом?" , чтобы узнать, показывают ли какие-нибудь варианты ответа статистически значимое отличие

Что такое статистически значимое отличие?

Статистически значимое отличие означает, что с помощью статистического анализа установлено наличие существенных отличий между ответами одной группы респондентов и ответами другой группы. Статистическая значимость означает, что полученные цифры достоверно отличаются. Такие знания в значительной мере помогут Вам при анализе данных. Тем не менее, важность полученных результатов определяете Вы. Именно Вы решаете, как толковать результаты опросов и какие меры следует принять на их основе.

Например, Вы получаете больше претензий от покупателей женского пола, чем от покупателей-мужчин. Как определить, является ли такое отличие реальным и требуется ли в связи с этим принять меры? Одним из отличных способов проверить Ваши наблюдения является проведение опроса, который покажет Вам, действительно ли Вашим товаром в значительно большей мере довольны покупатели-мужчины. С помощью статистической формулы предлагаемая нами функция статистической значимости предоставит Вам возможность определить, действительно ли Ваш товар гораздо больше нравится мужчинам, чем женщинам. Это позволит Вам принять меры, основываясь на факты, а не на догадки.

Статистически значимое отличие

Если полученные Вами результаты выделены в таблице данных, это означает, что две группы респондентов значительно отличаются друг от друга. Термин «значительно» не означает, что полученные цифры имеют какую-то особую важность или значение, а лишь то, что между ними есть статистическая разница.

Отсутствие статистически значимого отличия

Если полученные Вами результаты не выделены в соответствующей таблице данных, это означает, что, несмотря на возможную разницу в двух сравниваемых цифрах, между ними нет статистической разницы.

Ответы без статистически значимых отличий демонстрируют, что между двумя сравниваемыми элементами нет значительной разницы при используемом Вами объеме выборки, однако это не обязательно означает, что они не имеют значения. Возможно, увеличив объем выборки, Вы сможете выявить статистически значимое отличие.

Объем выборки

Если у Вас очень малый объем выборки, значительными будут только очень большие отличия между двумя группами. Если у Вас очень большой объем выборки, как небольшие, так и большие отличия будут учтены как значительные.

Тем не менее, если две цифры являются статистически различными, это не означает, что разница между результатами имеет для Вас какое-либо практическое значение. Вам придется самим решить, какие именно отличия значимы для Вашего опроса.

Вычисление статистической значимости

Мы вычисляем статистическую значимость, используя стандартный уровень доверия 95 %. Если вариант ответа отображается как статистически значимый, это означает, что только благодаря случайности либо из-за ошибки выборки отличие между двумя группами имеет место с вероятностью менее 5 % (часто отображается в виде: p<0,05).

Для вычисления статистически значимых отличий между группами мы используем следующие формулы:

Параметр
Описание
Формула
a1Доля участников из первой группы, ответивших на вопрос определенным образом, умноженная на объем выборки данной группы.
b1Доля участников из второй группы, ответивших на вопрос определенным образом, умноженная на объем выборки данной группы.
Доля объединенной выборки (p)Совокупность двух долей из обеих групп.
Стандартная ошибка (SE)Показатель того, насколько Ваша доля отличается от действительной доли. Меньшее значение означает, что доля близка к действительной доле, большее значение означает, что доля существенно отличается от действительной доли.Добавленное пользователем изображение
Тестовый статистический показатель (t)Тестовый статистический показатель. Количество значений стандартного отклонения, на которое данное значение отличается от среднего значения.
Статистическая значимостьЕсли абсолютная величина тестового статистического показателя превышает 1,96* стандартных отклонений от среднего значения, это считается статистически значимым отличием.

*1,96 является значением, применяемым для уровня доверия 95 %, поскольку 95 % диапазона, обрабатываемого функцией t-распределения Стьюдента, лежит в пределах 1,96 стандартного отклонения от среднего значения.

Пример вычислений

Продолжая пример, используемый выше, давайте выясним, действительно ли процент мужчин, заявляющих о том, что они довольны Вашим товаром, значительно выше процента женщин.

Допустим, в Вашем опросе приняло участие 1000 мужчин и 1000 женщин, и в результате опроса оказалось, что 70 % мужчин и 65 % женщин утверждают, что они довольны Вашим товаром. Является ли показатель на уровне 70 % значительно выше показателя на уровне 65 %?

Подставьте следующие данные из опроса в предлагаемые формулы:

  • p1 (% мужчин, довольных продуктом) = 0,7
  • p2 (% женщин, довольных продуктом) = 0,65
  • n1 (количество опрошенных мужчин) = 1000
  • n2 (количество опрошенных женщин) = 1000
Формула
Пример
Добавленное пользователем изображениеДобавленное пользователем изображение

Поскольку абсолютная величина тестового статистического показателя больше чем 1,96, это означает, что отличие между мужчинами и женщинами является значительным. По сравнению с женщинами мужчины с большей долей вероятности будут довольны Вашим продуктом.

Скрытие статистической значимости

Как скрыть статистическую значимость для всех вопросов

  1. Нажмите стрелку «вниз» справа от правила сравнения на левой боковой панели.
  2. Выберите пункт Редактировать правило.
  3. Отключите функцию Показать статистическую значимость с помощью переключателя.
  4. Нажмите кнопку Применить.

Чтобы скрыть статистическую значимость для одного вопроса, необходимо:

  1. Нажмите кнопку Настроить над диаграммой данного вопроса.
  2. Откройте вкладку Параметры отображения.
  3. Снимите флажок напротив пункта Статистическая значимость.
  4. Нажмите кнопку Сохранить.

Параметр отображения Поменять местами строки и столбцы автоматически активируется при включении отображения статистической значимости. Если снять флажок этого параметра отображения, отображение статистической значимости также будет отключено.

Включите функцию статистической значимости при добавлении правила сравнения к вопросу в Вашем опросе. Изучите таблицы с данными по вопросам Вашего опроса, чтобы выявить наличие статистически значимых отличий в ответах, полученных от различных групп респондентов.

Получите ответы на вопросы