m

통계적 유의성

유료 기능: 일부 유료 서비스에서만 통계적 유의성을 사용할 수 있습니다. 현재 가입된 서비스에서 이 기능을 이용할 수 있는지 알아보세요.

여러 특정 응답 그룹 간에 설문조사 질문에 대한 답변 방식에 통계적 유의차가 있는지 확인할 수 있습니다. SurveyMonkey에서 통계적 유의성 기능을 사용하려면:

  • 설문조사에서 질문에 비교 규칙을 추가하는 동시에 통계적 유의성 기능을 켭니다. 설문조사 결과를 그룹별로 나란히 비교하기 위해 비교하려는 그룹을 선택합니다.
  • 설문조사에서 질문에 대한 데이터 표를 조사하여 여러 그룹 간에 설문조사 답변 방식에 통계적 유의차가 있는지 확인합니다.

통계적 유의성 보기

다음 단계에 따라 통계적 유의성을 표시할 수 있는 설문조사를 만들 수 있습니다.

1단계: 설문조사에 폐쇄형 질문 추가

설문 결과를 분석할 때 통계적 유의성을 표시하려면, 설문조사의 질문에 비교 규칙을 적용해야 합니다.

비교 규칙을 적용하고 통계적 유의성을 계산하려면 설문 디자인에서 다음 질문 유형 중 하나를 사용해야 합니다.

보기를 의미 있는 그룹으로 나눕니다. 비교 규칙을 만들 때 비교하려고 선택한 보기를 사용하면 설문조사 나머지 부분에서 데이터를 교차분석할 수 있습니다.

2단계: 설문 응답 수집

설문 디자인을 마친 후 컬렉터를 만들어 발송합니다. 설문조사를 보내는 방법에는 여러 가지가 있습니다.

통계적 유의성 기능을 켜고 보기 위해서는 사용하려는 보기당 적어도 30개의 응답이 필요합니다.

팁! SurveyMonkey Audience를 이용해 설문조사 응답을 구매할 수 있습니다. 성별, 연령, 소득, 고용 상태 등과 같은 특정 특성을 대상으로 하여 필요한 사람들로부터 답변을 받아볼 수 있습니다.
3단계: 비교 규칙 적용

통계적 유의성 기능을 켜려면 설문조사의 질문에 비교 규칙을 추가하여 응답자를 그룹으로 나누어야 합니다.

비교 규칙을 적용하려면:

  1. 설문조사의 설문 결과 분석 탭으로 이동합니다.
  2. 왼쪽 사이드바의 현재 뷰 섹션에서 +비교를 클릭합니다.
  3. 설문조사에서 A/B 테스트를 사용하지 않은 경우 질문 및 답변별 비교를 클릭합니다.
  4. 드롭다운 메뉴를 사용하여 원하는 질문을 찾습니다.
  5. 그룹에 원하는 보기를 선택합니다. 이러한 그룹은 설문조사 나머지 부분에서 데이터를 교차분석하는 데 사용됩니다.
  6. 통계적 유의성 표시 옆에 있는 토글을 클릭하여 켭니다. 통계적 유의성 기능을 켜기 위해서는 2개 이상의 보기에서 각 그룹별로 응답이 30개 이상 있어야 합니다.
  7. 적용을 클릭합니다.

규칙을 만든 후 그룹을 수정하려면 왼쪽 사이드바에서 규칙의 오른쪽에 있는 아래쪽 화살표를 클릭하고 규칙 수정을 클릭합니다.

팁! 여러 개의 비교 규칙을 만들 수 있지만, 한 번에 하나의 비교 규칙만 적용하거나 볼 수 있습니다.
4단계: 데이터 표 조사

비교 규칙을 적용하고 나면, 각 그룹이 각 질문에 어떻게 답변했는지 나란히 표시되므로 유사점과 차이점을 쉽게 알 수 있습니다.

질문 차트 아래에 있는 데이터 표에서 통계적 유의성이 있는 보기가 강조 표시됩니다.

  • 통계적 유의성은 다음의 질문 유형에 대해 계산됩니다. 객관식, 드롭다운, 행렬형/점수 척도 및 순위형.
  • 데이터 표의 각 행은 응답 그룹을 나타냅니다. 또한 각 응답 그룹에는 데이터 표에서 참조할 수 있는 글자가 지정됩니다.
  • 데이터 표의 각 열은 보기를 나타냅니다.

보기 위에 커서를 가져가면 추가 정보가 표시됩니다. 다음 메시지 중 하나가 표시됩니다.

메시지
설명
유의하게 낮음이 그룹은 다른 강조 표시된 그룹에 비해 보기를 선택할 가능성이 유의하게 낮습니다.
유의하게 높음이 그룹은 다른 강조 표시된 그룹에 비해 보기를 선택할 가능성이 유의하게 높습니다.
더 많은 응답 필요이 그룹에서 통계적 유의성을 계산하려면 최소 30개의 응답이 있어야 합니다.
조합된 보기현재 조합된 보기에서는 통계적 유의성을 계산할 수 없습니다. 보기 조합을 해제하세요.
숨겨진 보기현재 숨겨진 보기에서는 통계적 유의성을 계산할 수 없습니다. 보기 숨기기를 해제하세요.
유의차 없음이 그룹은 다른 그룹과 비슷한 빈도로 이 보기를 선택했습니다.

자세한 정보를 보려면 "통계적 유의차란?" 섹션으로 스크롤해 내려갑니다.

5단계: 결과 공유

공유 데이터 페이지

설문조사 결과를 온라인으로 공유할 경우, 공유 데이터 페이지를 보는 사람들은 통계적 유의성을 볼 수 있습니다.

통계적 유의성을 포함하는 공유 데이터 페이지를 만들려면:

  1. 왼쪽 사이드바의 현재 뷰 아래에서 통계적 유의성을 포함하여 만든 비교 규칙을 클릭합니다.
  2. 왼쪽 사이드바의 저장된 뷰에서 +다른 이름으로 저장...을 클릭합니다.
  3. 뷰의 이름을 입력하고 저장을 클릭합니다.
  4. 페이지의 오른쪽 위에 있는 +모두 공유를 클릭합니다.
  5. 공유 데이터 페이지 설정을 마칩니다.

내보내기

통계적 유의성은 요약 데이터 PDF와 PPT 내보내기에 포함됩니다. 내보내기에는 다른 응답과 매우 다른 응답 그룹의 글자를 포함하는 유의하게 다른 응답이 나와 있습니다.

통계적 유의성을 포함하는 결과를 내보내려면, 비교 규칙을 적용하고 현재 뷰 내보내기를 수행합니다.

설문조사 예

남성들이 여성들보다 귀사의 제품에 더 유의하게 만족해 하는지 확인해 보고자 합니다.

  1. 설문조사에 다음과 같은 2개의 객관식 질문을 추가합니다.
     • 귀하의 성별은 무엇입니까? (남성, 여성)
     •  당사 제품에 얼마나 만족하거나 불만족하십니까? (만족, 불만족)
  2. 성별에서 남성을 선택한 응답자가 30명 이상이고 여성을 선택한 응답자가 30명 이상이어야 합니다.
  3. "귀하의 성별은 무엇입니까?" 질문에 비교 규칙을 추가하고 남성과 여성 보기를 둘 다 선택합니다.
  4. "당사 제품에 얼마나 만족하거나 불만족하십니까?" 질문 차트 아래의 데이터 표를 사용하여 보기에 통계적 유의차가 있는지 확인합니다.

통계적 유의차란?

통계적 유의차는 통계적 검정을 사용해 한 그룹의 답변이 다른 그룹의 답변과 현저히 다른지의 여부를 나타냅니다. 통계적 유의성은 해당 수치가 확실히 다르다는 것을 의미하므로 데이터 분석에 상당히 유용합니다. 하지만, 결과가 중요한지 여부를 고려해야 합니다. 즉, 결과를 해석하는 방식이나 결과에 대해 조치를 취하는 방식을 결정하는 것은 회원님의 몫입니다.

예를 들어, 남성보다 여성에게 더 많은 고객 불만을 받고 있다고 가정해 보겠습니다. 이것이 처리해야 하는 실제 차이인지 어떻게 알 수 있을까요? 가장 좋은 방법은 남성 고객이 귀사의 제품에 훨씬 더 만족하고 있는지 확인하는 설문조사를 진행하는 것입니다. 통계식을 사용하는 SurveyMonkey의 통계적 유의성 기능을 통해 남성이 여성보다 귀사 제품에 대한 만족도가 유의하게 높은지 확인할 수 있습니다. 따라서 한 가지 측면만 보지 않고 이 데이터를 토대로 조치를 취할 수 있습니다.

통계적 유의차

데이터 표에서 결과가 강조 표시되면 두 그룹이 서로 유의하게 다르다는 것을 의미합니다. 유의성은 수치가 통계적으로 다르다는 것을 의미하지, 조사 결과가 중요하거나 의미 있음을 의미하는 것이 아닙니다.

통계적 유의차 없음

데이터 표에서 결과가 강조 표시되지 않을 경우, 비교되고 있는 여러 백분율이 다를 수 있더라도 2개 수치는 통계적으로 다르지 않습니다.

유의차가 없는 응답은 표본 크기에서 비교되는 두 항목에 유의차가 없음을 나타내지만, 꼭 중요하지 않다는 것을 의미하는 것은 아닙니다. 표본 크기를 늘림으로써 통계적 유의차를 발견할 수도 있습니다.

표본 크기

표본 크기가 매우 작은 경우, 두 그룹 사이의 큰 차이만이 유의합니다. 표본 크기가 매우 클 경우, 작은 차이와 큰 차이가 모두 유의하게 감지됩니다.

하지만, 두 수치가 통계적으로 다를 경우 결과가 의미 있게 다르다는 것을 의미하는 것은 아닙니다. 설문조사 목표에 따라 의미있는 차이가 어느 정도인지 결정해야 합니다.

통계적 유의성 계산

표준 95% 신뢰 수준을 사용해 통계적 유의성을 계산합니다. 보기를 통계적으로 유의하다고 표시할 때 두 그룹 간 차이가 우연히 또는 표본 추출 오차 단독으로 발생할 확률은 5% 미만이므로, 흔히 p < 0.05로 표시됩니다.

그룹 간의 통계적 유의성을 계산하기 위해 다음 공식을 사용합니다.

통계
설명
공식
a1질문에 특정 방식으로 답변한 첫 번째 그룹에 이 그룹의 표본 크기를 곱한 비율.
b1질문에 특정 방식으로 답변한 두 번째 그룹에 이 그룹의 표본 크기를 곱한 비율.
풀링된 표본 비율(p)두 그룹에 대한 두 비율의 결합.
표준 오차(SE)비율이 실제 비율과 얼마나 차이 나는지를 나타내는 척도. 이 수치가 작을수록 실제 비율에 가깝고, 이 수치가 클수록 비율이 실제 비율과 멀리 떨어져 있습니다.사용자 추가 이미지
검정 통계량(t)t-통계량. 수치가 평균과 얼마나 차이 나는지를 나타내는 표준 편차 수치.
통계적 유의성검정 통계의 절대값이 1.96* 평균의 표준 편차보다 크면 통계적 유의차가 있는 것으로 간주됩니다.

*교과서에 나오는 t-분포 함수에서 95%의 면적이 평균의 표준 편차 1.96 내에 있기 때문에 1.96은 95% 신뢰 수준에서 사용되는 수치입니다.

계산 예

위의 예를 계속 진행해 보면서 귀사의 제품에 만족한다고 대답한 남성의 비율이 여성의 비율보다 유의하게 더 많은지 확인해 보겠습니다.

남성 1000명과 여성 1000명을 대상으로 설문조사를 실시했고 여성이 65%인데 비해 남성 70%가 귀사의 제품에 만족한다고 대답했다고 가정해 보겠습니다. 70%가 65%보다 유의하게 더 높습니까?

다음 설문조사 데이터를 사용해 공식을 완성합니다.

  • p1(제품에 만족한 남성 비율[%]) = 0.7
  • p2(제품에 만족한 여성 비율[%]) = 0.65
  • n1(설문조사 대상 남성 수) = 1000명
  • n2(설문조사 대상 여성 수) = 1000명
공식
사용자 추가 이미지사용자 추가 이미지

검정 통계량의 값이 1.96보다 크기 때문에, 이것은 여성과 남성 간의 차이가 유의함을 의미합니다. 남성이 여성보다 귀사의 제품에 만족할 가능성이 더 높습니다.

통계적 유의성 숨기기

모든 질문에서 통계적 유의성을 숨기려면:

  1. 왼쪽 사이드바에서 비교 규칙의 오른쪽에 있는 아래쪽 화살표를 클릭합니다.
  2. 규칙 수정을 클릭합니다.
  3. 통계적 유의성 표시 옆에 있는 토글을 클릭하여 끕니다.
  4. 적용을 클릭합니다.

한 개의 질문에서 통계적 유의성을 숨기려면:

  1. 질문 차트 위에 있는 맞춤 조정을 클릭합니다.
  2. 표시 옵션 탭을 클릭합니다.
  3. 통계적 유의성 옆 확인란의 선택을 취소합니다.
  4. 저장을 클릭합니다.

통계적 유의성을 표시하면 행과 열 바꾸기 표시 옵션이 자동으로 켜집니다. 이 표시 옵션의 선택을 취소하면, 통계적 유의성 기능도 꺼집니다.

설문조사에서 질문에 비교 규칙을 추가하는 동시에 통계적 유의성 기능을 켭니다. 설문조사에서 질문에 대한 데이터 표를 조사하여 여러 그룹 간에 설문조사 답변 방식에 통계적 유의차가 있는지 확인합니다.

답을 얻으세요