최근 5년간(2011~2015) 사상체질분야 논문의 통계기법 분석 및 오류에 관한 연구

Analysis of the Statistical Techniques and Errors in the Field of Sasang Constitution Researches: from 2011 to 2015

  • cc icon
  • ABSTRACT

    Objectives

    This study was to identify the types of errors in the statistical analysis and trends of previous reported papers that used various statistical techniques.

    Methods

    We have selected 118 original articles for statistical review from the OASIS(http://oasis.kiom.re.kr) and the Pubmed(http://www.pubmed.gov) in the field of Sasang constitutional medicine. Published year was restricted from 2011 to 2015.

    Results

    1. The ANOVA(25.72%) was the statistic of choice overall, followed by the chi-square test(21.74%), regression analysis(14.13%), t-test(11.59%), and etc. 2. By examining the errors of the statistical methods, there were 42(59.2%) thesis with errors among 71 thesis using ANOVA, 19(31.7%) thesis among 60 thesis using chi-square test, and 35(89.7%) over 39 thesis using regression analysis.

    Conclusions

    To improve the quality of Sasang Constitution, the participation of statisticians in research design will reduce the significant errors in statistical interpretation of the results.

  • KEYWORD

    Sasang Constitution , Statistical error , Statistics , ANOVA , Chi-square test

  • Ⅰ. 緖論

    사상체질의학은 사람의 체질에 따라 같은 병이라도 치료방법이 달라지며, 또한 이미 질병에 이환된 상태의 치료뿐만 아니라 질병 이전에 건강을 위해 몸과 마음의 균형을 잡을 수 있는 체질 별 관리방법을 제시할 수 있다는 측면에서 많은 관심을 받고 있다1-3.

    최근 많은 사람들이 건강한 삶과 질병의 예방에 관심을 가지면서 전통적 맞춤의학이라 할 수 있는 사상체질의학에 관한 연구들이 많이 진행되고 있다4-7. 이런 사상체질의학의 논문에서도 많은 통계분석기법이 사용되어지고 있다. 통계 분석은 연구 자료를 분석하고, 뒷받침할만한 타당한 결론을 도출하는데 중요한 역할을 한다. 연구 자료의 내용을 구체화하거나 연구의 결론을 유도하기 위한 적절한 통계기법이 필수적이지만 의학 논문에서 많은 통계기법의 오류가 발견되고 있다8-10.

    본 연구에서는 사상체질연구를 주제로 한 논문들의 통계기법의 적용 및 통계기법의 오류를 분석함으로써, 향후 보다 적절한 통계기법의 사용에 대한 개선책을 제시하고자 한다.

    Ⅱ. 硏究對象 및 方法

       1. 연구대상

    본 연구의 연구대상은 전통의학정보포털 OASIS와 의학전문데이터베이스 PubMed에서 사상체질에 관련해서 논문을 검색하였고, 검색기간은 2011년에서 2015년으로 하였다. OASIS의 검색범위는 [제목 or 초록]으로 검색어는 ‘사상체질’로 검색하여 92편, PubMed의 검색범위는 [title/abstract]으로 ‘sasang constitution’, ‘sasang constitutional medicine’, ‘sasang typology’, ‘sasang’로 중복을 제외하고 61편의 논문이 검색되었다. 검색된 153편 논문 중에서 통계분석이 이루어지지 않았거나 기술통계만 사용된 35편의 논문은 제외하였으며(OASIS 19편, PubMed 16편), 총 118편을 대상으로 분석하였다 (Figure 1).

       2. 연구방법

    최종 분석 대상인 118편의 검색된 모든 논문의 초록과 원문을 검토하였고, 통계기법의 분석 및 통계기법의 오류 등을 평가하였다. 기술통계를 제외한 한 개 이상의 통계기법이 사용된 논문을 대상으로 분석하였고, 많이 사용된 통계기법을 중심으로 오류를 살펴보았다.

    Ⅲ. 結果

       1. 활용된 분석기법의 종류

    총 118편의 논문에서 적용된 통계기법 수를 살펴보면 35편(29.7%)의 논문에서 2종류, 34편(28.8%)의 논문에서 1종류, 29편(24.6%)의 논문에서 3종류, 16편(13.6%)의 논문에서 4종류의 통계기법을 사용하였고, 5종류의 통계기법을 사용한 논문 3편(2.5%), 6종류의 통계기법을 사용한 논문 1편(0.8%)으로 나타났다(Table 1). 통계기법 중에서는 분산분석 (ANOVA), 카이제곱검정(chi-square test), 회귀분석(regression analysis), t검정(t-test), 피어슨의 상관 계수(Pearson's correlation coefficient)등의 순으로 사용빈도가 높은 것으로 나타났다 (Table 2). 본 연구에서는 사용 빈도수가 높은 분산분석, 카이제곱검정, 회귀분석을 중심으로 통계적 오류를 분석하였다.

       2. 주요 분석기법의 오류

    1) 분산분석

    분산분석을 시행한 논문은 71편으로 나타났고, 이 중 사후검정을 한 논문은 46편(64.8%)이고 이 중 그룹간 비교까지 한 논문 17편(23.9%), 유의확률(p-value)만 나와 있는 논문 29편(40.8%)이고, 사후검정에 대한 언급도 없는 논문도 25편(35.2%)으로 나타났다. 반복측정분산분석은 3편이었고, 이 중 구형성을 가정한 논문 1편, 구형성을 가정하지 않은 논문 2편이었다.

    2) 카이제곱검정

    카이제곱검정을 시행한 논문은 60편으로 나타났고, 이 중 카이제곱검정과 피셔의 정확성 검정을 같이 시행한 논문도 4편으로 나타났다. 그 중 교차표를 나타내지 않아 빈도수를 알 수 없는 논문 8편(13.3%), 기대도수가 5미만인 칸이 전체의 25%를 초과하는 논문 8편(13.3%)으로 나타났고, 카이제곱검정을 사용하였다고는 하나 분석방법을 정확히 표기하지 않은 논문 3편(5.0%)으로 나타났다.

    3) 회귀분석

    회귀분석을 시행한 논문은 39편이었고, 분석변수에 따라 선형 회귀분석 9편, 로지스틱 회귀분석 31편, 선형 회귀 분석과 로지스틱 회귀 분석을 같이 시행한 논문 1편으로 나타났다. 선형 회귀분석 9편 중 결정계수를 표시한 논문 4편이였고 4편 모두 결정계수가 낮아 회귀식의 설명력이 높지 않았고, 공선성에 대한 언급은 단 한편도 없었다. 로지스틱 회귀분석 31편 중 공선성에 대한 언급은 단 4편에 불과했다.

    Ⅳ. 考察 및 結論

    많은 연구자들이 연구결과를 설명하고 뒷받침할만 한 충분한 근거를 제시하기 위해 통계분석을 하고 있으나, 적절하지 못한 통계기법의 적용, 잘못된 결과해석 등의 오류를 범하고 있다. 통계적 오류를 파악하기 위해 통계점검표11-13를 개발하는 등 연구가 진행되고 있으나, 유의수준 표기나 분석방법에 대해 밝히지 않는 등 기본적인 오류를 범하고 있는 경우도 있었다.

    적용된 통계기법수를 살펴보면 총 118편의 논문에서 276가지의 통계기법이 사용되었다. 세부적으로 살펴보면 분산분석 71번으로 가장 많이 사용되었고, 카이제곱검정 60번, 회귀분석 39번, t검정 32번등의 순으로 나타났다.

    분산분석이 많이 사용된 데에는 체질에 영향을 미치는 요인에 대한 추론을 시행한 연구가 많았기 때문으로 생각된다. 사상체질은 태양, 태음, 소양, 소음의 네 가지 체질을 비교하는 연구로 분산분석은 집단이 3개 이상일 때 집단을 비교할 때 사용되는 분석이다. 또한 사상체질별로 연령, 키, 몸무게 등 연속형인 일반적 특성 분포를 비교 시에도 분산분석이 사용되어진다. 카이제곱검정은 성별, 혼인여부, 직업 등 범주형인 일반적 특성 분포를 비교할 때 시행한 연구가 많았기 때문으로 생각된다. 분석방법에 대한 내용을 정리하면 다음과 같다.

    1. 세 집단 이상 평균 비교할 때 사용되는 분산분석은 등분산 검정 후 등분산을 만족할 경우 분산분석을 시행하여야 하지만, 등분산 검정에 대한 언급은 7편의 논문에서만 있었고, 64편의 논문에서는 등분산 검정을 하지 않고 분석을 시행하였다.

    2. 기대도수가 5미만인 칸이 전체의 25%를 초과할 때는 카이제곱 통계량의 분모가 작아져서 통계량을 부풀리는 결과를 초래하여 카이제곱검정을 쓰지 않는 것이 좋다고 알려져 있지만14 카이제곱검정을 시행한 60편 중 기대도수가 5미만인 칸이 전체의 25%를 초과하는 논문 8편, 교차표를 나타내지 않아 빈도수를 알 수 없는 논문 8편, 카이제곱검정을 사용하였다고는 하나 분석방법을 정확히 표기하지 않은 논문 3편으로 나타났다.

    3. 공선성은 독립변수들 간에 강한 상관관계가 나타나는 것으로, 공선성이 존재하는 경우, 실제 종속변수에 큰 영향을 미치는 독립변수가 무의미하게 나타날 수 있고, 회귀계수의 부호가 바뀌는 등 독립변수들 간의 강한 상관관계로 인해 잘못된 판단을 유도할 수 있다15. 본 연구에서 회귀분석을 시행한 39편의 논문 중 공선성에 대한 언급은 단 4편에 불과했다.

    4. 그 밖에도 표본의 크기가 충분하지 않음에도 불구하고 정규성에 대한 가정 없이 모수적인 방법으로 분석을 한 경우, 정확한 분석방법을 기재하지 않은 경우, 분석결과의 표기법이 틀린 경우, 하나의 표에 여러 분석결과를 같이 기재하고 표시를 정확히 하지 않은 경우, 유의 수준을 표기하지 않은 경우 등의 오류가 있었다.

    본 연구에서는 한국 한의학의 전통적 맞춤의학이라 할 수 있는 사상체질분야 118편의 논문을 바탕으로 통계기법을 분석하고, 많이 사용된 통계기법을 중심으로 통계기법의 오류를 살펴보았다. 연구대상 논문으로 전통의학정보포털 OASIS와 의학전문데이터베이스 PubMed를 중심으로 사상체질분야 논문을 검색하였지만, 보다 많은 데이터베이스를 활용하지 못하였다는 한계점을 가졌다. 그리고 선행연구, 통계점검표, 통계서적을 참고하여 통계적 오류를 검토하였으나 논문에 기술된 내용으로 연구내용을 검토하는데 한계가 있었고, 포괄적으로 통계기법을 서술하여 논문에 활용된 통계기법들의 사용설명이 부족하였고, 해당 연구에 적합한 통계기법을 사용하였는지에 대한 설명이 부족하다는 한계점을 가졌다. 한계점에 대해서는 추후 연구과제로 남기고자 한다.

    사상체질진단의 신뢰성과 타당성을 향상시키고 연구결과의 과학적인 일반화 등을 위해 연구계획의 설계 시 통계기법에 대한 이해가 필요로 하겠다. 이를 위해 통계전문가와 논의를 할 필요가 있다고 생각되고, 이 과정에서 통계전문가에게 연구의 요점을 정확히 전달하여 데이터 자체만의 분석이 아닌 연구의 흐름을 파악하게 하는 것도 중요하다고 생각된다.

  • 1. Lee JC, Kim SH 2012 Overview on the Sasang Constitutional Abdominal Examination based on Experienced Prescriptions in the Donguisusebowon. [Korean J. Oriental Physiology & Pathology.] Vol.26 P.141 google
  • 2. Lee YS, Kim SH, Lee SW 2012 Researches Trend of Korea Institute of Oriental Medicine in Sasang Constitution Field, From 2007 to 2010. [Korea Journal of Oriental Medicine.] Vol.18 P.59-74 google
  • 3. Kim JS, Hwang MW, Lee JH, Lee EJ, Koh BH, Yoo JH 2013 Development of Clinical Practice Guidelines for Sasang Constitutional Medicine Symptomatology: Purpose, Development Strategy and Procedure. [J Sasang Constitut Med.] Vol.25 P.23-33 google doi
  • 4. Jin HJ, Kim SH, Lee SW 2012 Patent Analysis of Sasang Constitution Medicine. [J of Sasang Constitutional Medicine.] Vol.24 P.54-60 google doi
  • 5. Kang MS, Yu G, Kim LH 2015 A Study on Personality Traits and Cognitive Characteristics of the Sasang Constitution using Neuropsychological and Personality Tests. [J of Oriental Neuropsychiatry] Vol.26 P.131-142 google doi
  • 6. Kim SH, Lee SW, Lee JH, Lee EJ 2015 Clinical Practice Guideline for Sasang Constitutional Medicine: The Examination of Sasangin Disease and Diagnosis for Sasang Constitution. [J Sasang Constitut Med.] Vol.27 P.110-124 google doi
  • 7. Son HB, Kim JH, Park SS, Bae HS 2015 Difference in Taste of Herbal Medications among Sasang Constitution Groups. [J Sasang Constitut Med.] Vol.27 P.288-296 google doi
  • 8. Park TY, Heo TY, Shin BC 2010 Statistical Errors of Articles Published in the Journal of Oriental Rehabilitation Medicine(Ⅰ). [J Oriental Rehab Med.] Vol.20 P.105-130 google
  • 9. Park KH, Kim SH, Kim HG, Lee SW 2010 An Evaluation of the Statistical Techniques Used in Papers of the Journal of Sasang Constitutional Medicine. [J of Sasang Constitutional Medicine. From 2000 to 2009.] Vol.22 P.49 google
  • 10. Lee SD 2008 An Assessment of Statistical Validity of Articles Published in the Journal of Korean Acupuncture & Moxibusition Society, from 1984 to 2002. [The Journal of Korean Acupuncture & Moxibustion Society.] Vol.26 P.289-94 google
  • 11. Ahn YO, Lee HK 1991 Development of a Checklist for Assessing the Methodological and Statistical Validity of Medical Articles. [Korean Journal of Medical Education.] Vol.3 P.19-35 google doi
  • 12. Park HC, Choi DH, Ahn SV, Kang JO, Kim ES, Park W 2008 Statistical Errors in Papers Published in the Journal of the Korean Society for Therapeutic Radiology and Oncology. [J Korean Soc Ther Radiol Oncol.] Vol.26 P.289-294 google doi
  • 13. Park TY, Heo TY, Shin BC 2010 Statistical Errors of Articles Published in the Journal of Oriental Rehabilitation Medicine(Ⅰ). [J Oriental Rehab Med.] Vol.20 P.105-130 google
  • 14. Cohen JE 1976 The Distribution of the Chi-Squared Statistic under Clustered Sampling from Contingency Tables. [Journal of the American Statistical Association.] Vol.71 P.665-670 google doi
  • 15. Jang DH 2006 Two Bootstrap Confidence Intervals of Ridge Regression Estimators in Mixture Experiments. [Korean Journal of Applied Statistics.] Vol.19 P.339-347 google doi
  • [Figure 1.] Process of dissertations collection.
    Process of dissertations collection.
  • [Table 1.] The Number of Analysis Method
    The Number of Analysis Method
  • [Table 2.] The Number of Statistical Analysis Method
    The Number of Statistical Analysis Method