1. 연구배경 및 목적
체계적 문헌고찰(systematic review)은 특정 연구질문에 대해 현존하는 이용 가능한 모든 연구결과를 체계적이고 과학적인 방법으로 고려하는 연구방법으로, 의료기술평가(health technology assessment, HTA)에서 치료의 효과 및 안전성을 평가 시 활용되는 핵심적인 연구방법 중 하나이다. 그러나 체계적 문헌고찰은 기본적으로 기존에 보고된 연구결과를 요약하는 것이기 때문에 보고비뚤림(reporting bias)에 취약할 수 있다. 그리고 이 중 출판비뚤림은 체계적 문헌고찰에서 메타분석 수행 시 효과를 과대 추정하도록 하여 연구결과의 신뢰도를 떨어뜨릴 수 있으므로 메타분석에서 출판비뚤림을 탐색하고 보정하는 것은 중요하다.
이에 따라 본 연구는 다음과 같은 목적을 가지고 수행되었다.
가) 주요 교과서와 최신 연구를 검토하여 소규모 연구영향과 출판비뚤림을 탐색하고 보정하는 다양한 방법을 제시한다.
나) 주요 저널에 실린 메타분석 연구에 대하여 소규모 연구영향 및 출판비뚤림을 어떻게 탐색하고 있는지 현황을 조사한다.
다) 위 선정된 메타분석 연구를 대상으로 출판비뚤림을 탐색하여 저자의 탐색결과와 비교하고, 출판비뚤림을 보정 후 연구결과가 달라지는지 관찰한다.
2. 연구방법
1) 방법론 검토
소규모 연구영향 및 출판비뚤림 탐색방법과 출판비뚤림 보정방법을 검토하기 위하여, 관련 주요교과서 및 최신연구와 이들의 참고문헌으로부터 나온 관련 연구들을 주제별로 선별하였다. 선별된 교과서와 연구의 탐색방법과 보정방법은 연구진 내 세미나를 통하여 그래프를 이용한 방법, 통계적 모형, 민감도분석의 측면으로 정리되었다.
2) 현황조사
주요 저널에 실린 메타분석 연구에서의 출판비뚤림 탐색 현황을 조사하기 위하여 The Journal of American Medical Association [JAMA], The Lancet, British Medical Journal [BMJ], The New England Journal of Medicine [NEJM] 4개 저널을 선정하였다. 이 4개 저널에 2001-2010년에 출판된 체계적 문헌고찰에서의 메타분석 연구 중 주요 결과변수의 메타분석에 포함된 무작위배정 비교임상시험연구가 10개 이상인 것을 소규모연구영향 및 출판비뚤림 탐색과 출판비뚤림 보정에 적합한 연구로 판단하고, 사전에 설정된 포함·배제기준에 따라 해당연구를 선정하였다.
선정된 연구에 대해서 연구의 일반적 정보와 소규모 연구영향 및 출판비뚤림 탐색여부, 소규모 연구영향 및 출판비뚤림을 지칭하기 위하여 사용하고 있는 용어, 소규모 연구영향 및 출판비뚤림 탐색방법이 추출되었다.
연구선정과 자료추출 과정은 4인의 연구자가 짝을 이루어 독립적으로 수행한 후 불일치에 대해서는 합의를 이루었다.
3) 출판비뚤림 보정
현황조사 대상으로 선정된 연구들 중 메타분석에 포함된 개별연구 단위의 요약자료가 제시되어 있지 않아 출판비뚤림 탐색과 보정이 불가능한 연구를 제외하고, 나머지 연구를 메타분석 단위로 정리하였다. 그리고 연속형 자료이면서 연구 간 이질성이 없는 메타분석이 출판비뚤림 탐색과 보정에 가장 적합하기 때문에 이들을 선정하였다.
선정된 메타분석에 대하여 메타분석의 일반적 정보와 함께 저자의 출판비뚤림 탐색여부, 탐색방법, 탐색결과, 효과추정치, 효과추정치의 신뢰구간을 추출하여 연구자의 출판비뚤림 탐색 및 보정 결과와 비교하고자 하였다. 그리고 메타분석에 포함된 연구들 각각의 효과추정치와 표준오차를 추출하여 출판비뚤림 탐색과 보정에 활용하였다.
소규모 연구영향 및 출판비뚤림 탐색방법으로 contour-enhanced funnel plot, Egger 검정, Begg 순위상관검정을 사용하였고, 출판비뚤림 보정을 위해서는 Egger-variance 회귀모형을 사용하였다. 그리고 보정 결과에 대해서, 출판비뚤림 보정 후 전후 효과추정치가 바뀌었는지, 바뀐 방향성은 어떠하였는지 (i.e. 치료의 효과가 증가 혹은 감소), 효과추정치 변화가 연구결론에 어떠한 영향을 미치는지 관찰하였다.
3. 연구결과
1) 방법론 검토
(1) 소규모 연구영향 및 출판비뚤림 탐색방법
소규모 연구영향 및 출판비뚤림 탐색에서 그래프를 이용한 방법으로는 연구의 정확성과 추정된 효과크기의 관련성을 시각적으로 조사하는 funnel plot과, 여기에 통계적 유의성의 정보가 추가되어 관찰된 소규모 연구영향의 원인이 출판비뚤림인지 탐색하도록 하는 contour-enhanced funnel plot이 있었다.
통계적 모형으로는 Begg 순위상관검정과 Egger 검정이 활용 가능하였다. Begg 검정은 순위상관을 기반으로 한 비모수 검정방법으로서 효과추정치와 분산 사이의 순위상관을 검정하며, Egger 검정은 메타 회귀분석의 일종으로 효과추정치와 표준오차의 역수 간의 선형관계를 검정함으로써 메타분석 내 소규모 연구영향의 존재여부를 판단할 수 있도록 한다. 그 외 통계적 모형으로는 Harbord et al. (2006), Peters et al. (2006), Rücker et al. (2008) 등에서 제안된 모형이 있었다.
소규모 연구영향 탐색을 위한 민감도 분석으로는 메타분석 수행 시 고정효과 모형으로 추정한 효과크기와 변량효과 모형으로 추정한 효과크기를 비교할 수 있다.
(2) 출판비뚤림 보정방법
출판비뚤림 보정방법으로는 절삭과 채움 방법과 fail-safe N을 활용할 수 있는데, 두 방법은 소규모 연구영향이 관찰되었을 때 출판비뚤림의 존재를 미리 가정하고 출판비뚤림이 제거된 전후를 비교하는 일종의 민감도 분석이다. Trill and fill은 funnel plot에서 비대칭성의 원인이 되는 소규모 연구를 제거한 후 전후 효과추정치를 관찰하게 되며, fail-safe N은 효과추정치의 유의성을 제거하기 위하여 필요한 연구 수를 탐색한다.
소규모 연구영향 모형을 이용하여 출판비뚤림을 보정할 수 있는데, 연속형 자료의 메타분석에서는 Egger-variance 회귀모형이, 이분형 자료에서는 Egger-variance 회귀모형과 Peters 회귀모형이 활용 가능하다. 보정 방법은 모형에서 소규모 연구영향이 0일 때 효과값을 참값(true effect)라고 가정하고, 회귀분석을 통하여 이를 추정한다.
2) 현황조사
주요 저널에서의 출판비뚤림 탐색현황을 조사하기 위하여 총 170개의 연구가 최종 선정되었는데, 이 중 출판비뚤림을 82개(48.2%)에서만 탐색하여, 출판비뚤림 탐색이 시행되지 않은 경우가 많았다.
출판비뚤림 탐색 시 사용한 용어의 현황을 보고자 할 때, 출판비뚤림을 탐색하지는 않았지만 용어에 대하여 언급을 한 10개 연구를 포함한 92개 연구를 대상으로 관찰하였으며, 이 중 publication bias을 단독용어로 사용한 연구가 82개(89.1%)로 대다수를 차지하였다. Small study effect를 단독으로 사용한 연구는 1개 있었고, 두 용어를 동시에 언급한 연구는 2개였다.
출판비뚤림을 탐색한 82개 연구 중 탐색방법이 제시되지 않은 1개를 제외한 81개를 대상으로 탐색방법을 관찰하였을 때, funnel plot을 단독으로 사용한 경우가 연구가 31개(38.3%)로 가장 많았으며, 그 다음으로는 10개(12.3%)의 연구에서 funnel plot과 Egger 검정을 같이 사용하였다. 그리고 funnel plot, Egger 검정, Begg 순위상관검정 세 가지를 병행한 연구와 funnel plot과 기타방법(예: 절삭과 채움 방법, file-drawer 검정)들을 병행한 연구가 각각 9개(11.1%)였다.
통계적 검증만 한 연구로는 Egger 검정만 수행한 연구가 7개(8.6%), Egger 검정과 Begg 순위상관검정을 같이 수행한 연구가 6개(7.4%)였다. Begg 순위상관검정만 수행한 연구는 3개(3.7%)였다.
3) 출판비뚤림 보정
현황조사 대상으로 선정된 170개 연구 중 포함된 개별연구 단위의 요약자료가 없는 24개를 제외하고 남은 146개에 대하여 345개의 메타분석을 파악하였다. 그리고 이 중 연속형 자료이면서 연구 간 이질성이 없는 17개의 메타분석이 출판비뚤림 탐색 및 보정 대상으로 선정되었다.
총 17개의 메타분석 중, 4개의 메타분석에 대해서는 저자가 출판비뚤림 탐색을 시도하지 않았고, 출판비뚤림을 탐색한 13개 중에서는 1개에서만 소규모 연구영향의 가능성이 있다고 제한점으로 언급되었으며 나머지 12개는 소규모 연구영향 및 출판비뚤림 가능성이 낮다고 보고되었다. 그러나 본 연구에서 출판비뚤림을 탐색한 결과, 17개 중 9개에서 소규모 연구영향이 관찰되었으며, 이 중 하나는 원인이 출판비뚤림일 가능성이 낮았으나 나머지 8개의 메타분석에서는 출판비뚤림의 가능성이 관찰되었다.
그리고 이 8개는 실험 치료의 유의한 효과를 보고자 하는 연구에 포함된 메타분석으로 메타분석 결과가 치료의 유의한 효과를 보이고 있었는데, 출판비뚤림 보정 후 모두 효과추정치가 효과가 감소하는 방향으로 이동하였으며, 이 중 5개의 메타분석에서는 신뢰구간에 0을 포함하게 되어 더 이상 유의한 효과를 결론지을 수 없게 되었다.
따라서 총 17개의 메타분석 중 5개(29.4%)의 메타분석이 출판비뚤림에 의하여 치료의 효과가 과장되었을 가능성이 있었고, 17개 메타분석이 포함된 총 11개 연구 중 결과의 유의성이 바뀐 5개의 메타분석을 포함하고 있는 5개(45.5%)의 연구에서는 이에 따라 연구결론이 바뀔 가능성이 있음이 확인되었다.
4. 고찰 및 결론
본 연구에서는 체계적 문헌고찰에서 메타분석을 시행할 때 주요 쟁점이 되는 출판비뚤림의 탐색과 보정을 위한 방법론을 폭넓게 고찰하고, 주요 저널에서 최근 10년간의 출판비뚤림 탐색현황과 출판비뚤림의 연구결과 및 결론에의 영향력을 관찰하였다.
탐색현황을 관찰한 결과, 10개 이상의 무작위배정 비교임상시험연구를 포함한 주요 결과변수에 대한 메타분석을 수행한 체계적 문헌고찰 중 약 50%에서만 출판비뚤림 탐색을 하였다. 또한, 탐색방법에 있어서 funnel plot에서의 비대칭성 관찰여부로 출판비뚤림을 판단한 경우가 많았는데 비대칭성의 원인이 출판비뚤림이 맞는지 주의를 기울인 연구는 적었다. 그리고 출판비뚤림 탐색은 단일의 명확한 방법 없기 때문에 여러 대안을 고려하여 탐색하고자 하는 메타분석의 맥락에 맞는 방법을 선정해야 하는데, funnel plot을 단독으로 사용된 연구가 다각적으로 탐색한 연구보다 많았다.
출판비뚤림 탐색 및 보정 대상으로 선정된 17개의 메타분석 중 16개에서 저자들은 출판비뚤림을 탐색하지 않았거나 탐색을 한 결과 비뚤림 가능성이 낮다고 보고하였다. 그러나 본 연구의 탐색결과, 17개 중 8개의 메타분석에서 출판비뚤림이 관찰되었으며, 이 중 29.4%에 해당하는 5개에서는 보정 전에는 치료법의 유의한 효과를 보고하고 있었는데 보정 후에는 효과추정치와 신뢰구간의 변화로 더 이상 치료법의 유의한 효과를 결론지을 수 없게 되었다.
적절한 방법으로 소규모 연구영향과 출판비뚤림을 탐색하는 것은 메타분석에서 연구결과의 신뢰도를 확보하기 위해 필요하다. 향후 체계적 문헌고찰에서 메타분석을 수행하는데 있어서 본 연구에서 정리 및 제시한 출판비뚤림 탐색방법 및 적용결과를 활용함으로써 보다 타당한 근거 생성에 기여할 수 있을 것이다.
1. Backgrounds and Objectives
A systematic review is a research method which summarizes the results of all relevant studies through systematic and scientific processes in order to answer a specific research question. For this reason, a systematic review is one of the most frequently used methods in assessing the effectiveness and safety of interventions as a part of Health Technology Assessment [HTA]. However, systematic reviews are subjected to reporting bias because the methods are fundamentally based on the studies which are already existed. Among various kinds of reporting bias, publication bias leads to overestimation of effect size in systematic reviews with meta-analyses, which could affect the credibility of study results. Therefore, it is important to investigate and adjust publication bias when meta-analyses are conducted in systematic reviews.
The purposes of this study are followed:
A. Introducing various methods of detecting small study effect & publication bias, and methods of adjusting publication bias through reviewing major text books and updated relevant studies
B. Investigating the current status of meta-analysis studies exploring small study effect & publication bias from major journals
C. Exploring small study effect & publication bias to compare the results reported by authors and the adjusted results by the current study and to investigate how the effect estimates in meta-analyses could change between the results
2. Methods
1) Methodology
In order to review methods of exploring small study effect & publication bias and of adjusting publication bias, major text books, updated relevant studies, and additional relevant studies from their bibliographies were selected by themes. The selected books and studies were thoroughly reviewed and organized into a) the method using graphs, b) statistical models, c) sensitivity analyses through seminar
sessions.
2) Current status
The Journal of American Medical Association [JAMA], The Lancet, British Medical Journal [BMJ], The New England Journal of Medicine [NEJM] were selected as major journals to be inspected of the current status of exploring publication bias. Among systematic reviews with meta-analyses published in these journals in 2001-2010, those which had meta-analyses of primary outcomes including ten or more
randomized controlled trials were selected as adequate to exploring and adjusting publication bias. The studies were selected following predetermined inclusion/exclusion criteria.
As for the selected systematic reviews, following information was extracted: general information (i.e. author, year), whether the presence of small study effect & publication bias was explored, the terms indication small study effect & publication bias, and the methods used for exploring small study effect & publication bias.
The selection of studies and extracting data were conducted by four paired investigators exclusively. Discrepancy were resolved by consensus.
3) Adjusting publication bias
The studies selected for exploration of current status were screened whether they had study level data of meta-analyses. Ones without study level data were excluded because exploring and adjusting publication bias required them. The remains were organized by the unit of meta-analysis, and the meta-analyses of continuos data without significant between study heterogeneity were regarded optimal to explore and adjust publication bias, and therefore selected.
On the purpose of comparing the results of exploration and adjustment with those reported by authors, following information was extracted: general information (i.e. author, year), whether small study effect & publication bias were explored by authors, the methods author used, the result and conclusion on the possibility of publication bias, effect estimation, confidence interval of effect estimation. In addition, study level effect estimation and standard error of effect estimation were extracted to be used in investigation and adjusting publication bias.
Contour-enhanced funnel plot, Egger's test, Begg's test were applied to explore small study effect & publication bias, and for the adjustment, Egger's variance regression model was adopted. The observation was focused on whether the effect estimation chanced after adjustment, the direction it changed (i.e. whether the effectiveness of intervention increased or decreased), the effect of the change of the
study conclusion.
3. Results
1) Methodology
(1) Investigation of small study effect & publication bias
For the methods using graphs, there were funnel plots to visually inspect the relation between the precision of included studies and their size of effects, and contour-enhanced funnel plots which provided additional information on the statistical significancy of included studies. Begg's test and Egger's tests were frequently used as statistical models to explore small study effect & publication bias. Begg's test was
a non-parameter method to test rank correlation between effect estimation and variance. Egger's test, a kind of meta-regression analysis, tested the linear relation between effect estimation and standard error. Other models were proposed at Harbord 2006, Peters 2006, and Rücker 2008.
(2) Adjustment of publication bias
Trill-and-fill and fail-safe N were available to adjust publication bias. They were under an assumption that the observed small study effect was caused soley by publication bias, and, as a kind of sensitivity analysis, provided the result when publication bias was not existing anymore. Trill-and fill eliminated small studies causing asymmetry on the funnel plot to observe changed effect estimation after elimination. Fail-safe N explored the number of further needed null studies in order
to remove statistical significancy of effect estimation.
The models of small study effect were proposed to be used for adjusting publication bias. The model of Egger's test was adequate for continuos data, and for dichotomous data, any models of Harbord's test, Peters' test, Rücker's test were recommended. The adjustment was under the assumption of the effect without small study effect was true effect, and the effect was estimated by regression.
(3) Current status
A hundred and seventy two studies were identified for investigation current status of major journals exploring small study effect & publication bias. Among 170 studies, only 82 (48.2%) were exploring publication bias, indicating the publication bias were not being explored as mandatory. The terms of small study effect & publication bias were observed total 92 studies because 10 additional studies which did not explore publication bias but mentioned the term were available. Out of 93 studies, 82 (89.1%) studies used 'publication bias' alone as the most frequently used. There were only one study for 'small study effect' and two studies for both terms.
Among 82 studies which explored small study effect & publication bias, one was excluded for not reporting any method. Out of 81 of which methods to explore publication bias were observable, funnel plot alone were used in the most studies, 31 (38.3%), and the second most frequently used was the combination of funnel plot and Egger's test (10 studies, 12.3%). Nine (11.1%) studies reported the combination of funnel plot, Egger's test, and Begg's test, and another nine reported funnel plot plus others(e.g., trill and fill, fail-safe N).
Some studies only used statistical models: Egger's test alone in seven studies (8.6%), Egger's test plus Begg's test in six studies (7.4%), Begg's test alone in three studies (3.7%).
(4) Adjusting publication bias
Among the 170 studies selected for investigating current status, twenty six were excluded because study level data of meta-analyses were not available. The remaining 146 studies were found to include 345 meta-analyses, and among them meta-analyses with continous data without between study heterogeneity were select for exploring and adjusting publication bias, which left seventeen meta-analyses.
All authors of seventeen meta-analyses did not explore small study effect & publication bias or reported low possibility of them. However, the results of exploration showed nine out of seventeen presented possibility of small study effect. One of them were found not resulted from publication bias, however, in the other eight, it was possible the source of small study effect were publication bias.
All of eight meta-analyses were aim to examine the effectiveness of and the results showed significant effectiveness. However, in five of the eight, after adjusting publication bias, the confidence intervals of effect estimations were changed to include 0, therefore, the results became no longer significant. In other words, the studies which included those five meta-analyses came to be incapable of conclude the significant effectiveness of the interventions.
4. Discussion and conclusion
In this study, the methods for exploring and adjusting publication bias, which is one of the major issues in systematic review with meta-analyses, were reviewed with wide range. Futhermore, the current status of exploring publication bias were investigated in the publications of major journals for recent ten years, as well as the
effect of publication on study results and conclusions by adjusting publication bias in meta-analyses.
Studies in which meta-analyses were performed for primary outcomes with ten or more randomized controlled trials were selected, but the result of investigating current status presents only about half of them conducted exploration. Moreover, funnel plot asymmetry have been found as the most frequently used to examine the possibility of
publication bias, however, few of the studies have pay attention whether publication bias is really the source of asymmetry. Additionally, the sole use of funnel plots has been used more frequently than comprehensive investigation, while it is necessary to consider various methods of exploring publication bias and select the most proper ones in accordance with the context of meta-analyses to which methods are
applied.
In sixteen of seventeen meta-analyses selected for exploring and adjusting publication bias, authors have reported no evidence of publication bias or have not explored it at all. However, the investigation of this study has found eight of seventeen analyses presented possibility of publication bias, and the study conclusions of five (29.4%) studies changed due to the probable publication bias.
The study findings suggest, it is useful to explore small study effect & publication bias when conducting systematic reviews with meta-analyses. Therefore, it is proposed to evaluate publication bias and adjust it using adequate methods in order to improve validity of study results.
연구정보
연구보고서
· 저작자표시
· 출처표시
한국보건의료연구원