연구배경
최근 국내에서도 신의료기술의 평가, 신약의 등재과정 등 보건의료분야에 근거중심의사결정 체계가 급속도로 제도화되기 시작하였고 임상진료지침에 대한 관심도 증가하고 있다. 근거중심의사결정의 과정은 기존의 연구 결과에 대한 체계적인 검색과정과 문헌에 대한 비평적 평가를 통해 얻는 해당 중재의 효과와 위해에 대한 정보이며 이를 바탕으로 해당 중재를 사용할지에 대한 의사 결정을 하게 된다.
이 과정은 특정 중재의 이득(benefit)과 위험(risk)를 평가하고 둘 사이의 저울질(trade-off)을 하는 최종 과정이 필요한데 이러한 연구를 통해 얻어진 치료의 결과를 어떻게 표현하느냐에 따라 해당 치료의 이득에 대한 치료적 효과의 인식이 영향을 받게 되며 결과측정 방식에 따라 동일한 치료법에 대해서도 효과의 크기에 대한 인식이 달라질 수도 있다.
또한 약제의 인허가 관청이나 급여 여부를 결정하는 기관에서도 이러한 이득-위험 분석의 필요를 느낄 수 있다.
이와 같은 배경 하에 치료법에 대한 잘 고안된 연구를 통해 얻어진 치료의 효과 측정법에 대한 올바른 이해와 그 치료법들이 어떻게 인식되는지 연구할 필요가 있고 이러한 이득과 해로움에 대한 가치 판단과정에 있어서 보다 더 객관화 시킬 수 있는 방법은 없는지 알아 볼 필요가 있다.
연구방법
치료효과를 측정하는 방법에 대한 분석과 효과크기에 따른 의사결정 방법론에 대한 고찰은 근거중심의학 관련 교과서, cochrane handbook, 관련 학술지에 대한 고찰을 통하여 이루어졌으며 fda, chmp(committee for medicinal products for human use) 등 신약의 승인과 관련된 기관을 검색하여 관련 방법론을 고찰하였다.
기존 치료법들에 대한 근거중심임상진료지침을 이용하여 의학적으로 받아들여진 치료법에 대한 효과의 크기와 그 측정값의 효용을 도식화 하여 의사결정의 참고수치화 할 수 있는 여부를 알아보기 위한 연구를 위해서는 질병의 자연사가 급·만성적인 경과과정이 있고, 의료결과가 증상완화에서 사망까지를 포함한 질환으로 외부효과가 없는 특정 기관(organ)에 관계된 질환으로서 국내외 임상진료지침에서 제시한 표준적인 치료법을 갖고 있는 질환을 선정하였다.
효과의 크기와 효용의 관계성을 2차원 그래프(y축: utility, x축: nnt)로 도식화 하였다.
연구결과
치료의 효과를 측정하는 방법에 관해서는 측정법의 특성에 따라 장점과 한계점들을 갖고 있다. 비교위험도(rr)이나 상대위험도감소(rrr)같은 지표들은 임상시험의 결과들을 요약하는데 유용한 지표들이며 비교적 이해하기 쉽고, 매우 다른 임상적 상태에서도 rrr값은 같을 수 있으며 전향적 코호트 연구나 무작위대조군 임상시험에서 구할 수 있으나 그 외 단면 연구나 환자-대조군연구 같은 경우 사용할 수 없다. 결과의 확률에 기초한 것이므로 무작위 선정이나 대표성이 있는 표본이 선정된 경우에 한하여 사용할 수 있다는 제한점을 지니고 있다. 또한 현저한 치료의 효과와 절대수에 있어 매우 적은 효과를 분별하지 못할 수 있으므로 이러한 상대적 비교 특성을 지닌 결과 값만 제시하는 것은 위험할 수 있다. 따라서 이러한 점을 보완할 수 있도록 절대적 비교의 특성을 갖는 절대위험도감소나 nnt 같은 지표를 제시할 필요가 있고 특히 nnt는 한 바람직하지 않은 사건(事件; event)을 막기 위해 얼마의 노력을 들여야 할지를 보다 더 명확히 표현하며 동일비교 대상, 동일 위험군에서 유사한 시기의 결과값을 측정할 경우 연구간, 치료법간 비교에 정보를 제공하게 된다. 그럼에도 불구하고 실제로 소수의 문헌에서만 nnt 혹은 arr을 보고함으로써 불균형적인 보고를 하고 있다. 실제 우리나라에서도 nnt에 대한 인식이 아직 부족하고 그 개념을 이해하는 의사결정자들이 부족하므로 이 분야에 대한 교육과 지식의 확산이 절실하다.
nnt가 지니고 있는 한계점도 또한 분명하여 기저 위험의 정도, 대조군의 종류, 임상연구에서 결과가 측정된 시기 등에 영향을 받게 되므로 치료간의 효과를 비교하는데 도움이 되지만 이러한 요소를 고려하지 않고 비교하는 오류를 범하지 말아야 한다. nnt수치 자체는 다른 지표와 마찬가지로 그 결과값에 대한 가치가 반영되지 않은 수치이므로 nnt값만 갖고 판단할 수는 없으며 그 효용과 치료에 드는 비용 그리고 치료에 의한 부작용에 대한 고려를 해야 올바른 판단을 할 수 있다.
또한 각 지표가 갖는 특성자체도 있지만 어떤 지표를 제시하는가에 따라 치료의 효과를 인식하는 정도도 달라질 수 있으므로 주의를 요한다. 많은 연구들에 있어서 정도의 차이가 있으며 상당히 이질적이긴 하나 일관되게 상대적 특성을 갖는 결과 측정법에 의해 의사결정하는 것이 절대적 특성을 지닌 결과값 측정법에 의한 정보를 제시한 경우보다 효과에 대해 더 크게 인식된다는 연구에 대해 주의할 필요가 있다.
국가적으로 중요한 의사결정을 할 경우 그 의사결정의 결과에 대해 후에 비평을 받게 되는 경우가 종종 생기게 되며 약제의 승인과정에 있어서 인허가의 의사결정에 대한 시비가 클 수 있다. 따라서 이런 의사결정을 하는 조직이나 위원회는 보다 객관적으로 치료법의 득과 실을 판단하는 방법이 필요하며 이에 대하여는 많은 연구들이 이루어져 왔으나 아직 어떤 방법이 최선의 방법인지 국제적으로 합의된 부분은 부족하다. 하지만 득과 실에 대한 trade off는 의사결정이나 권고사항 결정과정에서 피할 수 없는 부분이며 다양한 이해당사자들이 존재하는 보건의료분야의 특성상 투명하고 객관화 시키는 노력을 기울이지 않을 수 없다. 이상적인 방법은 chmp에서 제시한 바와 같이 가장 중요한 이득과 가장 심각한 위험을 쉽게 확인하게 해주는 것, 개별 이득과 위험에 대한 명백한 가중치를 부여하는 것, 근거의 강도와 확인된 불확실성에 대해 제시하는 것이며 이러한 원칙하에 각 치료법이 갖는 부차적인 이득과 위해를 종합적으로 반영하고 총합하여 결론을 내릴 수 있다면 좋겠지만 많은 변수를 고려할수록 방법론이 복잡해지고 실제로 사용하기에 어려울 수도 있다.
미국 fda가 새로운 이득-위험 분석의 조건으로 제시한 바에 따르면 약제 이득 위험 분석의 복잡성을 잘 포착하여야 하며 개별 환자에서 이득-비용의 특성을 양적으로 표현할 수 있어야 하고 새로운 정보가 나올 때 갱신할 수 있어야 한다. 또한 이득-위험 평가에 내재한 불확실성을 다루어야 하고 이득-위험 평가에서 비용의 문제를 해결할 수 있어야 한다. 양적 체계 도입의 비용 문제와 잠재적 이상 효과에 대하여 다루어야 하고 양적인 정보를 효과적으로 제시하고 교류할 수 있게 하여야 한다.
지금까지 연구를 토대로 향후 일상적으로 사용하기에 어렵지 않으면서 총괄적으로 이해득실을 평가할 수 있는 방법론의 도출이 필요하다.
결론 및 정책제언, 고찰 및 결론
근거중심의사결정에 있어서 기존의 임상연구들에 대한 체계적이고 비평적인 방법을 통해 합성된 양질의 근거가 필요하며 이러한 연구들에 의하여 제시되는 결과의 측정 방법들은 각각 특장점과 제한점을 가지고 있다.
치료중재법의 치료효과 크기를 고려한 의사결정에서 효과의 크기를 비교 치료법에 대하여 상대적으로 표현하는 방법들과 차이를 절대적으로 표현하는 방식에 따라서 효과의 크기에 대한 인식이 달라질 수 있으므로 연구자는 결과값을 제시할 때 상대적 특성을 갖는 방법(rr, rrr)과 절대적 특성을 갖는 방법(arr, nnt)값을 동시에 제시할 것을 권한다.
치료의 이득과 손실을 저울질하는데 있어 보다 객관화된 방법들이 도입되고 있다. 상황에 적절한 치료법에 대한 이득과 해로움을 측정하는 방법의 특성을 사용하여 의사결정과정에 보다 객관화를 기할 필요가 있다.
Background
The rapid turnover in the means of registering new drugs and new health technology assessment has been led by the increase of interest in evidence-based decision making as well as its effects on the clinical guidelines.
In these days, evidence-based decision making in healthcare begins to be increased by regulations of new health technology assessment, registration of new drugs and interest in the clinical practice guideline.
The process for evidence-based decision making involves the process gathering the information about benefit and harm of intervention through systematic search, and assessing quality of individual studies. Based on these results, the policy makers and clinician could make a decision based on the evidence based-information.
The most important part of this process is to weigh up the beneficial and harmful effects of intervention, which is weighing the benefits and risks to determine the trade off between the two. However, the decision making process may be affected by how effect size is presented and analyzed even for a same study.
Also, there is an increasing need of benefit risk analysis in offices that determines the benefit coverage and approval of various drugs.
Therefore, we aimed to investigate the how decision makers are recognize the intervention according to presentation of various effect size, and to examine the current status of benefit risk analysis which allow to incorporate policy makers’ perspectives as well as patients’ one.
Methods
We performed the comprehensive searches using evidence based medicine textbooks, Cochrane handbook and various related journals. Also, offices involved with sanctioning new drugs such as FDA, CHMP (Committee for Medical Products for Human Use) have been searched for further information.
To inquire the acceptable NNT range of standard and traditional therapies, we selected the diseases with acute/chronic progression and with outcomes of interest that include from symptom alleviation to death. Also, the selected disease is restricted to a specific organ without externalities, and has an international standardized treatment guidelines.
The relationship between the magnitude of effects and utility has been represented in a two-dimensional graph (Y axis: utility, X axis: NNT)
Results
There are advantages and limitations in measuring the treatment effects of interventions. Relative effect size such as Relative risks (RR) and Relative Risk Reduction (RRR) is useful indices that may be summarized and analyzed easily from clinical, cohort and randomized controlled studies. However, these cannot be used in cross-sectional and case-control studies. Also, since it relies on the outcomes’ probabilities, their use is limited in randomized controlled trials or in selecting the study participants by representative sampling. Also, since it is unable to differentiate between very small effects in absolute number and remarkable treatment effects, it may be risky to provide only relative treatment effect size with nature of relative comparsion. Therefore, it is needed to provide absolute risk reduction values or NNT(Number needed to treat) values to provide values that may be utilized for absolute comparisons. Especially, the NNT is the number of patients who need to be treated in order to prevent one additional undesirable outcome (i.e. the number of patients that need to be treated for one to benefit compared with a control in a clinical trial). Also, it provides comparitive information between studies/treatment when measured from comparison groups with similar undlerying risks during same periods.
However, only few studies provide NNT or ARR values in representing treatment effect size. Also, since medical researchers as well as decision makers lack in knowledge about NNT values, transfer of knowledge and implementation of the education about absolute effect size measures in this field is needed.
However, there are some limitations to NNT value. Since it is affected by variables such as magnitude of underlying risk, type of comparison group and the period when the clinical data was obtained. Even though it may be effective in comparing in between different treatment effects, these variables must be taken into consideration during the comparison process. Because NNT does not incorporate values of patients or society in itself, variables such as utility, cost, and adverse effects must be taken into consideration during the decision making process.
Also, there is a need to pay an attention to the results of outcomes representing by various effect size measures may alter the interpretation of treatment effects. Some studies have showed that decision makers might be overestimated the treatment effect in the relative effect size measures than the absolute ones.
In deciding health policy affecting the whole nation, decision makers are usually followed by criticisms as well as controversial debates. Therefore, there has been a significant need of utilizing objective methods for balancing the benefits and risks of various treatment methods. However, despite the efforts to find an objective method, an international agreement in choosing the best evaluation method has not be made yet. Regardless of a unanimous agreement on the evaluation method, benefit-harm tradeoff must be a transparent and objective process in the decision making.
As proposed by CHMP, an ideal method allows the user to clearly identify the benefits and risk, and decide weight on important and less important risks/benefits while providing information about evidence strength and identified uncertainties. However, it might not be applicable in real world that have to deal with many variables.
According to US FDA’s requirements of new benefit risk analysis, the method must be able to capture the complexities of benefit- risk analysis, quantify the nature of benefit/risks in individual patients, and to be updated with new information. In addition, it needs to be able to deal with various uncertainties while having to deal with cost issues in benefit risk analysis. It should be able to provide and share quantitative information while dealing with cost issues and potential adverse effects.
There is a need to develop a comprehensive analysis method that is easy to perform a trade off between benefits and risks in every-day practice.
Conclusion, Proposal and Consideration
In making a decision based on evidence, it needs a sufficient amount of data obtained from systematic reviews on existing studies. The results obtained from various studies have its advantages and limitations.
Findings of studies using binary outcome data should be provided both relative and absolute effect measures to help interpret. Also, the decision makers should be able to understand various features of provided treatment effect size.
Since various trade-off methods of risks and benefits are derived from previous studies, the decision makers must understand the advantages and limitations of each method, and then utilize them when making a decision whether to choose a specific treatment.