▢ 연구 배경
체계적 문헌고찰은 의료기술평가, 가이드라인, 근거기반의 정책적 의사결정 등 다양한 방면에 활용되는 방법론이다. 하지만, 방법론 수행을 위해서는 숙련된 인력이 필요하고, 문헌 선별과 질평가, 자료추출 등 상당한 수작업이 요구되는 연구방법론이기도 하다. 세계적으로 체계적 문헌고찰 방법론이 확산되면서 주제선점에 대한 요구나 정책적 활용이 높아지면서 체계적 문헌고찰 과정은 점차 신속하게 이루어지는 편이다. 또한 국내에서는 사회적 이슈에 대한 대응이나, 의료기술평가의 제도적 활용 측면에서 보다 신속한 의사결정을 위한 근거 필요성 때문에 체계적 문헌고찰의 소요기간 단축에 대한 외부요구도가 점점 높아지고 있다. 이에 본 연구에서는 체계적 문헌고찰 수행 과정에서 최근 활용 논의가 활발하게 이루어지고 있는 반자동화 프로그램의 적용가능성과 함께 그동안 한국보건의료연구원 내부에서 이루어진 체계적 문헌고찰의 업무 부담을 양적으로 조사해보고자 하였다.
또한 전 세계적으로 근거기반 방법론이 확산되면서 임상진료지침이나 정책적 권고 등 다방면에서 최근 업데이트된 방법론의 활용과 경험의 공유가 중요해지고 있다. 국내 전문 학회에서의 임상진료지침 개발활동이 활발하고, 보건정책적인 측면에서도 근거기반 방법론에 따른 가이드라인 개발에 대한 연구비 지원이 증가하고 있다. 이러한 외부수요 증가에 따라 방법론전문가의 적절한 협업, 그리고 인적자원의 양성과 네트워크 필요성이 증가하고 있다. 국제적으로는 근거기반 의사결정 방법론에서는 GRADE (Grading of Recommendations Assessment, Development and Evaluation) 네트워크를 통한 국제적인 협력관계가 구축되고 있다. 따라서 내적 및 외적으로 인적 자원을 육성하고 효과적인 국내ㆍ외 협력체계를 새롭게 모색해 보고자 한다.
▢ 연구 목적
연구의 주요 목적은 2가지로 다음과 같다.
◦ 체계적 문헌고찰 수행 과정 개선을 통한 효율적인 체계적 문헌고찰 방법론 구축
◦ 국내ㆍ외 의사결정 지원 협력네트워크 구축
첫 번째, 효율적인 체계적 문헌고찰 방법론 수립을 위한 세부적인 목표와 연구내용은 아래와 같다.
1) 체계적 문헌고찰에 활용가능한 반자동화 프로그램의 탐색 및 적용가능성 탐색
2) 기존 체계적 문헌고찰 과정에서의 업무부담 조사
3) 실제 적용과 분석을 통한 적용가능성 제시
두 번째, 국내ㆍ외 의사결정 지원 협력네트워크 구축을 위한 세부적인 목표와 연구내용은 아래와 같다.
1) 국내 임상진료지침 근거기반 의사결정방법론 현황 조사 및 계획 수립
2) 국내 진료지침 개발 학회들과의 협업 모색
3) 국제 네트워크 형성 가능성 모색
4) 내부 방법론 전문가 양성 교육
▢ 연구 방법
1. 체계적 문헌고찰 업무 효율화 방안
○ 체계적 문헌고찰 반자동화 프로그램 검토
선행 문헌고찰과 코크란 연합에서 2019년에 발간한 핸드북 등을 통해서 체계적 문헌고찰 방법을 적용해 볼 수 있는 현존하는 프로그램들을 검토하였다. 시간적인 제약과 실제 업무 활용성 파악이 가능한 측면에서 5개의 프로그램을 선정하였다(유료 2개 및 무료 프로그램 3개).
○ 업무량 조사
2020년 7월 15일 기준으로 신의료기술사업본부 연구 및 신속 보고서 37편, 재평가사업보고서 30편, 연구본부 보고서 중에 10편을 임의로 선정해서 자료 탐색을 하였다. 업무량은 검색된 문헌 수, 선별 문헌 수, 획득하고 검토한 원문 수, 그리고 각 과정(수행방법)별 소요시간 조사를 포함한다.
○ 사례 체계적 문헌고찰의 수행
단기간에 신속하게 수행가능한 일반적인 주제로 새로운 체계적 문헌고찰을 수행하면서 체계적 문헌고찰 자체보다는 각 단계별 프로그램들이 제공하는 기능의 차이를 비교해 보는 데에 초점을 두었다. 사례로 수행되는 체계적 문헌고찰의 프로토콜은 프로스페로(PROSPERO)에 등록하였다.
○ 최종적으로 도입 가능한 업무 분야와 소프트웨어 적용방안 제시
업무에 적용할 때 기대되는 개선 효과에 대해서는 사용자를 중심으로 프로그램별 및 평가영역별로 주관적인 평가를 사전에 논의된 서식에 따라 시행했다. 원내 세미나를 통해 수집된 주관적인 의견 역시 별도로 분석해서 활용하기로 했다.
전반적인 수행 과정은 체계적 문헌고찰 방법론 전문가 3인(외부)과 본원의 체계적 문헌고찰 수행경험이 풍부한 연구진 6인(신의료기술평가단 3인, 재평가사업단 3인)에게 지속적인 세미나와 워크숍을 통해 자문을 받는 형식으로 진행되었다.
2. 국내ㆍ외 의사결정 지원 방법론 네트워크 구축
○ 국내 근거기반 의사결정 방법론 현황 조사
국내 임상진료지침 검색을 위해서 포괄적인 검색을 시행하였다. 2019년부터 2020년 7월 17일까지 발간된 지침을 검색하였고, 검색에 이용한 주요 DB는 MEDLINE, EMBASE, KMBASE, 그리고 가이드라인 검색 DB인 GIN(Guideline International Network)이다. 검색전략은 <부록 3>에 제시하였다. 수기검색은 9월 18일까지 보완하였다.
선택기준은 대한의학회 산하 전문학회가 개발했거나 참여한 지침, 그리고 정부기관 등에서 발표되었더라도 전문학회의 참여가 확실한 지침을 선정했다. 근거기반 개발방법뿐만 아니라 전문가 합의로 개발된 권고문도 모두 포함하였다. 한의학, 치의학, 간호학 등에 해당되는 지침은 제외하였고, 국내에서 개발된 지침이면 언어는 제한하지 않았다.
2014년 한국보건의료연구원에서 수행한 ‘임상진료지침 개발현황 및 확산전략 연구’(최미영 등)에서 개발한 도구를 수정하여 세부 분류 기준을 재정리하여 분석틀로 활용하였다.
지침개발 현황에 대해서는 분류 틀에 따라 양적으로 분류하고, 내용에 대해서는 진단, 치료, 예방 등 진료지침의 주제에 따라서 주요 권고내용을 요약하였다. 대부분 전문가 권고여서 포함이 되지 않은 경우도 많을 것으로 예상되었지만, 지침에서 제시하는 근거수준과 권고등급이 있는 경우 같이 병기하기로 하였다. 현황 분석 방법 및 결과 전체 내용을 담은 보고서는 별책으로 발간하였고 대한의학회의 감수를 받았다.
○ 국내 지침 개발 학회들과 협업 모색
진료지침 개발 또는 근거기반 의사결정 방법론의 지속적인 연구와 협력 방안에 대한 기획 및 공동 연구를 기획했다.
○ 내부 전문가 양성을 위한 교육 프로그램
외부에서 증가된 수요를 대비하기 위해 연구원 내부 직원을 대상으로 하는 국내 근거기반 의사결정 방법론 전문가 양성 프로그램을 구성하기로 하였다.
○ 국외 네트워크 형성 가능성 모색
Guideline International Network (GIN)는 전세계 가이드라인 네트워크 비영리 조직으로 현재 32개 국가, 102개의 조직이 가입되어 있고(2020년 9월 기준), 영국의 NICE (National Institute for Health and Care Excellence), SIGN (Scottish Intercollegiate Guidelines Network) 일본 MINDs (Medical Information Network Distribution Service) Center 같은 가이드라인 개발이나 개발지원 조직, INAHTA (International Network of Agencies for Health Technology Assessment) 를 비롯하여 프랑스의 HAS (Haute Autorité de Santé), 벨기에 KCE (Belgian Health Care Knowledge Centre) 등의 의료기술평가기관들이 다수 가입되어 있다. 본원의 기관회원 가능성 타진 및 기존 가입회원 기관과의 협력체계를 구축하고자 하였다.
GRADE centers/networks를 설립하여 본원에서 수행하는 의료기술평가에서의 근거기반 의사결정 방법론, 그리고 가이드라인 개발 방법론 분야에서 가장 최상의 방법론 그룹인 GRADE Working Group과의 협업 가능성을 탐색하기로 했다. 연구진은 GRADE center 설립요건을 확인한 후 GRADE Working Group과 직접 접촉하고 신청서를 작성하였다.
...........................................................중략...........................................................
▢ Background
A systematic review (SR) is widely used across multiple domains as a basis for evidence-based practices, including health technology assessment, guideline development, and policy decision-making. However, implementing SR methods requires well-trained researchers and a considerable number of steps: selecting relevant literature, assessing quality of such literature, and extracting data. As SRs are increasingly disseminated as a research method around the world, the need to identify key themes and the use of SR methods in the field of public policy has increased. More importantly, the entire review process has become less time consuming. While SRs are actively employed to make evidence-based decisions promptly for not just social issues but also institutional health technology assessment, the need to shorten the time spent on SR process is increasing in Korea. This study, therefore, aims to analyze the applicability of semi-automated screening programs, which are the most discussed current topic of discussion in the context of automation in SR, and quantify the workload associated with the actual SR process that has been internally conducted.
Additionally, as evidence-based approaches become increasingly prominent in a global context, the application of new methods and sharing of experiences have become more important in various domains, such as clinical practice guidelines and policy recommendations. Korean specialty societies actively bolster their efforts to develop clinical practice guidelines; the public sector too increases its research grants for the development of guidelines for evidence-based methodologies with respect to public health policies. In line with these growing demands, appropriate collaboration between subject matter experts and human resource training and networks is required. With regard to evidence-based decision-making methods, a global cooperation has been established through The Grading of Recommendations Assessment, Development and Evaluation (GRADE) network. Therefore, we aim to propose ways in which internal and external human resources can be nurtured and effective collaborative networks can be newly established, both at home and abroad.
▢ Objective
This study has the following primary objectives:
○ Develop an efficient method to provide evidence by improving the SR process.
○ Establish collaborative networks at national and international levels that can facilitate decision making practices.
First, to establish an efficient methodology for SRs, this study addresses the following objectives and research contents:
1) Explore semi-automated screening programs applicable to SRs and examine their applicability in real-world settings.
2) Identify the workload arising from actual SR tasks.
3) Propose applicability following real-world application and analysis.
Second, domestic and international collaborative networking for decision-making was sought with the following objectives and research contents:
1) Analyze the current status of and develop a plan for methods used in Korea for clinical practice guidelines and evidence-based decision making.
2) Seek cooperation with local medical societies in developing clinical practice guidelines.
3) Explore the possibility of international networking.
4) Develop or train experts to specialize in internal methodologies.
▢ Methods
1. Plans for better efficiency in SR practices
○ Assess the effectiveness of semi-automated screening program in SRs.
We reviewed the screening programs applicable to the SR process with reference to previous studies and the 2019 Cochrane Handbook. We selected a total of five programs by taking into consideration of time constraints and real-world applicability two programs required a fee and three were free of charge.
○ Workload analysis
As pilot data, ten reports were selected from those reports that were available as of July 15, 2020 in each of the three divisions—New Health Technology Division, Reassessment Division, and Research Division. Workload was defined as the number of references searched, the number of studies selected, the number of full texts extracted and reviewed, and the time spent on each step (procedures used) of the SR process.
○ A case of SR approach
A new SR approach was performed with the focus on comparing the output produced by the screening programs at each step, when these programs were utilized for topics that are not difficult to approach; this made rapid reviews possible. The SR protocol used for the case study was registered with International Prospective Register of Systematic Reviews (PROSPERO).
○ Identification of the steps that can be assisted by the programs and suggestions for applicability of the software tested
Regarding the improvement in the review process expected to occur by the use of the programs, subjective evaluation was performed by users in terms of programs and assessment areas in the prescribed forms. We also analyzed subjective opinions collected through in-house seminars and included the results for analysis.
In this study, expert opinions on the entire SR process and review results were collected from three experts in external methodologies for SR, and six in-house experts with considerable experience in performing SR approaches in relation to new health technology assessment projects, re-assessment projects, and research projects during a series of seminars and workshops.
2. Establishing domestic and international collaborative networks for decision-making support methods
○ Investigating methodologies used in Korea for evidence-based decision-making
A comprehensive search was conducted to identify clinical practice guidelines developed in Korea. The review process focused on the guidelines published from to July 17, 2020 using the top databases: MEDLINE, EMBASE, KMBASE and Guideline International Network (GIN). Our search strategies are outlined in Appendix 3. Manual searches were completed by September 18, 2020.
The inclusion criteria include (i) guidelines developed or implemented by medical societies affiliated with the Korean Academy of Medical Sciences (KAMS); (ii) guidelines published by government units and supported by such medical societies; and (iii) guideline recommendations developed upon consent from relevant experts. The guidelines published in other fields, such as oriental medicine, dentistry, and nursing were excluded; there was no restriction of language for the guidelines developed in Korea.
For statistical analysis, the existing tool, developed in a previous in-house study, “Clinical practice guidelines development status and dissemination strategy”(Choi et al. 2014), was modified and its sub-classification standards were recognized before use.
The current status of guideline development was quantitatively classified based on coding scheme, and textual data were coded according to the key themes of practice guidelines, namely diagnosis, treatment, and prevention, to summarize the major recommendations identified. Given that experts’ recommendations were mostly observed, the quality of evidence or recommendation grade was not expected to be present. However, if such information was present in the guidelines, it was included. Detailed analysis methods used for the current status and analysis results were reported in a separate book and audited by the KAMS.
○ Collaboration with specialty societies developing guidelines in Korea
We developed a plan for joint development/ research and cooperation with respect to clinical practice guidelines and methodologies for evidence-based decision-making practices.
○ Education programs designed to develop internal experts
To meet the growing demand for clinical practice guideline development, in-house training programs were newly created with the goal of increasing the expertise of researchers in methodologies for evidence-based decision-making.
○ Potential of global peer network
As a non-profit organization, GIN is an international association of 103 organizations involved in the development of guidelines in 45 countries, including National Institute for Care and Health Excellence (NICE) and Scottish Intercollegiate Guidelines Network (SIGN) in the UK, the Medical Information Network Distribution Service (MINDs) Center in Japan (which develops and supports development of guidelines), and health technology assessment institutions such as International Network of Agencies for Health Technology Assessment (INAHTA) and Haute Autorité de Santé (HAS) in France and Belgian Health Care Knowledge Centre (KCE) in Belgium. We have attempted to join GIN as an organization member and build a collaborative network with existing GIN members.
Once we become a GRADE center/network, we are willing to promote collaboration with GRADE working groups for evidence-based decision-making methods used in health technology assessment and guideline development methodology, given the excellence of the GRADE system. We, therefore, identified requirements for membership as a GRADE center, contacted GRADE Working Groups, and filled out the application for GIN
▢ Results
1. Plans for better efficiency in the SR process
1) Semi-automated Screening programs
Among the online semi-automated screening programs available in the market, Covidence and EPPI-Reviewer were selected along with three free screening programs—Rayyan, Abstrackr, and Robot Analyst—which were the most frequently used in previous research. Despite its limited functions, the screening performance of Robot reviewer was also analyzed considering its accessibility, practicality, and artificial intelligence(AI)-enabled services.
연구정보
연구보고서
· 저작자표시
· 출처표시
한국보건의료연구원