▢ 연구 배경
한국보건의료연구원(National Evidence-based Healthcare Collaborating Agency, NECA, 이하 연구원) 원탁회의 「NECA 공명」은 보건의료분야의 사회적 쟁점에 대해 이해당사자들이 모여 그 가치에 대해 논의하고 합의점을 모색해가는 공론의 장으로, 한국보건의료연구원은 2009년 설립 이래 이해관계가 상충하는 보건의료 현안에 대한 원탁회의를 개최함으로써 합리적 의사결정과 이를 근거로 한 정책대안 마련을 도모해왔다. 「NECA 공명」은 원탁회의를 브랜드화한 것으로 남의 사상이나 감정, 행동에 공감하여 그같이 따르려 한다는 ‘공명’의 의미와 같이 원탁회의를 통해 사회적인 공명을 이끌어 보다 건강한 사회를 만들고자하는 한국보건의료연구원의 노력이 담겨 있다.
▢ 연구 목적
본 연구의 목적은 첫째, 과거 원탁회의 운영 경험을 통해 개선점을 파악하여 운영과정을 고도화하고, 둘째, 원탁회의 주제에 대하여 보건의료 분야 이해당사자 간의 이해상충 해결과 임상현장과 근거 사이의 간극을 좁혀 사회적 합의를 도출하며, 셋째 원탁회의 결과를 보건의료정책 결정을 위한 근거로 활용될 수 있도록 하기 위함이다.
▢ 연구 방법
Ⅰ. NECA 원탁회의 기획
NECA 공명 주제선정은 크게 두 가지 경로를 통해 수행되었다. 한 가지 경로는 2014년 연구과제 연구책임자를 대상으로 한 수요조사를 한 후, 도출된 주제 후보군을 기획위원회 평가 및 회의를 통하여 주제를 선정한 것이며, 다른 한 가지 경로는 정책적 이슈에 대한 시의성 확보와 NECA 공명의 효율적 운영을 위해 정책결정자 및 원내 연구진, 정책협력 담당 부서와의 긴밀한 협의를 통해 내부기획 주제를 발굴한 것이다.
Ⅱ. NECA 원탁회의 운영
NECA 원탁회의 운영은 운영위원회 구성, 발표자와 패널 구성, 사전회의, 본회의, 합의문 도출의 핵심 순서를 따르나 주제 및 패널의 특성에 따라 사전회의를 생략하는 등 특화하여 진행하였다. 운영위원회는 연구진과 주제 관련 전문가로 구성되었으며 원탁회의 일정 및 프로그램 결정, 의제 범위 설정, 핵심 질문 선정, 발표자와 패널 및 좌장 후보군을 선정하였다. 발표자는 원탁회의 주제에 대해 과학적인 근거자료를 바탕으로 자신의 의견을 발표하여 패널들이 주제 관련 쟁점에 대해 판단을 내리는데 도움을 주도록 하였으며, 패널은 근거의 평가, 토론 및 숙의 과정을 통해 쟁점에 대한 합의점을 모색하였다. 발표자와 패널이 구성되면 본회의 전에 사전회의를 개최하여 발표자와 패널에게 NECA 원탁회의의 목적과 진행과정에 대해 설명하였다. 본회의는 원탁회의의 가장 중요한 단계로 토론과 숙의를 통해 보건의료 분야의 쟁점에 대한 패널들의 합의된 의견을 도출하는 것을 최종 목표로 하여 진행하였다. 합의문은 연구진이 본회의에서의 토론과 숙의 내용을 정리하여 초안을 작성하고, 패널들의 검토를 통해 도출하였다.
Ⅲ. 후속조치
최종 합의문은 보고서, 보도자료, 논문 등의 형태로 대외적으로 공표되었다. 보고서 작성 및 공개 시에는 채텀하우스 룰(Chatham House Rule)에 따라 회의 참가자의 소신발언과 논의의 개방성 확보를 위해 논의된 내용은 공표하되 성명, 소속 등은 보고서에 공개하지 않는 규칙을 준수하였다.
▢ 연구 결과: 전자담배
Ⅰ. 운영안 및 세부 운영 절차
원내 전문가와 함께 1차 운영위원회를 개최하여 대략적인 개최일시 및 장소, 주최, 프로그램 및 참석자, 주제 발표 및 토론의제, 합의문 도출에 대해 논의하였다(2015. 1. 8.). 그 후 1차 운영위원회때 논의되었던 내용들을 토대로 보건복지부 관계자와 함께 2차 운영위원회를 개최하여 원탁회의 기획안을 확정하였다(2015. 1. 13.).
『전자담배의 안전성과 유효성에 대한 과학적 근거』라는 주제로 전자담배의 안전성과 금연효과, 그리고 관리방안에 대한 합의도출을 위해 세종문화회관 예인홀에서 NECA 원탁회의 본회의를 개최하였다(2015. 2. 26.).
Ⅱ. 본회의 결과
본 원탁회의는 기획 단계부터 합의도출을 목적으로 하였기 때문에 패널토론 시간에 합의문 내용에 대한 논의 및 문구 수정을 주로 진행하였다. 합의문은 사전에 운영 실무팀이 작성하여 좌장과 발표자들의 검토과정을 거쳐 초안을 작성하였다. 합의문은 크게 ‘전자담배의 안전성’, ‘전자담배의 금연 효과’, ‘향후 연구 영역’, ‘전자담배 관리 방안’ 4가지 핵심질문에 초점을 맞춰 기술되었으며, 패널들은 발표내용에 근거하여 세부적인 문구를 수정하였다. 제한된 시간으로 인하여 완벽한 문구 수정은 이루어지지 않았으나, 전반적인 합의문의 틀은 합의되었다. 그 외 문구 수정은 추후에 패널들이 이메일을 통해 검토하여 완성하였다.
Ⅲ. 후속조치
본회의에 참석한 모든 패널들의 의견을 반영하여 완성된 합의문은 보도자료로 배포되었다(2015.4.6.). 또한, NECA 공명의 근거자료로 사용된 일반인과 의료인의 설문조사 결과는 대한금연학회지에 ‘전자담배에 관한 일반인, 의료인 인식조사’라는 제목으로 게재되었다(2015.7.6.).
▢ 연구 결과: 고도비만수술
Ⅰ. 운영안 및 세부 운영 절차
원내 정책협력 담당 부서, 외부 고도비만 전문가와 함께 운영위원회를 개최하여 대략적인 발표주제, 패널토의 진행방향, 발표자 및 패널, 좌장 후보군, 프로그램, 개최방식, 개최 장소 및 일시에 대해서 논의하였다(2015. 7. 2.).
사전회의는 운영위원회에서 대략적으로 논의된 내용에 대해 외부 전문가들의 의견을 듣고, 세부적인 운영방안을 기획하기 위해 미리 섭외한 본회의의 좌장과 발표자들과 함께 진행하였다. 사전회의는 1·2차로 나누어 개최하였다. 1차 사전회의는 연구원내 원탁회의 주관부서인 지식정보확산팀과 원내 정책협력 담당 부서, 좌장 1인, 발표자 2인이 참석한 가운데 개최되었으며(2015. 8. 3.), 2차 사전회의는 지식정보확산팀과 원내 정책협력 담당 부서, 발표자 1인과 함께 진행되었다(2015. 8. 10.)
『고도비만수술 안전강화를 위한 원탁회의』라는 주제로 고도비만수술의 적응증, 안전성, 관리방안을 안건으로 다양한 분야의 고도비만 전문가들과 환자대표가 함께 참여하여 관련 국내·외 연구근거를 공유·검토하고, 이를 바탕으로 향후 과제에 대하여 함께 논의하기 위해 한국보건의료연구원 Conference Room에서 본회의를 개최하였다(2015. 9. 8.).
Ⅱ. 본회의 결과
1. 현재 고도비만 수술의 적응증
체질량지수 35Kg/㎡이상이면서 동반질환이 있는 경우와 체질량지수 40Kg/㎡이상인 두 가지 경우는 미국(NIH), 영국(NICE), 일본 등 여러 나라에서 활용되고 있는 지침에서 수술의 적응증으로 명시되어 있다.
2. 고도비만 수술 적응증 가이드라인 개발의 필요성
고도비만수술의 가이드라인은 나라와 지역별로 상이하고, 국내에서는 관련 학회들의 가이드라인은 있으나 그 가이드라인도 동일하지 않으므로 표준화된 가이드라인을 만들어야 한다. 건강보험급여 가이드라인과 관련해서 연구가 필요한 영역들에 대해서 학회에서 먼저 연구우선순위를 설정한 후, 한국보건의료연구원이나 국민건강보험공단, 정부가 이를 바탕으로 연구를 수행하여야 한다.
3. 가이드라인 개발을 위한 연구설계 및 분야
체질량지수 30~35 Kg/㎡ 한국인을 대상으로 잘 디자인 된 연구와 체질량지수외의 한국인의 특성을 반영한 다른 적응증(복부비만, 당뇨병, 혈압 등)에 대한 연구가 필요하다. 또한 동반질환이 있는 체질량지수 30~35 Kg/㎡ 환자와 동반질환이 없는 체질량지수 30~35 Kg/㎡ 환자의 경우에 대한 장기 연구도 수행할 필요가 있다.
4. 안전한 고도비만수술을 위한 관리 방안
고도비만은 만성질환이기 때문에 전문성과 자격이 있는 의사와 병원에서 치료와 평생 관리(영양, 행동수정, 약물)를 받아야 하며 이를 위해 ▲세부전문의제도 ▲인증의제도 ▲기관인증제도 등이 활용될 수 있다. 또한 외과적 치료와 더불어 다학제적 관리팀(가정의학과 및 정신과, 영양학 등)을 구성하여 치료하는 등 유관 학회와의 협의를 통해 관리방안을 수립하여야 한다.
Ⅲ. 후속조치
본 원탁회의는 정책토론회의 기능을 겸하였으므로 합의문은 따로 작성하지는 않기로 하였으며, 패널들의 의견은 정리하여 보고서에 기술하기로 하였다. 정리된 내용은 ‘67th Congress of KSS Joint Symposium NECA-KSMBS'에서 발표하여 임상전문가와 일반인들에게 공개되었다(2015.11.7.).
▢ 연구 결과: 국가주도형 임상연구
Ⅰ. 운영안 및 세부 운영 절차
운영위원회에는 원내 정책협력 담당 부서, 원내 임상연구 전문가가 함께 참여하여 대략적인 주제, 발표자 및 패널, 좌장 후보군, 프로그램, 개최방식, 개최 장소 및 일시에 대해서 논의하였다(2015. 4. 20.).
1차 본회의는 국가주도형 임상연구 발전방안과 한국보건의료연구원의 역할에 대해 대략적으로 논의하기 위해 진행되었다(2015. 5. 19.). 2차 본회의는 『국가주도형 임상연구 발전방안 마련을 위한 원탁회의』라는 주제로 임상연구 전문가들과 함께 국가주도형 임상연구 발전을 위한 한국보건의료연구원과 국민건강임상연구사업의 역할과 상호협력 방안에 대해 논의하기 위해 개최되었다(2015. 11. 9.).
Ⅱ. 본회의 결과
1. 한국보건의료연구원과 국민건강임상연구 코디네이팅센터(NHCR)의 차별화 방안
NECA는 정책적인 연구를 지향해야 하며, 국민건강임상연구 코디네이팅센터는 정책과 관련된 근거를 만들고, 기초 임상연구를 수행하는데 주력해야 한다.
2. 국민건강임상연구 코디네이팅센터와 한국보건의료연구원이 상호협력하여 시너지 효과를 낼 수 있는 방안
(1) 연구주제 수요조사 채널의 일원화
현재 국민건강임상연구 코디네이팅센터와 한국보건의료연구원이 연구주제 수요조사를 따로 수행하고 있는데, 제안자 입장에서는 두 연구주제 수요조사가 사실상 큰 차별성이 없다. 따라서 연구주제 수요조사 채널을 하나로 통합하여 주제를 제안 받은 후 국민건강임상연구 코디네이팅센터와 한국보건의료연구원 두 기관에 적합한 주제들을 구분해서 선정하는 것이 효율적이다.
(2) 부족한 근거생성을 위한 국민건강임상연구사업 연구 수행
한국보건의료연구원에서 수행하였던 연구 중 근거자료가 부족하여 추후 연구가 요구된다고 결론을 내린 연구들이 많은데 이러한 연구들을 국민건강임상연구 코디네이팅센터에서 연구주제로 선정하여 추후 연구를 수행해 나간다면 한국보건의료연구원과 선순환 구조를 이루어 나갈 것이다.
3. 연구평가자 Pool의 임상연구 전문가 확충
현재 연구평가자(심사위원) Pool에 포함되어 있는 임상연구 전문가의 수가 부족하다. 임상연구에 대해 잘 알고 있는 전문가들을 현재보다 많이 연구평가자 Pool에 포함시켜야 제대로 연구평가가 이루어질 수 있다.
4. 국가주도형 임상연구 예산 규모 확대 필요
국가주도형 임상연구 예산 규모를 확대해야 하며, 이를 위한 한 가지 방법으로 산업계 기금 도입을 고려할 필요가 있다. 이미 시중에 판매되는 약제에 대한 임상연구가 필요할 경우 해당 제약회사나 정부 모두 많은 비용을 들여 연구를 수행하는 것은 부담이 될 수 있으므로 제약회사가 제한 없는 연구비 지원 형태로 연구자를 지원하기로 하고, 이 연구자는 한국보건의료연구원이나 국민건강임상연구사업과 같이 연구를 수행하는 협업체계를 구축하는 방안도 좋을 것으로 판단된다. 영국의 NICE도 최근 제약회사와 많은 협업을 하고 있으며 제약회사의 약을 대상으로 국가예산이 투입된 연구를 수행하고 있으므로 한국보건의료연구원이나 국민건강임상연구사업 또한 한국적 상황을 고려하여 제약회사 및 제조사와 협력연구를 추진하는 것도 필요하다고 생각한다.
Ⅲ. 후속조치
현재 한국보건의료연구원은 국가주도형 임상연구인 국민건강임상연구사업의 주관연구기관으로 선정되어 연구를 수행 중에 있다. 그러므로 본 NECA 공명의 결과를 ‘국민건강임상연구 코디네이팅센터’ 관계자들과 공유하여 패널들의 의견을 실제 연구사업 진행 시 반영할 수 있도록 하였다.
▢ 연구 결과: 회전근개
Ⅰ. 운영안 및 세부 운영 절차
회전근개 파열에 있어서의 적합한 치료법에 대한 전문가의 의견 합의도출 도모의 필요성이 대두되어 원탁회의 개최를 위한 운영위원회를 연구책임자 및 참여연구진들이 함께 개최하였다(2015. 6. 30.). 논의 결과, 분과 및 전문가별 의견이 첨예하게 대립하고 있는 연구주제이기에 델파이 RAND 기법을 사용하여 점수화된 합의를 도모하는 것에 대한 의견이 나왔으며, 이에 본 원탁회의는 기존 원탁회의와는 다른 방식인 델파이 기법으로 수행하기로 합의하였다. 연구진은 이러한 의견을 반영하여 해당 주제의 이해당사자인 정형외과와 재활의학과 전문가를 섭외하여 사전회의를 2회 개최하였다(2015. 7. 30, 2015. 8. 6.). 각 회의는 분과별로 분리하여 개최하였으며 방법론 및 예방의학 전문가도 함께 참석하여 자문하여 해당주제의 연구수행 필요성과 방법론 등을 논의하였다. 1차 설문조사는 13인의 패널을 대상으로 2015년 11월 17일부터 29일까지 약 10일 간 진행되었으며, 1차 설문조사 결과를 안건으로 12월 8일 오후 6시부터 대면회의가 개최되었다. 그 후 2차 설문조사는 2015년 12월 8일부터 14일까지 약 일주일 간 진행되었다.
Ⅱ. 본회의 결과
1차 설문조사 결과 동의로 합의된 결과는 69개 영역이었고, 비동의는 47개, 불확실 172개 영역이었다. 대면회의 시에는 보존 및 수술 치료의 적절-불확실 영역을 위주로 논의를 진행하였다. 전반적으로 논의된 사항은 적응증 항목 중 ‘이전치료(보존치료)에 대한 반응’에 대한 해석이었다. 이에 대한 해석이 1차 델파이 설문조사 결과에 있어서도 이견을 가져온 가장 큰 요소 중 하나로 의견이 모아졌으며, 2차 델파이 설문조사 시에는 ‘이전치료(보존치료)를 충분히 한 상태에서도 반응이 있거나/없는 환자’로 해석하는 데 합의하였다. 또한, 시나리오 상 임상적으로 일어날 가능성이 매우 적어 배제되어야 할 시나리오를 논의하여 시나리오 36개를 2차 델파이 설문조사 시 배제하기로 하였다. 이 논의를 반영하여 2차 설문조사를 실시한 결과, 동의된 문항은 24개, 비동의 105개, 불확실 123개였다.
1차 설문조사에 비하여 1차 설문결과 동의된 시나리오의 수는(2차시 배제된 항목 제외)총 58개였으나 2차 조사결과 24개의 항목이 동의되어 34개 항목이 감소한 것으로 나타났다. 비동의 항목의 경우 1차 조사 결과 총 43개였으나, 2차 조사결과 총 105항목으로 62개 항목이 증가하였으며, 불확실 항목의 경우 1차 조사 결과 총 150항목이었으나 2차 조사결과 총 123개로 27개 항목이 감소하였다.
패널간 결과가 동의된 시나리오 중에서 1) 50~69세, 노쇠함, 치료 후 기대수준이 활발한 신체활동 가능, 이전치료(보존치료) 반응 있는 환자, 부분파열 고도손상, 경증, 2) 50~69세, 노쇠함, 치료 후 기대수준이 일상생활 가능, 이전치료(보존치료) 반응 있는 환자, 부분파열 고도손상, 경증, 3) 70세 이상, 노쇠함, 치료 후 기대수준이 일상생활 가능, 이전치료(보존치료) 반응 있는 환자, 부분파열 고도손상, 경증, 4) 70세 이상, 노쇠 안 함, 치료 후 기대수준이 일상생활 가능, 이전치료(보존치료) 반응 있는 환자, 부분파열 고도손상, 경증인 경우에는 초진 시 제시하고자 하는 치료법으로 보존치료가 적절하며 수술치료는 부적절하다고 동의된 의견을 보였다. 즉, 50세 이상 70세 미만의 노쇠한 부분파열 고도손상, 경증을 가진 환자로 이전 치료에 반응이 있는 경우에는 치료 후 기대수준의 차이에 상관없이 보존치료를 제시하는 것으로 동의하였고, 70세 이상이며 치료 후 기대수준이 일상생활이 가능한 정도로 이전치료에 반응이 있는 부분파열 고도손상, 경증 환자도 노쇠여부에 상관없이 보존치료를 제시하는 것으로 동의된 결과가 나타났다.
노쇠하지 않은 50~69세이며 2cm 이상의 전파열, 중증의 치료 후 활발한 신체활동 가능을 기대하나 이전치료(보존치료)에 반응이 없는 환자의 경우에는 초진 시 제시하는 치료법으로 수술치료가 적절하며 보존치료는 부적절한 것으로 동의된 의견을 보였다.
본 연구는 전문가간 의견의 동의가 이루어지는 부분과 의견의 동의가 이루어지지 않은 부분을 확인하고 국민의 치료선택에 있어 알 권리를 강화하였다는 데에 그 의의가 있으며, 1차 설문결과에 비하여 2차 설문결과에서 동의의 영역이 감소되었으므로 지속적인 전문가 합의과정과 함께 추후 불확실하거나 비동의되는 영역에 대하여 객관적이고 과학적인 정보를 국민들에게 제공하기 위한 후속 연구가 필요하다.
Ⅲ. 후속조치
본 원탁회의는 설문조사 결과를 보고서에 기술하는 것으로 정리하기로 하였다. 정리된 내용은 2016년 중으로 논문에 발표하여 임상전문가와 일반인들에게 공개될 예정이다.
▢ 결론 및 제언
보건의료분야 사회적 의제에 대한 합의도출을 위해 2015년 한 해 동안 총 4건의 NECA 공명을 개최하였다. 본 과제는 2014년 ‘사회적 합의도출을 위한 원탁회의’ 연구과제와 연장선상에 있기 때문에 주제 선정을 주제수요조사와 내부기획 두 가지 경로로 구분하여 진행한 것을 제외하고는 같은 운영절차를 따랐다.
Ⅰ. NECA 공명 운영 측면의 주요 성과 및 한계
1. 정량적 주제선정 절차 적용
주제선정 과정을 투명화하기 위해 주제수요조사를 실시한 후, 주제후보군을 대상으로 ‘주제의 과학적 근거수준’, ‘주제의 사회적 가치’를 평가하는 항목으로 구성된 체크리스트를 활용하여 우선순위를 정량적으로 평가하였다. 그러나 원내 임직원들의 저조한 참여로 인하여 위와 같은 절차를 2차례에 걸쳐 진행할 수밖에 없었다. 따라서 내년도 NECA 공명에서는 주제선정 절차에서 객관성과 투명성 확보도 중요하지만, 원내 임직원들의 참여율을 제고시킬 수 있는 방안 마련이 시급하다.
2. 참여대상자 확대
제한적인 연구원 여건상 덴마크와 같은 국민 참여형 NECA 공명을 수행하는 대신 이에 대한 대안으로 주제에 따라 대국민 설문조사를 실시하였으며, 환자단체 대표를 패널로 참석시켜 의료 수요자인 시민의 입장을 대변하기도 하였다. 추후 인력과 연구비가 보강되고, 연구기간이 증가된다면 덴마크 합의회의 방식을 적용하여 NECA 공명을 대규모로 개최하는 것도 고려되어야 한다고 생각된다.
3. 정책적 활용 가능 결과물 산출
‘전자담배’ NECA 공명의 경우 관련 협회 및 임상전문가, 보건복지부 소속 전문가가 모두 패널로 참여한 가운데 전자담배의 안전성과 금연효과, 관리방안에 대해 합의문을 작성하여 전자담배 관련 정책결정 시 실질적인 근거가 될 수 있도록 하였다. ‘고도비만수술’의 경우는 정책토론회 형식으로 진행하여 합의문 작성은 하지 않았지만 관련 임상전문가와 국민건강보험공단 소속 전문가가 같이 고도비만수술의 건강보험 급여화에 대해 논의하여 정책결정 시 NECA 공명의 결과가 반영될 수 있도록 노력하였다.
4. 정량적 합의도출 방법 적용
‘회전근개’ NECA 공명에서 RAND-UCLA Appropriateness Method (RAM)이라는 정량적 합의도출 방법을 시범적으로 적용하였다. 2015년에는 시범적 성격으로 비록 1건만 정량적 합의도출 방법을 적용하였지만, 올해의 경험을 살려 주제의 특성에 따라 정량적 합의도출 방법을 NECA 공명 합의 절차에 적절하게 도입한다면 합의도출 시 투명성을 확보할 수 있을 것으로 기대된다.
Ⅱ. NECA 공명 개선 방안
1. NECA 공명 결과평가 수행
NECA 공명의 운영 절차를 개선해 나가기 위해서는 참여자들(패널, 발표자, 좌장)의 의견 수렴을 통한 만족도 평가가 이루어져야 한다.
2. 합의도출 기능 강화
NECA 공명의 합의도출을 활성화하기 위해서는 패널들이 충분한 시간을 두고 참여할 수 있도록 보상장치를 마련하고, 토론으로 합의가 이루어지지 않을 경우 델파이기법이나 명목집단기법 등과 같은 정량적 합의도출 방법론 도입을 활성화해야 할 것이다.
3. 내부연구책임자의 참여율 개선방안 모색필요
내부연구책임자의 참여율 개선을 위해 원탁회의 연구과제를 주제별로 세부과제화하여 1세부과제(연구관리과제)와 그 외 세부과제로 구분하는 방안도 고려해 볼 필요가 있다.
4. 합의 원칙에 대한 가이드라인 설정
원활한 합의 도출을 위해 명확한 합의 원칙(예: 투표를 통해 패널 75% 이상 찬성 시 합의)을 설정할 필요가 있다.
▢ Background
The round table conferences of the National Evidence-based Healthcare Collaborating Agency (NECA) called “NECA Resonance” organize discussions on core issues of public health and medical care to seek consensus among a wide range of interested parties. Since its establishment in 2009, NECA has been holding round table conferences to resolve conflicting issues in healthcare by developing policies based on rational decision-making processes. The name “NECA Resonance” originates from a branding process of NECA round table conferences in order to preserve the literal meaning of “resonance,” which is to empathize with others’ thoughts, emotions, and behaviors, as well as to create a healthier society based on a social consensus of a sense of resonance.
▢ Objective
The purpose of this research is threefold: first, to improve the operation of round table conferences by identifying possible improvements based on previous round tables; second, to derive a social consensus by narrowing the gap between theory and field, and finding a resolution among stakeholders for round table topic conflicts; and finally, to ensure the use of round table results as a basis for health policy decisions.
▢ Research Results: Electronic Cigarettes
I. Management Plan and Detailed Operating Procedures
The first steering committee discussed the approximate dates and possible locations for future meetings, as well as potential organizers, programs and participants, presentation and discussion topics, and possible ways to reach agreements (2015. 1. 8). The second steering committee, in cooperation with the Ministry of Health and Welfare, finalized the round table proposals based on the first steering committee’s discussions (2015. 1. 13).
The NECA round table plenary session, “Scientific Evidence about the Safety of Electronic Cigarettes and Their Effectiveness” took place at the Yein Hall, Sejong Center. The purpose was to reach a consensus on the safety of electronic cigarettes and their effectiveness in smoking cessation, and to develop a management plan.
Ⅱ. Results of the Plenary Session
Since the sole purpose of this round table was to reach a consensus, the panel discussion mainly focused on the contents of the agreement and modification of the wording. The agreement was first drafted by the operational team in advance, and it was finalized after a careful review by the chair and the presenters. Panel members modified specific phrases in the agreement based on the presentation content, which focused largely on four topics – safety of electronic cigarettes, their effectiveness in smoking cessation, future research areas, and the development of a management plan. Due to time limitations, complete modification of phrases was not possible, but a framework for the overall agreement was completed. Additional modifications to wording were to be completed through reviews by panel members via e-mail at a later date.
Ⅲ. Follow-up Measures
The complete agreement, which reflected the views of all the panel members in the plenary session, was released to the press (04/06/2015). In addition, results of a survey of the general public and health professionals were used as the basis for the NECA resonance and were published under the title of 'Survey of the General Public and Health Professionals on Electronic Cigarettes” in Korean Society for Research on Nicotine and Tobacco (2015. 7. 6).
▢ Research Results: Bariatric Surgery
I. Management Plan and Detailed Operating Procedures
A steering committee composed of NECA Department of Policy Cooperation and outside experts on bariatric surgery was formed to share ideas on discussion topics, direction of the panel discussion, presenter and panels, potential moderators, program, time, and place of the session (2015. 7. 2).
Invited plenary moderators and presenters attended the preliminary meetings which had been organized for the purpose of obtaining consultation from external experts about the steering committee discussions as well as to set up a detailed management plan. The preliminary meetings were held twice. The first preliminary meeting invited the Knowledge and Information Dissemination team, the Internal Department of Policy Cooperation team, two presenters and one moderator (2015. 8. 3), and the second preliminary meeting invited the Knowledge and Information Dissemination team, the Internal Department of Policy Cooperation team, and one presenter (2015. 8.10).
The plenary session took place in the NECA Conference Room (2015. 9. 8). The main theme of the session was "Round table for Ensuring Safety During Bariatric Surgery," and the agenda included indications, safety, and management plans for bariatric surgery. Various medical experts on obesity, and patient representatives shared and reviewed domestic and international research, and based on this evidence, participants discussed future challenges.
Ⅱ. Results of Plenary Session
1. Current bariatric surgery indications
The guidelines followed by many countries – the United States (NIH), the United Kingdom (NICE), and Japan – specify indications for bariatric surgery as Body Mass Index (BMI) of 35Kg / ㎡ or more with comorbidities, or BMI of 40Kg / ㎡ or more.
2. Necessity of developing guidelines for bariatric surgery indication
Guidelines for bariatric surgery differ by country and region. In Korea, relevant academic societies have their own guidelines which differ from each other, and thus standardized guidelines are needed. First, academic societies should set priorities on the research topics that are necessary and relevant to health insurance benefits guidelines, and then NECA, the National Health Insurance Corporation, or the government should conduct research accordingly.
3. Research areas and design for guideline development
Well-designed research targeting Koreans with a BMI of 30 ~ 35 Kg / ㎡, and other research areas that reflect Korean BMI and other health characteristics (abdominal obesity, diabetes, blood pressure, etc.) is necessary. Long-term research on patients with BMI of 30~35 Kg/㎡ with and without comorbidities is also needed.
4. Management plan for safe bariatric surgery
Obesity is a chronic disease, so patients should receive treatment and lifelong management (nutrition, behavior modification, medications) from qualified specialists and hospitals. Policy options would include a medical specialist system, physician certification system, and an institutional accreditation system. A management plan should be established through collaboration of relevant academic societies; for example, in addition to external treatments, a multidisciplinary management team (family medicine, psychiatry, nutrition, etc.) should be formed to offer treatment.
Ⅲ. Follow-up Measures
Since the round table session also functioned as a policy debate, participants decided not to create a separate agreement document; rather, they agreed to write a report that included a summary of the opinions of the panelists. The report was presented to the public and clinical experts at the '67th Congress of KSS Joint Symposium NECA-KSMBS'.
▢ Research Results: Government-supported clinical research
Ⅰ. Management Plan and Detailed Operating Procedures
The steering committee included the internal Department of Policy Cooperation team and internal experts on clinical research, and addressed the discussion topics, presenters and panels, potential moderators, programs, and possible dates and places for upcoming sessions (2015. 4. 20).
The first plenary session discussed development plans for government-supported clinical research and the role of NECA (2015. 5. 19). Clinical research experts were invited to the second plenary session whose theme was "Round table for Development Plans of Government-supported Clinical Research." Various topics were on the agenda, including the roles of NECA, national health clinical research (NHCR) projects, and collaborative planning (2015. 11. 9).
Ⅱ. Results of the Plenary Session
1. Differentiation between NECA and NHCR research strategies
NECA should aim for policy-oriented research and NHCR should focus more on generating policy-relevant evidence and on basic clinical studies.
2. Collaborative strategies for NHCR and NECA to achieve synergy effects
(1) Unified survey channel to investigate research topics in demand
Currently NHCR and NECA conduct separate surveys, but from the respondents’ perspective, there is little difference between the surveys. Therefore, it would be more effective to integrate survey channels to determine all potential research topics and then assign the appropriate research topics to NHCR and NECA respectively.
(2) NHCR research for supplementing insufficient evidence
Some NECA research had insufficient evidence to draw valid conclusions, thus could only indicate that further research was needed. If NHCR can follow up and supplement the evidence from the NECA research, NECA and NHCR could initiate a positive chain reaction.
3. Expansion of clinical research experts in peer review pool
The number of clinical researchers included in the current peer review pool is insufficient for proper research evaluation. Currently, more experts who are familiar with clinical research are needed in the peer review pool in order to evaluate research properly.
4. Budget expansion needs for government-supported clinical research
Because we need to expand clinical research budgets, but government-support is limited, it is necessary to consider seeking funding from industry. If clinical research is necessary for medications already on the market, conducting expensive research would be a burden for both pharmaceutical companies and the government. In this case, it would be beneficial if pharmaceutical companies could support researchers without conditions, and if the researchers could establish a collaborative framework to conduct research with NECA or NHCR. Following the example of The National Institute for Health and Care Excellence (NICE) based in the United Kingdom, which has been involved in various types of publicly-funded research collaboration with pharmaceutical companies, NECA, NHCR and pharmaceutical companies should collaborate on research adapted to Korea.
Ⅲ. Follow-up Measures
Currently NECA is serving as the host research institution for NHCR’s government-supported clinical research and is conducting various studies. Therefore, the results of the NECA Resonance are shared with researchers in the National Health Clinical Research Coordinating Center in order to reflect the discussion outcome when implementing the actual research projects.
▢ Research Results: Rotator cuff tear
Ⅰ. Management Plan and Detailed Operating Procedures
In response to the need for expert consensus on appropriate treatments for rotator cuff tears, a round table conference steering committee composed of the principal investigators and participating researchers was convened (2015.6.30). Because subcommittees and experts had totally opposing opinions on the research topic, unlike conventional conferences, the round table agreed to utilize RAND’s Delphi technique to be able to reach a consensus. Researchers held two preliminary meetings, which included stakeholder such as orthopedic and rehabilitation specialists (2015. 7. 30, 2015. 8. 6). Each meeting was held separately for each subcommittee. Experts on methodology and preventive medicine also participated to provide consultation on the necessity of and methodology for the research topic. The first survey was conducted on 13 panel members for about ten days between November 17 and November 29, 2015, and a meeting was held at 6:00 p.m. on December 8, using results from the first survey as the agenda. The second survey was conducted for about a week from December 8 to Dec 14.
Ⅱ. Results of the Plenary Session
The first survey revealed that the respondents agreed in 69 vignettes, disagreed in 47 vignettes and neither agreed nor disagreed in 172 vignettes. In the face-to-face meeting that occurred sometime after the first survey, the discussion was mostly about the appropriateness of conservative and surgical treatments in a subset of 52 vignettes in which experts neither agreed nor disagreed. More specifically, the discussion focused on the survey questions related to indications, and particularly on how to interpret the survey question regarding “patients’ response to the previous treatment (conservative treatment).” The participants realized that the interpretation of this survey question was one of the most controversial issues in the first Delphi survey. Thus for the second Delphi survey, the participants agreed to interpret the survey question as “patients who responded or did not respond to treatment after receiving sufficient previous treatment (conservative treatment).” The participants also agreed to exclude 36 vignettes, particularly those that were very unlikely to happen, from the second Delphi survey. When the second survey was conducted, reflecting consensus reached in the previous meeting, the respondents agreed in 24 vignettes, disagreed in 105 vignettes, and neither agreed nor disagreed in 123 vignettes.
Compared to the first survey, in which the respondents agreed in 58 vignettes (not counting the vignettes that were excluded in the second survey), the respondents in the second survey agreed only in 24 vignettes, showing a decrease of 34 in the number of vignettes in which they were in agreement. In the case of vignettes in which they did not agree, the first survey revealed that the respondents disagreed in 47 items, which increased by 62 in the second survey, resulting in a total of 105 vignettes in which they disagreed. In the case of vignettes respondents neither agreed nor disagreed to, the first survey revealed that the respondents neither agreed nor disagreed in 150 vignettes, while the second survey showed respondents neither agreed nor disagreed in 123 vignettes, which is 27 vignettes fewer than the first survey.
Among the vignettes agreed upon by the meeting participants, conservative treatment instead of surgical treatment is recommended at the first medical examination in the following cases: 1) 50-69 year-olds, frail, vigorous physical activities expected after treatment, responsive to previous treatment (conservative treatment), partial rupture with severe damage, minor illness; 2) 50-69 year-olds, frail, normal daily activity expected after treatment, responsive to previous treatment (conservative treatment), partial rupture with severe damage, minor illness; 3) more than 70 years old, frail, normal daily activity expected after treatment, responsive to previous treatment (conservative treatment), partial rupture with severe damage, minor illness; 4) more than 70 years old, not frail, normal daily activity expected after treatment, responsive to previous treatment (conservative treatment), partial rupture with severe damage, minor illness. In other words, conservative treatment is recommended for those patients who are 50-69 years old, frail, and who have partial rupture with severe damage, only minor illness, and are responsive to previous treatments, regardless of the level of expected daily activities after treatment. Conservative treatment is also recommended for patients who are 70 years old or older and responsive to previous treatments with normal daily activity expected after treatment, regardless of frailty.
There was a consensus that surgical treatment recommended at the first examination is appropriate whereas conservative treatment is not in the cases of those patients who are 50-69 years old, who are not frail, who have total rupture of 2 cm or more, and who are expected to be physically active after treatment for major illness, but who are non-responsive to the previous treatment (conservative treatment).
This study is significant for identifying the areas in which experts agreed and disagreed. Since the second survey had more dissent over the vignettes compared to the first survey, further research and continuous efforts to reach expert consensus are needed to provide scientific and objective information to the public on disputed and neutral scenarios.
Ⅲ. Follow-up Measures
This round table agreed to summarize the survey results in a report. This report will be presented to the public and clinical experts.
▢ Conclusions
NECA Resonance was held four times in 2015 to reach consensus on social and public healthcare agendas. This project was an extension of the ‘NECA Round table Conference for Social Consensus’ in 2014 and followed the same operational procedures, except for selecting research topics through two different methodologies: 1) through conducting surveys on research topics in demand and 2) through internal planning.
I. Major Achievements and Limitations of NECA Resonance Operations
1. Application of quantitative topic selection procedures
A survey on potentially desirable topics was conducted to ensure transparency in topic selection, and topic priorities were evaluated in a quantitative manner using a checklist for the topic’s ‘level of scientific evidence’ and ‘social values.’ However, these procedures (using quantitative measures for prioritizing topics) had to be administered twice due to low participation of staff members. Consequently, it became apparent that ensuring objectivity and transparency in the topic selection process is important, but developing strategies to increase participation rates of the internal staff members is also urgent.
2. Increasing participant numbers
In contrast to the Denmark citizen participation studies, NECA Resonance conducted national surveys as an alternative to actual citizen participation and used representatives from patient groups as panelists to represent all healthcare consumers, because of the restrictions imposed on NECA researchers. If human resources and funding are strengthened at a later time, and study periods can be lengthened, NECA should consider holding NECA Resonance on a larger scale such as the Danish consensus conferences.
3. Possible political advantages and outcomes
During the ‘Electronic Cigarette’ NECA Resonance, relevant associations, clinical experts, and some experts from the Ministry of Health and Welfare signed a written agreement on the safety of electronic cigarettes and their effectiveness for smoking cessation, and management plans, all of which can be used as practical evidence in the policy-making process. The ‘Bariatric Surgery’ NECA Resonance did not develop a written agreement since it functioned as a policy debate, but clinical experts and experts from the National Insurance Corporation both participated in the discussion so that the outcome could be reflected in the policy-making process in regards to the provision of national health insurance coverage for bariatric surgery.
4. Application of quantitative consensus methods
In the ‘Rotator cuff’ NECA Resonance, the RAND-UCLA Appropriateness Method (RAM) was used on a trial basis as a way of reaching quantitative consensus. This method was applied only once in 2015; however, in the future, it may help us secure transparency in reaching consensus during NECA Resonance if applied appropriately considering the topic characteristics.
II. Improvement suggestions for NECA Resonance
1. Evaluation results and performance of NECA Resonance
Satisfaction evaluation of participants (panelists, presenters, chairs) is necessary to improve the operational procedures of NECA Resonance.
2. Enhancement of the consensus process
To be able to enhance consensus in NECA Resonance, it is important to utilize quantitative consensus methods such as the Delphi technique or nominal grouping techniques if agreement is not reached through discussions, as well as to develop a reward system for panelists who dedicate a lot of time.
3. Need for increasing participation rates of internal principal investigators
To be able to increase participation rates of the internal principal investigators, it might be helpful to consider dividing round table conference research projects into primary subjects (research management subjects) and secondary subjects.
4. Setting guidelines for agreement in principle
Clear guidelines pertaining to ‘agreement in principle’ are needed for smooth consensus (for example, considering consensus to have been reached if more than 75% of the votes are in agreement).