KISTI, 새로운 백분위 분포기반 국가과학기술수준평가 모형 개발

- 기존, 피인용 평균값 중심 수준평가 지표의 한계 극복 -

국가 과학기술 계획을 수립하고 목표를 설정하는 과정에서 과학기술 수준을 정확하게 파악하는 것은 아무리 강조해도 지나치지 않다 . 지난 수십 년간 세계 각국은 논문 데이터를 활용하여 피인용수 기반 국가 과학기술의 수준을 평가하는 다양한 작업을 수행했다.

그럼에도 불구하고 기존의 수준평가방식은 많은 논란과 문제제기가 끊이지 않고 있는데, 이는 우수성 평가를 위해 반드시 필요한 학문분야 간 특성 차이, 국가 간 규모의 차이, 글로벌 전체 수준 분포 등에 대한 고려가 충분치 않기 때문이다. 

이를 개선하고자, 한국과학기술정보연구원(원장 최희윤, 이하 KISTI) 미래기술분석센터는 기존의 특정한 지표 값 중심의 비교가 아니라, 전체적 수준 분포의 유형과 변화를 파악할 수 있도록 백분위수 기반 기법을 개발하고, 새로운 수준분석 결과를 발표했다.

- 분석하고자 하는 해당 분야의 전체 피인용 분포를 백분위 기준으로 측정하고, 각 국가별로 백분위 분포 상의 비중분포를 파악한 후, 이 분포의 형태 및 변동 추이를 해당국가의 과학기술수준으로 해석하는 방법이다.

- 이를 위해 분포 형태의 의미 해석을 돕는 5가지 유형(기술수준 우수모형, 열위모형, 보통모형, 극단모형, 귀무모형)을 고안했다.

- 다시 말하면, 특정 기준의 충족 여부만을 측정하는 수준 측정이 아닌, 전체적 분포 및 변동을 해석하는 수준측정 방식이다.

KISTI는 개발한 모형의 적용을 위해, OECD 과학기술 분류 중 8개 분야를 선정하고, 각 분야 별로 한국, 미국, 영국, 독일, 일본, 중국 6개국이 산출한 논문의 인용 영향력 백분위 분포를 분석했다. 그 결과, 한 국가의 논문 총량이 급증하는 추세라도, 논문 집합의 수준 분포는 국가별로 매우 다양한 형태로 나타나며, 시기별로도 계속 변화하고 있음이 확인됐다. 

예로서, 중국의 경우, 2000년대 이후 논문이 급증하고 있지만, 질적인 측면에서는 아직도 부족하다는 인식이 많다. 그러나 본 모형을 통한 분석에 따르면, 중국은 규모의 증가 못지않게 수준 측면에서도 오히려 한국을 앞질러 전 분야에서 미국을 맹렬히 추격하고 있는 상태로 나타난다. 즉, 수준의 분포모형 역시 선진국과 유사한 우수모형의 형태로 빠르게 변화하고 있음이 확인된다.

일본의 경우는 대부분의 학문분야에서 열위모형의 분포로 변화하고 있고, 그 속도도 매우 빠름이 감지된다. 특히, 전자공학 및 정보과학 분야에서는 이미 확실한 열위모형 분포를 보인다.

반면, 한국은 물리학, 화학, 재료공학 분야에서 분포 최상위 구간의 비중이 꾸준히 증가하고는 있으나, 수준 분포의 형태 측면에서는 좀처럼 우수모형으로 진화하고 못하고 있다. 오히려, 하위 구간의 논문 비중이 감소하지 않거나 세계 평균 비중보다 더 높은 비중을 지속적으로 유지하고 있었다.

KISTI 이준영 책임연구원은 “최근 들어 ‘질적 평가’라는 이름하에 상위 1%, 0.1%와 같이 극도의 최상위 구간에 포함되는 논문의 수나 점유율 자체를 정책목표로 제시하는 경우가 빈번히 나타난다. 그러나 특정한 숫자를 강조하고 목표로 삼기보다는 전체 분포의 형태를 우수모형으로 변환시키기 위한 노력을 더욱 기울여야 하는 지점에 우리나라가 서 있음”을 강조했다.

본 연구결과는 빅데이터 기반 과학기술산업 이슈 분석채널인 KISTI DATA INSIGHT 제7호( http://mirian.kisti.re.kr/insight/insight.jsp)에 전문이 수록돼 있다.