아웃풋은 연구자가 만들어낸 산출물이고, 아웃컴은 그 산출물이 사회와 산업에 만들어낸 변화다. 쥐꼬리를 보고 싶은 게 아니라 진짜 쥐가 줄어들기를 바라는 것이다. 산출은 "우리가 무엇을 했는가"이고, 성과는 "그래서 사람들에게 무엇이 달라졌는가"다.

1902년 하노이의 프랑스령 인도차이나총독부는 쥐 문제로 골머리를 썩이고 있었다. 당시 총독(뒷날 프랑스 대통령이 되는 폴 두메르)이 자랑스러워하던 하수도 건설 사업이 뜻하지 않게 도시 역사상 최대의 쥐 서식지를 만들어 냈기 때문이다. 총독부는 현상금을 걸었다. 쥐 한 마리당 1센트. 쥐꼬리를 잘라서 내면 받을 수 있었다.

프랑스 관리들은 곧 꼬리 없는 쥐들이 하노이를 돌아다니는 것을 목격하게 된다. 쥐잡이들이 쥐를 잡아 꼬리만 자른 뒤 하수도로 돌려보내 더 많은 쥐를 낳게 했다. 교외에서는 심지어 현상금을 받으려고 쥐를 사육하는 농민들까지 나타났다. 

1958년 5월 중국의 마오쩌둥 주석은 연간 철강 생산 목표를 1070만 톤으로 올릴 것을 요구했다. 그 전해의 목표는 535만 톤이었다. 목표를 맞추기 위해 모든 가정과 도시 노동자와 농민이 철강 생산에 동원됐다. 뒷마당 용광로도 짓게 했다. 여기서 나온 철 1톤의 비용은 현대식 용광로의 두 배였고, 그나마 저급해서 쓸 수도 없었다. 더 치명적인 결과는 따로 있었다. 많은 농업 노동자가 철 생산을 하느라 농사를 포기해야 했고, 결국 대기근의 원인이 됐다.

한국 사례도 있다. 한국산업기술평가관리원의 최근 5년간 연구개발(R&D) 과제 성공률은 모두 98퍼센트(%)를 넘었고, 2020년에는 99.7%를 기록했다. 완료 과제 982개 중 979개가 성공했다. 그런데 사업화 성공률은 연평균 42.9%다. 영국 70%, 미국 69%에 턱없이 못 미친다. 

세 사례의 공통점이 있다. 아웃풋(Output, 산출)과 아웃컴(Outcome, 성과)을 구분하지 못했다는 것이다. R&D 과제의 아웃풋은 흔히 다음과 같다. 국제 과학기술인용색인(SCI)급 논문 3편/ 특허 2건/ 시제품 제작.

과제가 끝나면 "논문 3편 나왔습니까?" "예." "특허 2건 냈습니까?" "예." "그러면 성공입니다." 이렇게 된다. 그 특허가 쓰였는지는 묻지 않는다. 논문이 인용되는지도 보지 않는다. 기업이 제품으로 만들었는지도 평가하지 않는다. 쥐꼬리만 가져오면 되는 것이다. 

정부가 말하는 '성과'는 대부분 아웃풋이다. 반면 국민이 보고 싶은 건 아웃컴이다. 실제 제품으로 이어졌는지, 일자리가 늘었는지, 투자한 돈보다 더 큰 경제적 가치가 창출됐는지를 묻는다. 아웃풋은 연구자가 만들어낸 산출물이고, 아웃컴은 그 산출물이 사회와 산업에 만들어낸 변화다. 쥐꼬리를 보고 싶은 게 아니라 진짜 쥐가 줄어들기를 바라는 것이다.

쉽게 말해 산출은 "우리가 무엇을 했는가"이고, 성과는 "그래서 사람들에게 무엇이 달라졌는가"다. '스마트공장을 3만 개 지원했다'는 것은 산출이고, '그 공장들의 생산성이 실제로 올랐는가?'는 성과다.

2018년 12월 대한민국 정부는 중소벤처기업부와 산업통상부 등 관계부처 합동으로 '중소기업 스마트 제조혁신 전략'을 발표하고, 당초 2022년까지 2만 개 보급 목표였던 스마트공장 계획을 3만 개 구축으로 확대(국내 제조 중소기업의 약 50% 수준)한다. 그리고 목표 시한이었던 2022년 말 기준 총 3만 144개를 구축하며 양적 목표를 공식적으로는 달성했다. 

그런데 '2024 스마트제조혁신 실태조사'에 따르면 정작 전담IT·스마트화 인력을 갖춘 중소기업은 19.5%에 불과했다. 시스템 오류가 발생하거나 생산 공정이 바뀌었을 때 자체 유지보수가 불가능하니 도입했던 제조실행시스템(MES)나 전사적자원관리(ERP)를 점차 쓰지 않고 다시 수기 방식으로 돌아가는 사례가 빈번했다. 보급된 3만여 개 스마트공장 중 약 75.5%가 '기초 단계(단순 바코드 인식, 설비 가동 상태 모니터링 수준)'에 머물렀다. 국내 제조 중소기업의 약 50%가 이미 스마트공장이 됐다는데도 우리 주변에서 보기가 어려운 게 이 때문이다. 

어떻게 하면 좋을까? 

1. 평가의 중심을 산출물에서 성과로 분명하게 바꿔야 한다. 쥐꼬리를 모을 게 아니라 실제로 쥐가 줄어들었다는 것을 확인할 수 있어야 한다.

2. 과제 종료 시점이 아니라 종료 후 3~5년까지 실제 성과와 영향을 측정할 수 있어야 한다. 여기에는 두 가지 난관이 있다. 관료제는 구조적으로 산출로 도망친다. 예산 배정, 감사, 인사 평가가 모두 연내에 검증할 수 있는 숫자를 요구하는 한, 담당 공무원에게는 산출 지표를 쓰는 것이 합리적 선택이다. 이것은 공무원의 무능이나 부도덕의 문제가 아니라 제도 설계의 문제다. 또 하나는 순환근무다. 대한민국 정부는 2년마다 집단 기억상실증에 걸린다. 과장급 이상 공무원의 평균 근무연한이 이 정도로 짧기 때문이다. 정부의 암묵지가 2년마다 휘발한다. 

3. 집단적 학습시스템을 제도화할 수 있다. 영국에는 왓웍스 네트워크(What Works Network, 무엇이 효과가 있는지를 검증하는 정책센터 연결망)라는 기관이 있다. 센터들의 역할 중 하나가 합의된 성과(outcomes) 집합에 견주어 정책과 관행의 효과를 평가하는 것이라고 명시돼 있다. '이 정책이 실제로 효과가 있는가'는 질문에 답하는 일을 아예 상설 기관으로 만든 것이다. 9개의 독립 왓웍스 센터와 3개 준회원 기관으로 구성되며 2500억 파운드가 넘는 공공지출을 다룬다.

한국에도 사실 비슷한 제도가 있다. 현재 '정부업무평가 기본법'을 보면 중앙행정기관은 성과관리전략계획과 성과관리시행계획을 수립해야 한다. 성과관리시행계획에는 성과목표와 성과지표를 포함하게 돼 있고, 시행 계획의 이행 상황도 점검하도록 돼 있다. 그런데 왜 제대로 작동하지 않을까? 성과 평가의 위치가 달랐기 때문이다. 현재의 전형적인 흐름은 '정책기획 → 예산 → 집행 → 성과지표 작성 → 평가'다. 평가가 맨 뒤에 붙는다. 

영국 정부는 평가를, 정책이 끝난 뒤 하는 일이 아니라 정책의 설계 단계부터 시작해야 한다고 명시하고 있다. 평가 결과가 다음 정책의 정책적 근거(rationale), 정책목표(objectives), 정책대안 평가(option appraisal)에 다시 반영돼야 한다는 것이다.

4. 그러므로 '정부 정책기획서'의 표준 양식을 바꿔야 한다. 다음 항목을 의무적으로 추가해야 한다.

① 문제정의

"어떤 문제를 해결하려고 하는가?"

단순히 "청년 취업을 확대한다"가 아니라 "청년 X 집단의 취업률이 낮은 원인은 무엇인가?"까지 내려가야 한다.

② 증거 검토

"이 문제에 대해 현재까지 무엇이 밝혀져 있는가?"

국내외 연구, 기존 정부 사업 평가, 해외 왓웍스 자료 등을 검색하도록 한다. 여기서 인공지능(AI)을 적극 활용할 수 있다. AI가 국내외 연구·정부평가·행정데이터를 검색해서 증거지도를 자동 생성하도록 하게 할 수 있다. 이것은 협업툴을 제대로 만들어 해결할 수 있다.

③ 정책 가설

"이 정책이 왜 효과가 있을 것으로 생각하는가?"

이 정책을 하면, 왜 원하는 변화가 일어날 것으로 생각하는가?'를 단계별로 설명하는 정책의 인과관계 지도를 간단한 형태로 작성한다.  이렇게 하면 정책담당자가 '사업을 한다'와 '문제를 해결한다'를 혼동하기 어려워진다.

④ 증거 수준

각 정책 가설에 대해 근거가 되는 증거를 적고 그 수준을 함께 표기한다. 강한 실증, 상당한, 제한적인, 증거 부족, 사실상 가설 등이 될 것이다. 이렇게 해야 정책의 근거를 처음부터 확인할 수 있다.

⑤ 평가설계

"어떻게 효과를 검증할 것인가?"를 적는다.

⑥ 중단·확대 조건

이 부분이 한국에는 특히! 필요하다. 정책을 시작할 때부터 어떤 결과가 나오면 확대하고, 어떤 결과가 나오면 수정하며, 어떤 결과가 나오면 중단할 것인가를 정해 둬야 한다. 이렇게 해야 정책평가가 감사가 아니라 학습이 된다.

내용이 길 필요는 없다. 모든 정책기획서 앞부분에 1~2장으로 정리하면 된다. 이렇게만 하면 놀라운 변화가 일어날 것이다. 정책담당자는 '무엇을 할 것인가?'를 쓰기 전에 '왜 이것을 하는가?'를 설명해야 한다. 아웃풋 대신에 아웃컴을 얘기하게 되는 것이다.

끝으로, 특별히 강조해야 할 것이 있다. 실패를 문책해선 안 된다는 것이다. 영국 정부는 평가의 목적을 크게 정책 학습(Learning)과 책무성(Accountability)으로 나눈다. 학습은 부차적인 것이 아니라 좋은 의사결정 그 자체다. '근본적으로 학습이란 좋은 의사결정에 관한 것이며, 평가는 정책을 계속할지, 어떻게 개선할지, 위험을 어떻게 줄일지에 대한 결정에 필요한 증거를 제공한다'는 것이다.

우리에게는 '실패한 정책' 데이터베이스가 필요하다. 성공 사례만 모으면 반쪽이다. '어떤 정책이 실패했나? 왜 실패했나? 어떤 조건에서 실패했나?'를 축적해야 한다. 그래야 정책담당자가 새로운 정책을 만들 때 AI가 자동으로 "과거에 유사한 정책이 17건 있었습니다. 이 가운데 5건은 효과가 있었고, 8건은 효과가 없었으며, 4건은 평가가 불가능했습니다"와 같은 자료를 만들어주도록 할 수 있다.

우리가 모든 정책 자료들을 제대로 차곡차곡 쌓아둘 수 있다면, 기계가 읽을 수 있는 형태로 저장하고 있다면, 부처 간의 사일로를 없앨 수 있다면, 클라우드에서 협업하고 있다면, 그때 우리는 정부의 정책기획 프로세스 자체를 AI-native하게 바꿀 수 있다. 

정책담당자가 정책을 기획하면 AI가 자동으로 "이 문제에 관한 기존 연구", "유사 정책", "정책효과", "반대 증거", "평가되지 않은 가정", "필요한 데이터", "추천 평가 방법들"을 찾아줄 수 있기 때문이다. 더 이상 쥐꼬리를 세지 않아도 되고, 뒷마당 용광로를 짓지 않아도 된다.

◆ 박태웅 녹서포럼 의장

한빛미디어 이사회 의장을 비롯해 KTH, 엠파스 등 IT 업계에서 오래 일했으며 현재 녹서포럼 의장으로 활동하고 있다. IT산업발전에 기여한 공로로 2021년 동탑산업훈장을 수훈했다. 저서로는 <눈 떠보니 선진국>, <박태웅의 AI 강의> 등이 있다.