대학원생이 인공 지능 학회의 논문 리뷰는 어떻게 하는 걸까?

연구를 완료했다면, 이를 논문의 형태로 정리하고 세상에 발표하게 됩니다. 논문이 세상에 나오기 위해서는 리뷰 프로세스를 거치고 최종 억셉을 받으면 출판이 됩니다.

리뷰 프로세스는 분야와 저널/출판사에 따라 조금씩 다르지만, 기본적으로 피어 리뷰 (peer review; 동료 평가)의 형태로 내 논문을 다른 과학자들(리뷰어)에게 보내고 평가를 받습니다. 연구가 이미 완벽한지 (대체로 안 그렇지만), 연구가 독창성이 부족한지, 실험 설계가 잘못되었는지, 논리 전개 상 추가적인 실험이 필요해 보이는지와 같은 평가를 받게 됩니다. 평가를 받고 나면 보완을 하거나 추가적인 설명을 통해 리뷰어를 설득하게 되고, 몇 번의 왔다 갔다를 하게 되면 최종적으로 억셉(accept)을 받고 게재가 확정되게 됩니다.

Image credit : DALL-E

 

인공 지능 분야 연구 발표의 특성

전통적인 과학/공학과 다르게 인공 지능 분야는 저널보다는 학회 위주로 움직입니다. 이는 컴퓨터 과학, 특히 인공 지능 분야는 너무나 빠르게 기술이 발전하기 때문입니다. 기본적으로 저널의 경우는 리뷰 프로세스가 긴 경우가 많습니다. 학회에 비하면 좀 더 적은 편수의 논문을 싣기도 하고, 기본적으로 관리자의 역할을 하는 에디터나 리뷰어 자체가 적기도 합니다. 이 인공 지능 분야의 특수성을 단적으로 보여주는 예시가 arXiv입니다. arXiv는 쉽게 말해, 논문들에 대한 공유 드라이브입니다. 연구진들이 피어 리뷰를 받기도 전에 일단 arXiv에 올리고 세상에 공유합니다. 엄밀하게 말하면, 사실 검증도 되지 않은 report들인 것이죠. 하지만 이 arXiv에 있는 연구들을 정말 많이 사용하고 인용합니다. 물론, 얼마 시간이 지나 학회에 억셉이 되어 출판되는 경우도 있지만, 어떤 논문들은 계속 arXiv에 있는 경우도 있습니다. 그런데, 학회나 저널에 발표가 되지 않고 계속 arXiv에 있다고 해서 거짓된 연구가 아닌 경우도 정말 많고, arXiv에 있으면서 수천회의 인용을 받으며 이미 널리 사용되고 있는 경우도 많습니다.

전통적인 과학자들이 보기에는 참 신기한 분야가 아닐까 싶습니다. 

 

리뷰어

아무튼 본론으로 들어가서, 학회든 저널이든 논문을 평가하기 위해서는 평가자들이 필요합니다. 저널의 경우에서는, 저널 관리자 (에디터)의 수가 한정되어 있기도 하고, 기본적으로 한 분야 안에서도 워낙 세부 분야가 많다 보니 논문을 평가하기 위해서는 그 논문을 그래도 잘 알 것 같은 사람에게 맡깁니다. 또 논문 한 편당 그래도 3~5명 정도의 리뷰어를 배정하게 됩니다 (저널이 학회보다 적은 경향이 있음). 큰 학회의 경우라면 제출된 편수가 몇천건에 달하는 경우도 있는데, 이 때문에 리뷰어가 정말 많이 필요하죠. (물론 리뷰어 한 명이 여러 논문을 평가하기 때문에 단순히 곱은 아닙니다. 대체로 3~5건을 평가하는 것 같습니다).

때문에 기본적으로 교수직함을 달고 있는 사람만을 리뷰어로 하기에는 숫자가 부족합니다. 그래서 학회 리뷰어는 대학원생이 하는 경우가 꽤 있습니다. 그리고, 인공 지능의 경우에는 대학원생들이 웬만한 탑급 대학 교수님 급으로 연구 실적을 내고 활동을 하는 경우도 종종 있긴 하거든요. 구별해야 할 것이, 교수님께 논문 리뷰 요청이 갔고 이를 소속된 대학원생에게 해달라고 부탁하는 것이 아닌 (물론 이러면 안 되지만), 대학원생에게 직접 논문 리뷰를 해달라고 요청이 가는 것입니다.

 

그렇다고 그냥 아무한테나 리뷰어로 활동해달라고 하는 것은 아니고, 어느 정도 연구 실적을 보유하고 있거나, 기존 학회에 리뷰어로 활동했던 사람들에게 invitation이 갑니다. 물론 이 기준은 정말 유한 것이긴 하죠. 

저도 몇 번 탑급 컨퍼런스에서 리뷰어 invitation이 왔어서 해본 적도 있고 그냥 패스한 적도 있습니다.

처음 사진을 보면 작년 학회에서 리뷰어로 활동해줬던 사람에게 이번 연도에도 해달라고 하는 것이고 두 번째 사진의 경우에는 리뷰어 정보를 다른 학회로 넘길 것인데 동의하냐? 라는 것입니다. ICLR와 ICML 둘 다 인공 지능에서 정말 높은 학회인데, 리뷰어가 워낙 부족하다 보니 리뷰어 풀을 이렇게 공유하나 봅니다.

 

리뷰 활동

리뷰어로 활동해보니 꽤 좋은 경험이었습니다. 항상 저자로서 평가를 받는 입장이었는데, 리뷰어로서 남의 논문을 평가해 보니 논문을 보는 안목이 생깁니다. 빠르게 논문의 요점을 잡는 것도 그렇고, 부족한 점을 열심히 생각하다보면 결국 연구에서 어떤 부분이 중요하고 어떻게 논리를 전개해야 하는지 알게 되는 것 같습니다.

리뷰어의 품질 관리?는 최근 인공 지능 학계에서 꽤 문제가 되고 있습니다. 저자로 논문을 냈을 당시에도 이해도 하나도 못하면서 뜬구름을 잡는 리뷰어를 만났을 때 좀 그랬었는데, 많은 사람들이 공통적으로 느끼고 있는 것 같습니다. 정말 훌륭한 논문은 모두가 알아봐 주지만, 대부분의 논문은 리뷰어 빨은 타는 것 같습니다. 연구에도 운의 요소가 있는 것이죠. 때문에 저도 사실 저 문제가 되는 사람에 내가 포함되지 않도록 최대한 열심히 하려고 하고 있습니다. 시간이 부족할 것 같다면 그냥 패스하기도 하고요.

---

학회 리뷰를 해보는 것이 막 어려운 것은 아니지만, 그래도 아무 실적도 없이 해볼 수는 없어서 그런지 인공 지능 분야 대학원생들 중 많이들 본인 CV에 reviewer experience를 써놓곤 합니다 (물론 저도 써놨고요 ㅋㅋ). 뭐 CV에 한 줄 적는 것보다, 리뷰어의 입장에서 이 프로세스를 지켜보고 다른 논문들을 평가해보는 경험 자체가 꽤 의미 있고 이후 연구 활동에도 도움이 많이 되는 것 같습니다.