대학원 생활 - 논문 리뷰털 (Paper rebuttal)

최근 바빠서 글을 잘 못 썼는데, 여러 일들이 있었습니다. 주말도 벌써 끝나려 하고 있는데, 포스팅을 몇 개 해보려고 합니다.

---

 

몇 달 전에 논문을 학회에 제출했는데 중간 결과가 나왔습니다. Review라고 하죠. 총 세 명의 리뷰어가 있었고 결과가 전체적으로는 평균보다는 조금 높은 것 같습니다. 일단 Rebuttal이라고 하여 리뷰어들이 제시한 질문이나 잘못 이해한 것에 대하여 보충 설명을 할 수 있는 과정을 겪어야 합니다. 이 Rebuttal과 기존의 세 명의 리뷰어로 받은 리뷰와 점수를 종합적으로 고려하여 이제 더 위에 있는 분이 Accept/Reject을 결정하게 됩니다. 제가 어떤 학회에 냈는지를 공개하기는 조금 그래서 자세하게는 설명하기 조금 그렇네요. 분야에서 굉장히 높은 학회인데 우리나라에서 글이 많이 없어 특정이 쉽게 될 것 같습니다. 참고로 학회의 진행 방식은 학회마다 너무 다릅니다. 리뷰어가 몇 명인지, 어떤 시스템을 통해 진행하는지, Accept 조건 등등 다양합니다.

 

많은 학회에서 리뷰라고 하면 '어떠한 점이 문제인 것 같다' 와 같이 말로 쓰는 칸이 많이 있지만 마지막에는 점수가 있습니다. 이 점수에 뭔가 눈이 바로 가더라고요. 학회마다 다르지만 일단 제 학회는 1~9 점까지 하여 Strong accept(9)부터 (0)까지 있습니다. 0점에 대한 이름은 모르겠습니다. NeurIPS, ICML, ICLR와 같은 머신 러닝 학회들도 저런 점수제를 사용하는데 점수에 대한 이름이 궁금해서 찾아봤습니다.

 

ICML의 리뷰 점수 제도는 다음과 같습니다.

1. Trivial or wrong

2. Strong rejection

3. Clear rejection

4. OK but not good enough - rejection

5. Marginally below acceptance threshold

6. Marginally above acceptance threshold

7. Good paper, accept

8. Top 50% of accepted papers, clear accept

9. Top 15% of accepted papers, strong accept

10. Top 5% of accepted papers, seminal paper

1부터 10점까지 점수가 있네요. 제가 낸 학회보다는 뭔가 설명이 조금 더 긴 느낌이 듭니다.

 

---

일단 저는 위 ICLR 점수와는 전혀 다른 제도의 학회이고, 9점 Strong accept이랑 Marginally above랑 marginally below를 받았습니다 (정확한 워딩은 다르긴 합니다). Strong accept이 하나 있어서 정말 다행스럽긴 합니다만, 일단 Rebuttal을 최대한 열심히 해보았습니다. 안일해서 좋을 것은 이 세상에 없으니까요. 특히 marginally below를 준 리뷰어 한 명이 참 이상한 것이 제 논문을 잘 이해해서 정곡을 찌르는 것 같다가도 너무나도 기초적인 것을 질문하여 이해를 잘하고 나쁜 점수를 준 건지, 잘 이해를 하고 나쁜 점수를 준 건지 모르겠습니다.

이 Rebuttal이라는 것이 정말 정말 머리를 잘 써야 하는 것이 저자인 우리와 Reviewer들 간의 말 몇 마디를 보고 Accept과 Reject이 결정되는 것입니다. 때문에 Review를 받아치는 저자 입장에서는 상대가 어떤 위치에 있는지 질문을 보고 우선  파악해야 합니다. 참고로, 저희 학회에서만 해당하는 얘기일 수 있으나 (즉, 제출하시는 학회를 보고 판단하시라는 내용입니다.) 그냥 저널의 리뷰에서는 약간 굽신거리고 저자세로 받아친다고 교수님께서는 그러셨는데 이번에 제출하는 학회에서는 리뷰어가 잘못된 소리를 하면 아예 짚고 넘어가는... 어쨌든 약간 미묘한 기싸움이 일어날 수 있는 것처럼 되어 있더라고요. 이는 이제 학회 홈페이지에 있는 여러 정보들을 다 읽어본 것이라 꼭 홈페이지에 있는 Guideline이나 Review process 등을 자세히 읽어보시길 바랍니다. 리뷰에 대한 몇 가지 상황은 다음과 같습니다.

 

1. 나에게 우호적인 리뷰어가 멍청한 질문을 한다.

우호적인 리뷰를 주셨지만 기초적이고 멍청한 질문을 한다고 해서 약간이라도 까거나 무시하는 어조가 들어가면 안 됩니다. 그냥 간단하게 설명하고 넘어가는 게 좋습니다. 왜냐하면, 결국 Accept/Reject을 결정하는 높은 사람 (Chair, 학회마다 이름 다름)들은 논문을 하나하나 다 읽어보기보다는 어떤 리뷰를 받았고 어떻게 대처했는지를 우선 보는데 우호적인 리뷰를 준 사람이 알고 준 게 아니라 잘 모르고 줬다면 그 사람에 대한 신뢰도가 없고 우호적인 리뷰를 보지 않게 됩니다.

2. 잘 아는 리뷰어가 정곡을 찌른다.

윽......... 제일 어렵습니다. 저널에서는 보완해서 제출하겠다가 되지만, 학회에서는 모든 과정에 데드라인이 다 정해져 있고 미룰 수 없습니다. 보완해서 제출하겠다는 뜻은 결국 내년에 제출하겠다는 뜻이며 Reject을 받겠다는 뜻이죠. 때문에 정곡을 찔린다면 결국은 정곡을 인정하고 어떻게 변명을 해야 합니다. 예를 들어, 그런 실험이 있었다면 좋겠지만 우리는 처음부터 방향을 이곳으로 정했다., 그 방향은 우리 페이퍼의 main focus가 아니다., 그런 실험은 불가능하다 or 이 field의 연구에서는 잘 사용하지 않는 방법이다., 우리는 이 field에서 주로 사용되는 실험들을 모두 하였다. 등이 있습니다. 전체적으로 보면 1) 우리랑 방향이 다르다, 2) 우리는 기존의 다른 페이퍼들처럼 할 거는 다 했고 잘못된 것은 없다. 가 쉬운 대답인 것 같습니다. 1번이 쉽게 리뷰를 넘기는 방법 같고, 2번은 이제 우리가 이 field에 대해서 자세히 알고 있다는 스탠스로 리뷰에 약간 맞서는 방법입니다. 2번을 쓸 때에는 정말 자세히 아는 상태에서 해야겠죠. 특히, 시간적 여유가 있는 저널과는 다르게, 학회에서는 아무리 논문과 리뷰어를 매칭 해주는 시스템이 있다고 하더라도 리뷰어가 보게 되는 많은 논문들이 리뷰어가 잘 모르는 분야일 가능성이 높습니다. 때문에 2번의 방법이 가능은 한 것입니다.

특히, 모두 포함되는 내용이지만 리뷰에 대한 Rebuttal을 할 때 (Fig. 1) 아니면 (Sect 2.1) 이런 식으로 우리 페이퍼에 있는 부분을 레퍼 해주면 리뷰어가 논문을 잘 안 보고 질문을 한 것과 같은 느낌을 줄 수 있습니다. 다시 말하지만, 결국 위에 있는 사람은 논문을 하나하나 읽어보기보다는 (읽으시겠지만) 리뷰와 반박을 우선 봅니다. 특히, 우호적인 리뷰보다는 harsh 한 리뷰를 먼저 보게 됩니다. 어떤 단점이 있고 harsh 한 리뷰를 어떻게 반박을 했는지 보는데 만약 리뷰어가 잘 모르거나 핵심을 잘 못 짚은 것 같다면 결국 그 리뷰어가 준 reject이라는 표가 약해집니다.

3. 잘 모르는 리뷰어가 내 논문을 깐다.

조목조목 반박하는 등 이 리뷰어가 잘 모르고 리뷰를 썼다는 식의 느낌이 미묘하게 전달되면 됩니다. 그렇게 어려운 것은 아닌 것 같습니다. 그냥 지식 전달을 목적으로 평온한 분위기로 말을 하면 좋을 것 같습니다.

---

마지막 부분을 쓰면서 든 생각인데, 약간 리뷰어에 대해 싸우자는 식으로 글을 쓴 것 같은데 싸우자는 투는 별로 좋지 않습니다. 무슨 뜻이냐면, 모르고 하는 말에 대해서는 조곤조곤 반박을 다 하면 되는데 말의 뉘앙스가 offensive 하면 안 된다는 소리입니다. 제가 첫날 Review를 받고 나서 Rebuttal을 작성할 때에는 저도 모르게 조금 offensive 했었나 본지 교수님께서 약간 말투가 너무 싸우자는 투 같다고 하셨습니다. 이게 저만 그런 것이 아니라 많은 사람들이 겪는지 How to write good rebuttal이라는 키워드로 구글에 검색해서 다 읽어보니까 첫 날 바로 Rebuttal을 쓰지는 말라고 하더라고요. 잠자고 다음 날 쓰라고 하더라고요. 물론 모든 Review가 모두 좋아서 기분 좋게 끝낸다면 좋겠지만, 대체로 최소 한 개정도는 harsh 한 리뷰가 있을 수 있겠죠. 리뷰가 발표되는 첫날은 기분도 약간 흥분되어 있는 상태고 기대와 걱정이 미묘하게 섞여 있는 상태에서 harsh 한 리뷰를 받게 된다면 평소보다도 조금 감정이 이상할 수도 있을 것 같습니다. 저 또한 스스로는 평정심을 유지했다고 생각했는데 교수님의 말을 듣고 다시 읽어보니 뭔가 정말 싸우자는 투로 쓴 것 같더라고요. 영어로 썼는데도 그런 게 느껴질 정도면... 

 

---

아무튼 Rebuttal 제출도 몇 주 되긴 해서 Final notification도 이제 얼마 안 남았습니다. 제발 붙어서 제 이름으로 pdf가 이 세상에 하나가 나오면 좋겠습니다.

Status가 Rebuttal에 들어가있습니다

 

한 가지 고민인 것이 그 논문에 대한 설명을 이 블로그에 포스팅할지 아니면 그냥 제 CV 웹사이트를 블로그 형식으로 하나 개편해서 그곳에 적을지 고민하고 있긴 합니다. 사실 이 블로그에 제가 누구인지 찾으려면 찾을 수 있는 몇 가지가 있긴 한데 저도 알고 있지만 귀찮아서 안 바꾸고 있는데 만약 저 논문에 대한 설명을 쓰게 된다면 이제 아예 신상을 공개하는 게 되니까요.