학술 논문은 어떻게 출판하나 ?

1. 학술 논문은 어떻게 출판하나? 서울대학교 이제희

2. 학술 논문은 왜 출판해야 하나? • 아무리 위대한 아이디어가 있어도 혼자만 알고있어서는 가치가 없다 • 연구에 자기 시간의 반을 쓰고, 나머지 반은 그 결과를 남들에게 알리는데 쓰라 • 논문을 출판하고, • conference/symposium에서 발표하고, • 언론에 알리고, • 대중 강연하고, • 누구든 만나면 자신이 하는 연구에 대해 설명한다

3. 논문을 어디에 발표할 것인가? • Journal • 학회가 주도하는 학술지:ACM Transactions, IEEE Transactions • 출판사가 운영하는 학술지:Elsevier, Springer • Conference/Symposium • ACM SIG, IEEE sponsored conferences • Open Access Venues • PLOS One • arXiv

4. 어떤 논문을 출판할지 누가 결정하나? • Peer review • 각 분야의 전문가들이 논문의 수준을 평가하도록 하는 것 • 많은 경우 논문을 submit하는 사람들이 review도 한다 • 일반적으로는 volunteerism을 바탕으로 유지된다 • 예외적인 관점 (PLOS One) • Peer review will concentrate on technical rather than subjective concerns. • Verifies whether experiments and data analysis were conducted rigorously • Leaves it to the scientific community to ascertain importance (Open peer review)

5. SIGGRAPH Paper Committee에 대한 인상 • 뿔 달린 도깨비들이 모여 논문에 대해 험담하는 곳?

6. 논문 출판은 어떻게 결정되나? • Academic Journal • IEEE Transactions on Visualization and Computer Graphics (TVCG) • Peer Reviewed Conference/Symposium • Eurographics • ACM/Eurographics Symposium on Computer Animation • Journal+Conference mix • ACM Transactions on Graphics (ToG) • ACM SIGGRAPH / SIGGRAPH Asia

7. 비밀 규정 • Committee 내에서 논의된 모든 내용은 비밀 • 구체적인 사례는 설명하지 못함 • 일반적인 policy를 중심으로 설명

8. Journal Editorial Board • Editor-in-Chief • 전체 학술지 운영을 총괄 • 출판사와 관계 조율, 보통 1명 • Associate Editors-in-Chief • 규모가 큰 경우만, 현재 5명 • Associate Editor • 세부 분야별로 1명씩, 현재 44명 • 실질적으로 학술적인 결정을 내리는 역할 • Reviewer 중 한 명의 역할을 하기도 (ACM ToG)

9. From Submission to Publication • 논문을 Associate editor에게 배정 (editor-in-chief) • 논문은 상시 submit 가능 • Desk rejection (분야가 맞지 않거나, 표절 의혹이 있거나) • Reviewer를 초청 (Associate editor) • 보통 3~5명 (TVCG는 3명) • Review report 작성 (reviewer) • 보통 2주~6주 (TVCG는 4주, 필요에 따라 연장) • Recommendation (Associate editor) • Accept, Minor revision, Major revision, Reject • Reject and resubmit as “New”

10. From Submission to Publication • Revision • Revised manuscript와 corresponding letter 제출 • Minor: Associate editor가 revised manuscript를 확인하고 결정 • Major: Reviewer들에게 2nd round review 요청 • 최종 결정 • Associate editor의 recommendation에 따라 editor-in-chief이 결정 • Camera ready • Magazine의 경우는 editor가 글 전체를 rewrite하기도 한다. (IEEE Computer Graphics and Applications) • 모든 과정이 편지로 대화를 나누듯 진행

11. Journal vs Conference • Paper submission • Journal은 아무때나, Conference는 정해진 시기에만 • Paper format • Computer science에서는 구분 없음 • 타 분야에서 conference에는 short paper, journal에는 full paper • Review process • Journal에서는 review에 대해 rebuttal할 수 있는 기회가 있음 • Conference에서는 일반적으로 rebuttal 기회가 없이 한번에 결정

12. Conference Organizing Committee • Conference chairs • 전체 학술대회 운영을 총괄, 보통 1~2명 • 학술적이지 않은 부분을 담당, 학자가 아닌 경우도 있다 • Program chairs • 주로 논문과 academic program을 담당 • 그 외에 프로그램 별로 chair들이 여럿이다 • Local organization chairs, short paper chairs, tutorial chairs, workshop chairs, poster chairs, education chairs, so on

13. International Program Committee (IPC) • IPC member들이 reviewer 역할 • 보통 한 논문을 3~5명의 IPC member들이 review • Program chair가 IPC member를 초청 • 일반적으로 physical meeting 없이 online discussion으로 결정

14. Conference 논문의 출판 • Conference proceedings • 출판사와 계약을 통해 논문집으로 출판 • Non-archival • 경우에 따라 conference 논문 전체 혹은 일부를 journal에 special issue로 출판하기도 • SIGGRAPH 논문은 ACM ToG에 • Eurographics논문은 computer graphics forum에 • IEEE Visualization의 논문은 IEEE TVCG에 • SIGGRAPH/SIGGRAPH Asia는 rebuttal을 도입해서 conference이지만 revision이 가능하도록

15. SIGGRAPH Paper Committee의 구성 • 대략 (# of submission / 8)명의 committee member로 구성 • 분야, 연령에 대한 고려 • 한 명이 약 16편의 논문을 담당 • 8편에 대해서는 primary reviewer 역할 • 8편에 대해서는 secondary reviewer 역할 • Tertiary reviewer는 committee 외부 인사 • Primary가 2명, Secondary가 1명 씩 tertiary reviewer 초청

16. 논문의 평가 – Score가 무엇을 의미하는가? • 각 reviewer는 1점부터 5점 사이의 점수를 부여 • Score가 가지는 의미는 linear하지 않음 • 평균 점수가 가장 높은 논문이 가장 좋은 논문이 아님 • 평균 점수가 가장 낮은 논문이 가장 나쁜 논문도 아님 • 논문의 수준과 평균 점수의 상관 관계는 낮음 • 점수보다는 report 내의 설명과 평가가 더 중요

17. Reviewer를 위한 Score Protocol • Accept 하려면 4점, reject 하려면 2점을 주라 • Reject 하기 위해 굳이 1점을 주어 연구 의욕을 꺾을 필요 없다 5 4 - accept 3 2 - reject 1

18. Reviewer를 위한 Score Protocol • 5점을 주는 경우 • 눈에 띄는 단점을 가지고 있으나 좋은 아이디어를 가지고 있다 5 - not good in general, but has good idea 4 - accept 3 2 - reject • 1-good in general, but has serious defects

19. Reviewer를 위한 Score Protocol • 1점을 주는 경우 • 전체적으로 잘 쓰여진 논문이나 심각한 결함이 있다 5 - not good in general, but has good idea 4 - accept 3 2 - reject • 1-good in general, but has serious defects

20. Reviewer를 위한 Score Protocol • Grey zone (3~3.5) • Committee 입장에서 도움 안 되는 의견 5 - not good in general, but has good idea 4 - accept • 3.5 3 2 - reject • 1-good in general, but has serious defects Grey zone

21. Post-Rebuttal Session • 본격적인 논쟁의 시작 • Reviewer들의 합의 하에 accept/reject/table로 구분 • 이 단계에서 accept로 합의되는 경우는 극소수 • 의견이 엇갈리는 경우 치열한 논쟁 • Table된 논문은 committee meeting에서 재논의

22. 논문 평가의 대원칙 • 개개의 논문의 채택 여부는 그 논문의 장단점에 기반해서 평가한다. • Accept할 논문의 개수를 미리 정하지 않는다. • 분야 별 논문에 비율을 조정하지 않는다. • 동시에 submit된 유사한 다른 논문과 비교하여 평가하지 않는다. • Cross-review를 가능한 피한다.

23. Committee Meeting • Plenary session • Committee member 전체가 모여서 회의 • 편의 상 tertiary reviewer들의 score 평균으로 sort • Blind discussion • 토론 시에 저자가 누구인지 밝히지 않는다 • Conflict of interest가 있는 member는 밖에서 대기 • 쪽지로 대화 • 일상 대화에서는 (식사시간, 휴식시간 등등) 논문에 대해 토론하지 않는다. • 논문의 간단한 요약 • Extra reader 배정 • 첫날 밤 동안 extra 논문을 읽고 의견을 정리

24. Committee Meeting • Breakout session • 각 논문 별로 primary/secondary/extra가 모여서 회의 • 가장 깊이 있는 논의가 이루어지는 시간 • Accept/reject/tog referral로 분류 • 간단한 말 몇 마디로 reject로 몰아가기는 쉽다. • 뛰어난 연구자일 수록 긍정적으로 말할 줄 안다.

25. 논문의 분류 • 좋은 논문 • 모두가 이견 없이 인정한 좋은 논문 • 20편 중 한편도 없는 경우도 있다 • 안 좋은 논문 • 모두가 좋지 않게 평가한 논문 • 꽤 많다 • Everyone on the fence • 모두가 grey zone으로 평가 • 열렬한 지지도 열렬한 비평도 없음 • 예) 3, 3, 3, 3.4, 3.4 • 별 다른 토론 없이 reject되는 경우가 많다

26. 논문의 분류 • Large split • 의견이 엇갈리는 경우 • 예) 2, 2, 2.5, 3.7, 5 • 생각보다 많다. 20편 중 3~4편 • 이틀 간의 committee meeting이 결국 몇 편의 large split을 해결하는데 집중 • 평균 점수는 전혀 중요하지 않다