무분별, 저품질 논문과 싸우는 arXiv
지난 몇 년간 생성형 AI와 대규모 언어모델이 논문 작성 난이도를 크게 낮췄습니다. arXiv는 원래도 논문의 저품질 문제를 안고있었죠. 하지만 '빠른 논문'이 arXiv의 존재 이유인 만큼 좋은 논문을 찾는 것은 독자의 몫으로 돌리는 것에 모두가 암묵적으로 동의했습니다. 하지만 그것도 한계인가봅니다. 새로운 연구 성과를 담지 않은 리뷰 논문들이 폭주하면서, arXiv는 결국 결정을 내렸습니다. 앞으로 CS 카테고리에 리뷰 논문과 포지션 페이퍼를 올리려면, 먼저 저널이나 학회에서 심사를 통과해야 합니다
arXiv CS 카테고리는 리뷰 논문과 포지션 페이퍼 제출 시 피어리뷰를 거친 학술지나 학회의 수용 증명이 필수가 되도록 정책을 변경했습니다.
- 리뷰 논문과 포지션 페이퍼는 arXiv 제출 전에 저널이나 컨퍼런스에서 수용되어야 함
- 피어리뷰 완료 문서 필수 (저널 레퍼런스와 DOI 메타데이터 포함)
- 워크숍 심사는 충분하지 않음
- 거절된 논문은 재심사 신청(appeal) 가능
무엇이 바뀌었나?
먼저 명확히 할 점이 있습니다. 이것은 정책 변경이 아니라 관행 변경입니다. arXiv의 공식 정책에 따르면 리뷰 논문과 포지션 페이퍼는 원래 허용되지 않는 콘텐츠 타입이었어요. 다만 과거에는 고품질 논문들이 드물게 들어오면서 중재자의 재량으로 수용했던 거죠.
왜 지금 이런 결정을 했나?
과포화 현상의 심화
arXiv는 최근 몇 년 동안 제출 물량이 극적으로 증가했습니다. 특히 CS 카테고리의 증가가 두드러져요. 여기에 대규모 언어모델이 더해지면서 상황이 악화됐습니다. LLM을 사용하면 새로운 연구 성과 없이도 빠르고 쉽게 논문을 작성할 수 있으니까요.
현재 arXiv CS는 매달 수백 개의 리뷰 논문을 받고 있습니다. 과거에는 연간 상위급 연구자들이 Annual Reviews나 IEEE Proceedings 같은 출판사의 의뢰로 작성한 고품질 논문들만 들어왔습니다. 포지션 페이퍼도 과학 학회나 정부 연구 그룹에서 나온 드문 경우들이었죠.
하지만 지금은 다릅니다. 들어오는 리뷰 논문 대부분이 참고문헌에 주석만 달아놓은 "주석 달린 참고문헌 목록"에 불과합니다. 열린 연구 문제에 대한 실질적인 논의가 없어졌습니다.
arXiv의 핵심 미션과의 충돌
arXiv의 핵심 목표는 연구 논문을 공유하고 과학적 발견을 신속하게 촉진하는 것입니다. 그런데 자원봉사 중재자들이 수백 개의 리뷰 논문을 일일이 검토하느라 시간을 쏟아붓게 되면, 정작 해야 할 일에 집중할 수 없게 되죠.
해결책: 외부 피어리뷰 체계 활용
arXiv는 결정을 내렸습니다. 이미 존재하는, 신뢰할 수 있는 외부 피어리뷰 시스템을 활용하자는 겁니다.
컨퍼런스와 저널들은 이미 리뷰 논문과 포지션 페이퍼를 체계적으로 수용하고 있습니다. 특히 AI의 안전, 보안, 윤리, 프라이버시 같은 중요한 주제들이죠. 이들 기관에서는 이미 심도 깊은 피어리뷰를 통해 품질, 증거 기반, 학술적 가치를 검증하고 있습니다.
따라서 arXiv는 이 외부 검증 체계를 신뢰하고, 피어리뷰를 통과한 논문들만 arXiv에 게재하기로 결정한 거죠. 이렇게 하면 arXiv는 본래 미션에 집중할 수 있고, 독자들은 고품질의 검증된 리뷰 논문과 포지션 페이퍼를 찾을 수 있게 됩니다.
실제로는 어떻게 제출하나?
제출 프로세스:
- arXiv 제출 전에 저널이나 컨퍼런스에서 리뷰 논문/포지션 페이퍼 수용
- 피어리뷰 완료 후 arXiv에 제출
- 제출 시 저널 레퍼런스와 DOI 메타데이터 포함
주의사항:
- 워크숍에서의 심사는 인정되지 않습니다 (일반 피어리뷰 기준을 충족하지 않음)
- DOI와 저널 정보가 없으면 거절될 가능성이 높습니다
거절되면 재신청할 수 있나?
네, 가능합니다. 피어리뷰를 거치지 않아 거절된 논문이라도, 이후에 성공적인 피어리뷰를 완료했다면 **재심사 신청(appeal request)**을 할 수 있어요. 다만 신청 없이 무조건 재제출하면 안 됩니다.
그럼 우리 논문은?
혹시 "과학 기술이 사회에 미치는 영향을 연구하는 과학 논문"을 제출하려고 하나요? 그렇다면 괜찮습니다. 이건 리뷰 논문이나 포지션 페이퍼가 아니라 정규 과학 연구 논문이거든요. cs.CY(Computers and Society) 같은 카테고리에 피어리뷰 없이도 제출할 수 있습니다. 이 정책 변경의 대상이 아니라는 뜻이죠.
다른 카테고리는 어떻게 되나?
각 arXiv 카테고리는 독립적인 중재자 팀을 가지고 있습니다. 모두 arXiv 정책을 따르지만, 같은 규모의 LLM 생성 콘텐츠 문제를 겪는다면 유사한 정책 변경을 고려할 수 있어요. 변경이 생기면 공개적으로 안내할 예정입니다.
결론
arXiv의 이번 결정은 실용적이다라고 생각합니다. 외부 피어리뷰 체계를 사용함으로써 arXiv 자신의 자원을 아끼고, 고품질의 검증된 리뷰 논문과 포지션 페이퍼를 여전히 제공할 수 있기 때문이죠. 저자 입장에서는 기존보다 절차가 복잡해 보일 수 있지만, 결과적으로는 더 신뢰성 있고 임팩트 있는 출판의 길을 가게 되는 겁니다. arXiv가 과학 발견의 속도를 유지하려는 의지를 보여주는 결정이라고 볼 수 있습니다.