[전문기술] 생성AI, 과학논문 쏟아낸다…“동료평가 시스템 이미 망가져”

[전문기술]  생성AI, 과학논문 쏟아낸다…“동료평가 시스템 이미 망가져”

 

 

과학논문 작성하는 AI 등장

스탠퍼드 ‘스톰’, 사카나AI ‘AI과학자’

주제·개요 제시하면 ‘과학논문’작성

신뢰도 위해 주장·인용 출처도 제시

여러 AI간 토론·대화 ‘원탁토론’구현

 

주제어와 개요만 제시하면 눈깜짝할 새 과학 논문을 작성해주는 생성 인공지능 서비스가 잇따라 등장함에 따라 과학계의 연구와 논문 발표 환경에 충격이 던져졌다 . 새로운 과학적 사실을 발견하고 연구하는 일은 문명을 발전시키온 동력으로 , 뛰어난 두뇌와 오랜 노력 , 거대한 자원이 요구되는 작업이었다 . 생성 인공지능이 인류의 가장 고등한 행위인 과학연구에 들어오면 어떻게 될까 ?

 

스탠퍼드대학 ‘ 오픈 버추얼 어시스턴트 랩 (OVAL)’ 연구진은 지난 7월 논문 자동작성 프로그램을 공개했다 . ‘ 다양한 관점의 질문 생성과 검색을 통한 주제·개요 작성 ’ 시스템이라는 의미의 ‘ 스톰 (STORM) 서비스는 인터넷 검색을 기반으로 주제를 입력하면 약 30쪽 의 논문급 리포트를 작성해준다 .

 

스톰은 논문 아이디어 창출과정, 동료 검토 등 과학계의 논문 작성 관행을 모방해 구조화했고, 투명성과 신뢰성을 확보하고자 했다 . 스톰은 위키피디아를 비롯해 평판 높은 출처의 자료 검색에서 시작한다 . 단 순히 복사해 붙여넣는 게 아니라 , 관련 정보를 분석 · 추출 · 종합해 일관된 구조로 만들어낸다 . 논문 개요 작성 뒤엔 흥미로운 과정이 진행되는데, 단순히 글을 쓰는 게 아니라 대화를 시작한다 . 스톰은 주제에 대해 각각 다른 관점을 대변하는 여러 인공지능 서비스간의 대화를 만들어낸다 . 전문가들의 원탁토론과 비슷하지만 , 모든 참여자가 인공지능이다 . 이후 논문 작성 과정에서 스톰은 적절하고 정확한 인용을 추구한다 . 생성된 문장의 인용이 제시돼 독자는 출처를 확인할 수 있다 . 스톰은 인용 정확도가 85.18% 라고 밝히고 있다 . 스톰에서 30 쪽 분량의 논문급 리포트가 작성되는 데 걸리는 시간은 최대 3 분이고 , 무료다 .

 

일본의 인공지능 스타트업 ‘ 사카나 AI’ 는 지난달 과학연구를 자율수행할 수 있는 인공지능 서비스 ‘AI 과학자 (AI Scientist)’ 를 개발했다고 공개하며 논문을 ‘아카이브 (arXiv)’ 에 실었다 . ‘AI 과학자 ’ 는 거대언어모델(LLM)을 사용해 과학 논문을 자동생성하는 서비스로 , 스탠퍼드대 스톰과 유사한 구조다 . 논문 방향을 제시하면 사람 개입없이 연구 아이디어를 제안하고 필요한 코드를 작성해 실험을 실행한 뒤 결과를 요약해 과학 논문으로 작성하는 일을 자동 수행한다 . 또 논문에 대한 평가 , 피드백 작성 , 동료 검토 절차를 도입해 생성된 논문을 거의 사람 수준의 정확도로 평가할 수 있다는 게 사카나 AI 의 설명이다 . 거대언어모델이 브레인스토밍 , 유망 아이디어 선택 , 알고리즘 코딩 , 결과 추출 , 실험·결과 요약, 논문 작성 , 참고문헌 등의 절차를 순차적으로 수행한다. 연구진에 따르면 ‘AI 과학자 ’ 가 논문 한편을 작성하는 데 필요한 컴퓨팅 비용은 15 달러 ( 약 2 만원 ) 정도다 .

 

인공지능의 과학 논문 작성 배경엔 두 요인이 있다. 하나는 거대언어모델의 성능 개선이고 다른 하나는 논문 공유 문화의 확산이다 . 생성 인공지능은 이미 글쓰기 , 그림그리기 , 작곡하기 , 프로그래밍 등 다양한 영역에서 사람을 뛰어넘는 수준의 결과물을 만들어내고 있다 . 과학 논문이라고 무풍지대가 아니다 .

 

스탠퍼드대학의 OVAL 연구진이 지난 7월 공개한 논문 자동작성 프로그램 ‘스톰(STORM)’의 작동 구조. 과학자들의 연구문제 설정, 자료 조사, 브레인 스토밍과 토론, 초안작성, 결론, 참고문헌 제시 등 일련의 논문 작성 과정을 모방하는 구조로 설계됐다.

과학 연구가 점점 더 공개적으로 진행되고 있으며 , 수백만 개의 과학 논문이 논문공유 사이트 (arXiv, PubMed 등 ) 에서 온라인으로 무료 제공된다 . 거의 모든 과학 지식은 어딘가 기록되어 있고 , 접근가능한 상태다 . 생성형 거대언어모델이 이런 자료를 기계학습하면 , ‘ 좋은 과학 논문 ’ 처럼 보이는 것들을 얼마든지 생성해낼 수 있다 .

 

그런데 아무리 뛰어나고 부지런한 연구자라 해도 해당 분야에서 쉴새없이 쏟아져나오는 과학 논문을 과거처럼 검토하고 비평하기란 거의 불가능해졌다 . 인공지능의 도움을 받지 않거나 , 인공지능 논문에 대한 부정적 견해를 가진 과학자라고 해도 자신의 연구와 동료 연구 검토 작업에서 인공지능으로부터 자유로울 수 없다.

 

인공지능이 논문을 자동생성하는 상황은 과학계에 어떠한 영향을 끼칠까 ? 로열 멜버른 공과대 (RMIT) 학장이자 오스트레일리아 의료인공지능연합 창립자인 카린 버스퍼는 지난달 20 일 ‘ 컨버세이션 ’ 기고에서 이에 대한 우려를 제기했다 . 버스퍼는 “ 인공지능이 생성해낸 논문이 과학계에 넘쳐나게 되면 미래의 인공지능 시스템은 인공지능 결과물을 학습해 모델 자체가 무너질 것 ” 이라고 경고했다 . 이미 과학계에는 가짜 논문을 만들어내는 도구와 사용자들이 있는데 , ‘ 스톰 ’ ‘AI 과학자 ’ 같은 프로그램은 문제가 더 악화시킬 것이라는 지적이다.

 

인공지능이 자동 생성하는 수많은 연구 결과에서 오류를 확인해야 하는 일은 결국 사람의 일이 된다 . 아무리 검증 과정에 인공지능을 활용한다고 해도 , 최종 결과물에 대한 진위와 신뢰성 판단 , 게재 여부 판단 등은 사람의 몫이다. 문제는 이런 일들이 인간 과학자의 역량으로 처리할 수 없는 규모로 확대되고 있다는 점이다 . 버스퍼 학장은 “ 과학계의 동료평가 시스템은 이미 망가졌으며 , 품질이 의심스러운 연구를 더 많이 쏟아낸다고 해서 문제가 해결되지는 않을 것 ” 이라고 경고했다 . 인공지능 생성 논문은 기존 과학계의 연구개발과 검토 시스템에 부정적 영향을 가져와 결과적으로 과학의 혁신과 발달을 저해할 것이라는 우려가 커지고 있다 .