대규모 언어 모델 활용과 경험적 연구의 미래
이미지가 없습니다.
▶[열람중]대규모 언어 모델 활용과 경험적 연구의 미래 실시간 핫 잇슈
안녕하세요. 보건의료에 대한 글 올려드리는 여왕의심복입니다. 최근 OpenAI의 deep research가 나왔고 저도 많은 놀라움을 느끼고 있습니다. 오늘은 좀 새로운 주제와 고민거리를 가지고 왔습니다.
0. 개인적 배경
- 오늘 글은 경험을 바탕으로 한 내용이 많아 제 배경을 설명드립니다. 저는 의학을 전공한 연구자로 의과대학 교수 8년차입니다. 전공 분야는 데이터과학을 활용한 의료정책, 감염병 연구입니다. 인공지능 빅데이터 연구 센터를 5년 운영했고, 기계학습을 활용한 여러 연구를 수행했습니다.
- 통계학이나 역학적 연구 방법론은 대학교수 정도의 지식을 가지고 있고, 현재까지 연구원 20명, 학위생 10명 정도를 지도했습니다. 대규모 언어 모델은 출시 직후부터 활용하고 있고 상용모델을 다방면으로 활용하고 있습니다. 제 전공은 경험적인 특성이 강한 사회과학에 가깝습니다.
- 저는 연간 10편 이상의 학술논문을 작성하고, 비슷한 수의 연구 보고서, 연간 300편 정도의 논문을 에디팅하고 있습니다. 에디팅을 제외한
대부분의 업무를 전일제 연구원과 함께합니다. 전일제 연구원은 대부분 박사 후 연구원 정도의 경력을 가지고 있습니다. 지난 2년 동안 상당수의 업무는 상용 LLM의 도움을 받았습니다. 상용 모형은 모두 가장 높은 수준의 모델을 사용하고 있습니다.
1. 업무의 흐름
- 제가 주로 수행하는 연구는 사회적, 의료적으로 어떠한 문제가 발생하고 이 문제를 데이터에 입각해서 추론하고 풀어가는 것입니다. 예를 들어 어떠한 보건의료정책이 가지는 문제에 대한 해결방법이나 특정 임상적 약물이 가지는 효과나 부작용을 평가하는 일입니다.
- 대부분의 과정은 단순화가 가능합니다. 문제 인식 -> 가설 설정 -> 데이터 수집 -> 데이터 분석 -> 추론 -> 실행의 순서입니다.
- 예를 들어 "판데믹에 대비한 의료체계 구축"이라는 주제가 있다면 (1) 우리나라에서 감염병을 진료할 수 있는 의료인력이 부족하다라는 문제인식, (2) 판데믹의 규모와 발생 주기 별 감염내과 전문의의 숫자 산출이라는 가설 설정, (3) 전세계 주요 국가의 전문의 인력과 예산 배정현황, 국내의 현황 등 해외 사례 수집, 주요한 감염병의 등장확률 예측과 유행 규모 예측을 위한 데이터 수집, (4) 적절한 모델 선택과 구축 및 분석, (5) 위 결과를 바탕으로한 보고서 작성과 정책 반영(추론과 실행)의 과정을 통해서 제 연구가 진행됩니다. 과도한 일반화일 수 있으나 대부분의 저희 분야 연구는 이 과정으로 적합됩니다.
2. 각 영역에서 대규모 언어모델(LLM)의 현재 활용과 수준
(1) 문제인식과 가설 설정
- 당연한 이야기이지만 사회적, 임상적 연구 주제를 선정하는 일을 LLM이 대신하기는 어렵습니다. 특히 현재 어떠한 문제가 가장 심각하고 해결이 필요한지에 대한 판단은 LLM의 작동영역이 아닙니다. 하지만 주제에 대한 이해를 확장하고 연구 범위와 방법을 설계하는데 LLM은 큰 도움을 줍니다. 특히 ChatGPT o1 이후의 모델은 제시된 주제에 대한 연구 방법론 설계와 계획에 대해서는 [박사 과정 초기 수준] 이상의 결과를 도출해냅니다. o3에서도 이 부분에 대한 개선은 크게 느끼지 못했습니다.
- 즉 연구주제와 어떠한 방식으로 이 문제를 접근하겠다는 방향을 선택하거나 유도하지는 못하지만 그 이후 단계에서의 연구 계획은 높은 수준에 도달해 있습니다.
(2) 데이터의 수집과 정리
- 연구 과정에서 데이터 수집은 주로 (1) 이미 존재하는 연구에 대한 정리와 (2) 직접 산출하는 데이터로 구분될 수 있습니다. 후자는 아직 LLM이 담당할 수 없고, 실험실이나 임상현장, 지역사회에서 수집이 필요합니다.
- 이미 존재하는 연구에 대한 정리는 현재까지 고유성을 가진 연구로 분류되고 있습니다. 예를 들어 제로 음료가 건강에 미치는 영향을 평가한다는 주제에서 지금까지 진행된 연구 결과를 체계적으로 정리하기만 해도 고유한 연구로 인정될 수 있습니다. 현재까지 발표된 연구 결과를 수집하고 정리하는 측면에서 LLM은 빈번히 활용되고 있습니다. 저도 찾아낸 문헌에 대한 요약과 정리에 LLM을 가장 많이 쓰고 있습니다.
- 찾아낸 문헌을 정리하고 요약하는 기능에 있어 대부분의 상용 LLM은 이제 [박사 후 과정]에 가까운 수준을 보여줍니다. 또한 반복적인 작업에서 균일한 결과를 도출해 내는 점은 더욱더 뛰어납니다.
- 그러나 새로운 문헌이나 주제 맞는 연구를 찾아내는 면에서는 아직까지 부족한 면을 보입니다. 이는 학습에 활용된 데이터베이스와 접근 가능한 웹기반 검색에서 생기는 시차에 따르는 문제일 수도 있지만, 많은 분들이 칭찬하는 Perplexity도 선도적인 연구에 활용될 만한 자료를 수집하지는 못합니다. [박사 과정 초기 수준]으로 평가됩니다. Claude나 ChatGPT O3 까지도 동일합니다. 이미 잘 알려져있고 확립된 정보에 대한 수집은 충분히 가능하지만 선도적인 개념이나 연구에 대한 정보는 제시해주지 못합니다.
- 반면 최근 출시된 Open AI의 deep research는 이제 2일정도 활용해보았으나 충격적입니다. [박사 후 과정]에 근접한 결과를 지속적으로 제공해줍니다. 제가 미쳐 알고 있지 못한 연구나 접근 방법에 대한 제시를 해주기도 하고, 주제를 잘 이해하고 있다는 인상을 줍니다. deep research가 생성해낸 결과만으로 의학 저널에서 발표되는 간략한 리뷰원고 수준에 도달해 있습니다. 보통 이런 리뷰 원고는 학계의 대가가 오랜 경험이나 지식을 바탕으로 작성해오는 것이었는데 말이지요.
(3) 분석 모형 구축과 수행
- 연구에서 이 과정은 문제에 맞는 알고리즘을 선택하고 모델을 적절히 수정해야 하는 중요한 과정입니다. 저희 분야에서는 적절한 역학적 기반과 통계학적 지식, 코딩과 해석과정이 복합적으로 필요한 복합적이고 높은 수준의 연구 능력이 필요합니다. 가장 연구자들이 도달하기 어려운 부분 중 하나입니다. 저희 분야도 모형 구축과 분석은 세분화되어있고, 여러 전문가들이 협업을 통해서 문제를 해결해나갑니다.
- 보건학이나 의료 정책 쪽의 연구 방법론은 경제학, 통계학에서 넘어오는 기법이 대부분이고 매우 보수적인 편입니다. Claude나 ChatGPT 모두 이미 제 수준은 뛰어넘었습니다. 모델이나 통계분석의 전공 수준에서는 아직 [박사 후 과정] 정도로 평가되지만, 물론 실제 데이터나 연구 목적에 따라 조정하고 최적화하는 과정은 연구자의 선택과 경험이 필요하지만 융합 학문에서는 이미 충분한 정도입니다.
(4) 추론과 수행
- 데이터 분석 이후 결론을 내리고 이를 현실에 반영될 수 있게 하는 과정도 경험적 학문에서 중요합니다. 정책반영에 대한 의사결정은 당연히 LLM과 관련이 없습니다. 하지만 분석과 결론으로 이어지는 흐름을 표현하는 과정에서 LLM의 성능은 계속해서 향상되고 있습니다.
- 저는 20대 후반 이후 대부분의 시간을 보고서나 논문을 쓰면서 보내왔습니다. 위 과정을 거친 최종 산물을 손에 가지고 이를 정리하고 기술해내는 작업이 제 가장 중요한 능력이라고 생각했습니다. 또 작년까지 GPT o1 이전의 모형에서는 이런 기능을 신뢰할 수 없었습니다. 하지만 이제 제 역할도 점점 다해가고 있다 느껴집니다. o1 이후 모형은 방대한 정보에서 여러 시나리오와 추론 과정을 경험 과학 수준에서 제시하는데 [박사 후 과정] 수준의 연결성을 보여줍니다. 여기에 더해 이 모형은 매우 일관적입니다. 저만해도 수백페이지가 넘는 보고서에서 균일한 수준을 유지하지 못합니다. 이제 목차를 먼저 알려주고 여기에 살을 더하는 방식으로 LLM의 기억을 연장시키면 평균적인 질에서 교수보다 나은 결과물이 도출됩니다.
3. 미래의 변화
- 최근 제 학생들과 주변 연구자에게 항상 하는 이야기들입니다.
(1) 반복적 지식 노동은 대체가능하다.
- 연구 등의 지식 작업은 창조적 활동과 반복적 노동으로 구분된다고 생각합니다. 새로운 개념의 생성. 연역적 증명 등의 창조적 활동은 현재까지 대체가 어려워 보입니다. LLM은 어떤 평론가의 비평처럼 학습 수준의 평균에 수렴하기 때문입니다. 물론 알파폴드를 활용한 신약개발처럼 인공지능을 통해 새로운 분야가 개척되는 분야가 있겠지만 한계는 명확해 보입니다.
- 하지만 반복적 지식 노동은 다릅니다. 반복적이고 정형화된 지식 작업은 과정을 기반으로 표준화할 수 있기 때문에 LLM에 의해서 매우 쉽게 대체될 수 있습니다. 이미 말씀드린 많은 영역의 발전은 아직까지 창조적 활동 수준에 도달하지 못한 연구자들의 발전기회와 숙련된 지식 노동자의 일자리를 없애고 있습니다. 저만해도 이제 석사급~박사수료 수준의 인력은 필요없다고 생각할 정도니까요.
- 이제 새로 진입하는 연구자들과 PI도 다른 접근 방식을 취해야합니다. LLM을 활용해서 최대한 창의적 활동으로 진입할 수 있는 시간을 단축시켜야합니다. 대학 교수들도 이제 대학원생들을 노동자가 아니라 피교육자로 인식하고 교육기회를 제공해야하구요. 그리고 교수들도 자신의 가치를 최대한 고차원적 아이디어를 생성하고 전략적 사고를 할 수 있게 바꿔야합니다.
(2) LLM의 한계도 명확히 인식해야합니다.- Cutting edge에 대한 상상력과 전례없는 문제에 대한 해결은 여전히 사람의 몫입니다. LLM은 과거의 데이터와 연구를 바탕으로한 정리와 재구성, 모델 구축과 분석에는 엄청난 강점이 있지만, 새로운 패러다임 제시와 재해석은 아직 불가능합니다.
- 많이 개선되었지만 여전한 환각 문제도 LLM의 큰 한계입니다. 중요한 연구나 임상적 결정은 여전히 전문가의 몫이고, 법적 책임도 오랫동안 사람에게 있을 것입니다. LLM의 산물을 확인없이 재생산하면 결국 데이터의 오염이 발생하고 악순환에 빠지게 됩니다.
장황하게 적었는데 결론은 간결합니다.
- 반복적 지식노동은 빠르게 LLM에 대체되고 있다. - 나도 대체될 수 있구나 무섭다...
0. 개인적 배경
- 오늘 글은 경험을 바탕으로 한 내용이 많아 제 배경을 설명드립니다. 저는 의학을 전공한 연구자로 의과대학 교수 8년차입니다. 전공 분야는 데이터과학을 활용한 의료정책, 감염병 연구입니다. 인공지능 빅데이터 연구 센터를 5년 운영했고, 기계학습을 활용한 여러 연구를 수행했습니다.
- 통계학이나 역학적 연구 방법론은 대학교수 정도의 지식을 가지고 있고, 현재까지 연구원 20명, 학위생 10명 정도를 지도했습니다. 대규모 언어 모델은 출시 직후부터 활용하고 있고 상용모델을 다방면으로 활용하고 있습니다. 제 전공은 경험적인 특성이 강한 사회과학에 가깝습니다.
- 저는 연간 10편 이상의 학술논문을 작성하고, 비슷한 수의 연구 보고서, 연간 300편 정도의 논문을 에디팅하고 있습니다. 에디팅을 제외한
대부분의 업무를 전일제 연구원과 함께합니다. 전일제 연구원은 대부분 박사 후 연구원 정도의 경력을 가지고 있습니다. 지난 2년 동안 상당수의 업무는 상용 LLM의 도움을 받았습니다. 상용 모형은 모두 가장 높은 수준의 모델을 사용하고 있습니다.
1. 업무의 흐름
- 제가 주로 수행하는 연구는 사회적, 의료적으로 어떠한 문제가 발생하고 이 문제를 데이터에 입각해서 추론하고 풀어가는 것입니다. 예를 들어 어떠한 보건의료정책이 가지는 문제에 대한 해결방법이나 특정 임상적 약물이 가지는 효과나 부작용을 평가하는 일입니다.
- 대부분의 과정은 단순화가 가능합니다. 문제 인식 -> 가설 설정 -> 데이터 수집 -> 데이터 분석 -> 추론 -> 실행의 순서입니다.
- 예를 들어 "판데믹에 대비한 의료체계 구축"이라는 주제가 있다면 (1) 우리나라에서 감염병을 진료할 수 있는 의료인력이 부족하다라는 문제인식, (2) 판데믹의 규모와 발생 주기 별 감염내과 전문의의 숫자 산출이라는 가설 설정, (3) 전세계 주요 국가의 전문의 인력과 예산 배정현황, 국내의 현황 등 해외 사례 수집, 주요한 감염병의 등장확률 예측과 유행 규모 예측을 위한 데이터 수집, (4) 적절한 모델 선택과 구축 및 분석, (5) 위 결과를 바탕으로한 보고서 작성과 정책 반영(추론과 실행)의 과정을 통해서 제 연구가 진행됩니다. 과도한 일반화일 수 있으나 대부분의 저희 분야 연구는 이 과정으로 적합됩니다.
2. 각 영역에서 대규모 언어모델(LLM)의 현재 활용과 수준
(1) 문제인식과 가설 설정
- 당연한 이야기이지만 사회적, 임상적 연구 주제를 선정하는 일을 LLM이 대신하기는 어렵습니다. 특히 현재 어떠한 문제가 가장 심각하고 해결이 필요한지에 대한 판단은 LLM의 작동영역이 아닙니다. 하지만 주제에 대한 이해를 확장하고 연구 범위와 방법을 설계하는데 LLM은 큰 도움을 줍니다. 특히 ChatGPT o1 이후의 모델은 제시된 주제에 대한 연구 방법론 설계와 계획에 대해서는 [박사 과정 초기 수준] 이상의 결과를 도출해냅니다. o3에서도 이 부분에 대한 개선은 크게 느끼지 못했습니다.
- 즉 연구주제와 어떠한 방식으로 이 문제를 접근하겠다는 방향을 선택하거나 유도하지는 못하지만 그 이후 단계에서의 연구 계획은 높은 수준에 도달해 있습니다.
(2) 데이터의 수집과 정리
- 연구 과정에서 데이터 수집은 주로 (1) 이미 존재하는 연구에 대한 정리와 (2) 직접 산출하는 데이터로 구분될 수 있습니다. 후자는 아직 LLM이 담당할 수 없고, 실험실이나 임상현장, 지역사회에서 수집이 필요합니다.
- 이미 존재하는 연구에 대한 정리는 현재까지 고유성을 가진 연구로 분류되고 있습니다. 예를 들어 제로 음료가 건강에 미치는 영향을 평가한다는 주제에서 지금까지 진행된 연구 결과를 체계적으로 정리하기만 해도 고유한 연구로 인정될 수 있습니다. 현재까지 발표된 연구 결과를 수집하고 정리하는 측면에서 LLM은 빈번히 활용되고 있습니다. 저도 찾아낸 문헌에 대한 요약과 정리에 LLM을 가장 많이 쓰고 있습니다.
- 찾아낸 문헌을 정리하고 요약하는 기능에 있어 대부분의 상용 LLM은 이제 [박사 후 과정]에 가까운 수준을 보여줍니다. 또한 반복적인 작업에서 균일한 결과를 도출해 내는 점은 더욱더 뛰어납니다.
- 그러나 새로운 문헌이나 주제 맞는 연구를 찾아내는 면에서는 아직까지 부족한 면을 보입니다. 이는 학습에 활용된 데이터베이스와 접근 가능한 웹기반 검색에서 생기는 시차에 따르는 문제일 수도 있지만, 많은 분들이 칭찬하는 Perplexity도 선도적인 연구에 활용될 만한 자료를 수집하지는 못합니다. [박사 과정 초기 수준]으로 평가됩니다. Claude나 ChatGPT O3 까지도 동일합니다. 이미 잘 알려져있고 확립된 정보에 대한 수집은 충분히 가능하지만 선도적인 개념이나 연구에 대한 정보는 제시해주지 못합니다.
- 반면 최근 출시된 Open AI의 deep research는 이제 2일정도 활용해보았으나 충격적입니다. [박사 후 과정]에 근접한 결과를 지속적으로 제공해줍니다. 제가 미쳐 알고 있지 못한 연구나 접근 방법에 대한 제시를 해주기도 하고, 주제를 잘 이해하고 있다는 인상을 줍니다. deep research가 생성해낸 결과만으로 의학 저널에서 발표되는 간략한 리뷰원고 수준에 도달해 있습니다. 보통 이런 리뷰 원고는 학계의 대가가 오랜 경험이나 지식을 바탕으로 작성해오는 것이었는데 말이지요.
(3) 분석 모형 구축과 수행
- 연구에서 이 과정은 문제에 맞는 알고리즘을 선택하고 모델을 적절히 수정해야 하는 중요한 과정입니다. 저희 분야에서는 적절한 역학적 기반과 통계학적 지식, 코딩과 해석과정이 복합적으로 필요한 복합적이고 높은 수준의 연구 능력이 필요합니다. 가장 연구자들이 도달하기 어려운 부분 중 하나입니다. 저희 분야도 모형 구축과 분석은 세분화되어있고, 여러 전문가들이 협업을 통해서 문제를 해결해나갑니다.
- 보건학이나 의료 정책 쪽의 연구 방법론은 경제학, 통계학에서 넘어오는 기법이 대부분이고 매우 보수적인 편입니다. Claude나 ChatGPT 모두 이미 제 수준은 뛰어넘었습니다. 모델이나 통계분석의 전공 수준에서는 아직 [박사 후 과정] 정도로 평가되지만, 물론 실제 데이터나 연구 목적에 따라 조정하고 최적화하는 과정은 연구자의 선택과 경험이 필요하지만 융합 학문에서는 이미 충분한 정도입니다.
(4) 추론과 수행
- 데이터 분석 이후 결론을 내리고 이를 현실에 반영될 수 있게 하는 과정도 경험적 학문에서 중요합니다. 정책반영에 대한 의사결정은 당연히 LLM과 관련이 없습니다. 하지만 분석과 결론으로 이어지는 흐름을 표현하는 과정에서 LLM의 성능은 계속해서 향상되고 있습니다.
- 저는 20대 후반 이후 대부분의 시간을 보고서나 논문을 쓰면서 보내왔습니다. 위 과정을 거친 최종 산물을 손에 가지고 이를 정리하고 기술해내는 작업이 제 가장 중요한 능력이라고 생각했습니다. 또 작년까지 GPT o1 이전의 모형에서는 이런 기능을 신뢰할 수 없었습니다. 하지만 이제 제 역할도 점점 다해가고 있다 느껴집니다. o1 이후 모형은 방대한 정보에서 여러 시나리오와 추론 과정을 경험 과학 수준에서 제시하는데 [박사 후 과정] 수준의 연결성을 보여줍니다. 여기에 더해 이 모형은 매우 일관적입니다. 저만해도 수백페이지가 넘는 보고서에서 균일한 수준을 유지하지 못합니다. 이제 목차를 먼저 알려주고 여기에 살을 더하는 방식으로 LLM의 기억을 연장시키면 평균적인 질에서 교수보다 나은 결과물이 도출됩니다.
3. 미래의 변화
- 최근 제 학생들과 주변 연구자에게 항상 하는 이야기들입니다.
(1) 반복적 지식 노동은 대체가능하다.
- 연구 등의 지식 작업은 창조적 활동과 반복적 노동으로 구분된다고 생각합니다. 새로운 개념의 생성. 연역적 증명 등의 창조적 활동은 현재까지 대체가 어려워 보입니다. LLM은 어떤 평론가의 비평처럼 학습 수준의 평균에 수렴하기 때문입니다. 물론 알파폴드를 활용한 신약개발처럼 인공지능을 통해 새로운 분야가 개척되는 분야가 있겠지만 한계는 명확해 보입니다.
- 하지만 반복적 지식 노동은 다릅니다. 반복적이고 정형화된 지식 작업은 과정을 기반으로 표준화할 수 있기 때문에 LLM에 의해서 매우 쉽게 대체될 수 있습니다. 이미 말씀드린 많은 영역의 발전은 아직까지 창조적 활동 수준에 도달하지 못한 연구자들의 발전기회와 숙련된 지식 노동자의 일자리를 없애고 있습니다. 저만해도 이제 석사급~박사수료 수준의 인력은 필요없다고 생각할 정도니까요.
- 이제 새로 진입하는 연구자들과 PI도 다른 접근 방식을 취해야합니다. LLM을 활용해서 최대한 창의적 활동으로 진입할 수 있는 시간을 단축시켜야합니다. 대학 교수들도 이제 대학원생들을 노동자가 아니라 피교육자로 인식하고 교육기회를 제공해야하구요. 그리고 교수들도 자신의 가치를 최대한 고차원적 아이디어를 생성하고 전략적 사고를 할 수 있게 바꿔야합니다.
(2) LLM의 한계도 명확히 인식해야합니다.- Cutting edge에 대한 상상력과 전례없는 문제에 대한 해결은 여전히 사람의 몫입니다. LLM은 과거의 데이터와 연구를 바탕으로한 정리와 재구성, 모델 구축과 분석에는 엄청난 강점이 있지만, 새로운 패러다임 제시와 재해석은 아직 불가능합니다.
- 많이 개선되었지만 여전한 환각 문제도 LLM의 큰 한계입니다. 중요한 연구나 임상적 결정은 여전히 전문가의 몫이고, 법적 책임도 오랫동안 사람에게 있을 것입니다. LLM의 산물을 확인없이 재생산하면 결국 데이터의 오염이 발생하고 악순환에 빠지게 됩니다.
장황하게 적었는데 결론은 간결합니다.
- 반복적 지식노동은 빠르게 LLM에 대체되고 있다. - 나도 대체될 수 있구나 무섭다...
추천85 비추천 44
관련글