연구자료실
설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.
연구자료 검색
새 논문 요약
요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.
- 1343Research Agents
The FM Agent
- 문제: 조합 최적화, 시계열 예측, 고성능 kernel 조정 같은 산업 문제는 후보 해의 평가는 비교적 쉽고 정말 좋은 해를 찾기는 매우 어렵다는 공통 구조를 가지며, 지금까지는 전문 엔지니어가 algorithm을 짜고 반복해 다듬어 왔다고 저자들은 설명했다. 저자들은 기존 multi-agent 연구 대부분이 주로 코드 생성에 초점을 둔 점을 한계로 보고, 여러 분야의 복잡한 문제에서 최고 수준의 해를 대규모 탐색으로 찾는 범용 agent를 목표로 했다.
- 입력과 출력: 논문 종류는 Baidu AI Cloud의 FM Agent 팀이 만든 범용 multi-agent 시스템 FM Agent를 다룬 시스템 논문이다. 입력은 풀 문제이고 ML 과제라면 dataset과 과제 목표를 받으며, 후보 해는 FM Agent에 들어 있는 분야별 evaluator가 채점한다. 출력은 진화 탐색으로 다듬은 프로그램으로, ML pipeline, 조합 최적화 heuristic, CUDA(NVIDIA GPU용 병렬 계산 platform) kernel, 수학 문제의 구성 코드가 여기 든다.
- 방법: Cold Start 단계에서 여러 생성 agent가 서로 다른 전략으로 다양한 초기 algorithm pool을 만들고, 이 algorithm들을 cluster로 나눠 여러 island(대부분의 시간 동안 따로 진화하는 개체군)에 배정한다. Evolve 단계에서는 island마다 mutation과 crossover로 개체군을 진화시키며 island끼리 주기적으로 교류해 아이디어가 섞이게 하고, 실시간 개체군 다양성에 따라 선택 압력을 조절하는 cluster 기반 sampling과 상위 해를 모은 elite pool로 exploration과 exploitation의 균형을 맞춘다. evaluator는 기본으로 단일 fitness 점수와 LLM judge feedback을 주고, ML이나 kernel 생성 같은 복잡한 경우에는 정확도와 지연 시간의 균형 같은 분야별 다차원 지표를 쓴다.
- 구현: 시스템은 Ray framework 위에서 돌아가며, 프로그램 생성과 프로그램 평가를 따로 둔 병렬 worker pool에 비동기로 나눠 수천 개의 진화 과정을 동시에 실행할 수 있게 했다. 세 benchmark 실험에서 FM Agent는 Gemini-2.5-pro를 쓰고 사람 개입 없이 LLM만으로 최적화했으며, 전문가가 자연어나 코드로 진화 방향을 바꾸고 RAG(retrieval-augmented generation, 검색한 자료를 붙여 답을 만드는 방식)로 전문가 knowledge base를 찾게 하는 Human-Interactive Feedback Module은 저자들이 권장하는 선택 사항이다. 논문에 적힌 GitHub 주소는 비교 대상인 OpenEvolve와 CUDA-L1의 것이고, FM Agent 자체의 코드 주소는 논문에 없다.
- 결과: Kaggle 대회 75개로 된 MLE-Bench에서 FM Agent(서로 다른 seed로 3번 돌린 평균)의 메달 획득률은 43.56%로, 공식 보고서에서 가져온 Operand ensemble 39.56%와 InternAgent 36.44%보다 높았다. 모든 agent가 Gemini 2.5 Pro를 쓴 ALE-Bench lite 10문제에서 전체 평균 점수는 1976.3으로 ALE-Agent(분야 지식과 다양성 중심 탐색을 넣은 전용 agent) 1879.3보다 5.2%, Iterative-Refinement baseline(Self-Refine 방식으로 해를 반복해 고치는 baseline) 1201.3보다 64.6% 높았다. 가장 어려운 kernel을 모은 KernelBench Level 3 문제를 cluster로 나눠 고른 workload set에서는 수치 허용 오차를 더 엄격하게 잡고도 torch.compile보다 2.08배에서 20.77배 빨랐고, 원 26개 채우기 문제에서는 반지름 합 2.6359740012로 AlphaEvolve의 2.6358627564보다 높았다.
- 한계: MLE-Bench 비교 대상 수치는 gpt-4o, o1-preview, deepseek-r1, gpt-5 같은 서로 다른 기반 모델로 낸 공식 보고서 값이고, ALE-Bench lite의 짧은 대회 평균은 ALE-Agent가 2284.8로 FM Agent의 2250.8보다 높았다. ablation은 ALE-Bench 과제 하나(ahc016)에서 설정마다 5번씩 돌린 결과이고, 불확정성 부등식 과제에서 저자들은 탐색 성능이 전문가 지식에서 나온 문제 설정에 매우 민감하다고 밝혔다. Baidu 안팎의 여러 산업 현장에서 쓰는 algorithm 수준에 맞먹거나 넘었다는 주장은 본문에 수치 없이 나온다.
- 1342Research Agents
How Far Are AI Scientists from Changing the World?
- 문제: LLM 기반 AI Scientist 시스템이 만든 논문이 ICLR(International Conference on Learning Representations) 2025 workshop에 채택될 만큼 성과가 나왔고, 저자들은 이런 시스템이 의학, 에너지, 환경의 큰 과제를 푸는 발견까지 얼마나 남았는지를 묻는다. 저자들은 기존 survey가 LLM 구조, agentic framework, 과학 자동화 tool을 개관했지만 이상적인 AI Scientist로 가는 길을 능력 단계로 그린 roadmap이 여전히 빠져 있다고 보았다.
- 조사 범위: 논문 종류는 LLM 기반 AI Scientist 시스템을 다룬 survey다. 2장에서 6장까지 지식 획득, 아이디어 생성, 검증과 반증, AI reviewer 시스템, 진화를 차례로 다루며 장마다 대표 방법을 정리했고, 평가 benchmark는 2장, 4장(표 2), 5장(표 3)에 모았으며 3장에서는 가설의 평가 기준과 자동 평가, 사람 평가 방식을 정리했다. 7장에서는 한계와 윤리 문제를, 8장에서는 AI Scientist끼리 정해진 형식으로 주고받는 표준 통신 protocol SSCP(Scientist-to-Scientist Communication Protocols) 같은 앞으로의 방향을 다뤘다.
- 분류: 저자들은 성숙한 AI Scientist의 능력을 네 단계로 나눴다. Level 1 지식 획득은 기존 연구에서 과학 지식을 찾고 읽고 이해하는 능력, Level 2 아이디어 생성은 새롭고 실현 가능한 가설을 대량으로 내는 능력, Level 3 검증과 반증은 실험을 설계, 구현, 분석해 가설을 시험하고 반증할 수도 있는 능력, Level 4 진화는 내부와 외부 feedback으로 연구 능력 전체를 계속 높이는 능력이다. 저자들은 Level 2를 AI Scientist 시스템과 자동화된 과학 tool을 가르는 핵심 특징으로 보았다.
- 저장소: 논문 첫 쪽에 적은 GitHub 저장소 Awesome-AI-Scientist는 논문, open source tool, benchmark 목록을 README에 모은 저장소이고, 맨 위에는 README.md, 기여 안내 CONTRIBUTING.md, 그림 폴더 img 등이 있다. README는 목록을 이 survey와 같은 장 이름(Knowledge Acquisition, Idea Generation, Verification and Falsification, Review System, Evolution)으로 나누고 논문마다 원문과 관련 코드 링크를 달며 공개된 리뷰가 있으면 그 리뷰 링크도 단다고 밝혔다. 공개 리뷰가 없는 일부 논문에는 자신들의 DeepReviewer로 만든 AI 리뷰 링크를 붙였다고 README에 적었다.
- 근거: 최신 LLM의 구현 benchmark 정확도가 비교적 낮다는 것을 보이려고 저자들이 다른 논문에서 모은 표에서 OpenAI o1-preview의 MLE-Bench 메달 수준 성공률은 16.90%, o1-high의 PaperBench 논문 재현 점수는 26.00%, Claude-Sonnet-3.7의 SciReplicate-Bench 실행 정확도는 39.00%였다. 저자들이 AI reviewer 모델 DeepReviewer-14B로 AI Scientist 시스템 5개가 공개한 논문 28편을 채점하니, 가장 높은 Zochi의 평균 rating이 10점 만점에 4.63에 그쳤다. 결함 분류에서 'Experimental Weakness'는 28편 모두(100%)에서, 'Methodological Unclarity/Flaws'는 96.4%에서 나왔다.
- 한계: 저자들은 남은 차이의 원인으로 기반 LLM의 hallucination(그럴듯하지만 거짓인 내용을 만드는 현상), 지식 갱신의 높은 비용과 비효율, catastrophic forgetting(새 데이터로 학습할 때 전에 익힌 정보를 잃는 현상)과, 실현 가능성이 낮은 가설 생성이나 잘못된 검증 방법 같은 연구 능력의 부족을 들었다. 채점한 논문은 각 시스템이 공개한 것이라 골라 낸 결과일 수 있어 평소 출력과 다를 수 있다고 저자들은 표 주석에 적었다. 점수는 DeepReviewer-14B 한 모델이 매긴 값이고, Zochi는 2편, AI Scientist-v2는 3편으로 낸 평균이다.
- 1341Research Agents
AgentRxiv: Towards Collaborative Autonomous Research
- 문제: 과학의 진전은 한 번의 깨달음에서 나오는 일이 드물고 수백 명의 과학자가 공통 목표를 향해 조금씩 함께 일한 결과인데, The AI Scientist, Virtual Lab, Agent Laboratory 같은 기존 자율 연구 agent는 따로 돌아가며 시간에 걸쳐 연구를 이어 쌓는 구조가 없는 경우가 많다고 저자들은 지적했다. 저자들은 agent가 서로의 연구를 이어받을 공통 저장소가 있으면 논문이 거듭될수록 성과가 쌓이는지를 묻는다.
- 입력과 출력: 논문 종류는 agent 연구실이 연구 보고서를 올리고 찾는 공유 preprint server AgentRxiv를 만든 시스템 논문이다. 입력은 사람이 정한 연구 방향과 세부 지시이고, 실험에서는 연구 방향으로 'reasoning과 prompt engineering으로 MATH-500 정확도를 높여라'라는 과제 한 줄을 주며 실험에 gpt-4o mini를 쓰라는 지시와 OpenAI API key를 함께 줬다. 각 연구실은 이 방향에서 아이디어를 스스로 내고 실험해, 새 reasoning 기법과 그 MATH-500 정확도를 담은 논문을 AgentRxiv에 올린다.
- 방법: AgentRxiv는 논문 올리기, 검색, 보기 경로와 검색 결과를 JSON으로 돌려주는 API endpoint를 갖춘 local web application이고, 올라온 논문은 비동기로 바로 다른 연구실이 볼 수 있다. 검색은 사전학습된 SentenceTransformer로 논문과 질의를 embedding한 뒤 cosine similarity로 순위를 매긴다. 각 연구실은 PhD(박사과정생 역할), Postdoc, ML Engineer, Professor 같은 역할 agent와 mle-solver, paper-solver tool이 Literature Review, Experimentation, Report Writing 세 단계를 진행하는 Agent Laboratory이고, 문헌 검토 때 AgentRxiv 논문 5편과 arXiv 논문 5편을 읽는다.
- 구현: 순차 실험에서 연구실 agent의 LLM backend는 o3-mini(medium)이고, agent가 만든 reasoning 기법은 gpt-4o mini로 실험하며, Agent Laboratory는 사람 개입 없는 autonomous mode로 돌렸다. 순차 실험은 연구실 하나가 논문 40편을, 병렬 실험은 설정이 같은 연구실 셋이 40편씩 모두 120편을 만들었고, 모든 실험은 Apple M3 Max와 메모리 36GB를 갖춘 2023년형 MacBook Pro에서 돌렸다. 공식 저장소 AgentLaboratory의 README는 Agent Laboratory가 AgentRxiv를 지원한다고 적고, 맨 위에는 ai_lab_repo.py, agents.py, mlesolver.py, papersolver.py, app.py, experiment_configs 폴더 등이 있다.
- 결과: 순차 실험에서 MATH-500 정확도는 gpt-4o mini zero-shot baseline 70.2%에서 마지막 기법 SDA(Simultaneous Divergence Averaging, 낮은 온도와 높은 온도의 chain-of-thought 답 두 개가 비슷하면 확신도가 높은 답을 고르는 기법)의 78.2%로 올라 상대 11.4% 나아졌고, AgentRxiv 접근을 끄면 73.4%와 73.8%에서 멈췄다. SDA는 GPQA(생물, 물리, 화학의 대학원 수준 질의응답) Diamond를 36.4%에서 38.9%로, MMLU-Pro를 63.1%에서 70.8%로, MedQA(미국 의사 면허 시험 질의응답)를 74.9%에서 81.6%로 올렸고, 모델 5개와 benchmark 4개에 걸친 평균 향상은 3.3%였지만 모델 평균으로 본 GPQA는 52.2%에서 51.6%로 내렸다. 연구실 셋을 병렬로 돌리면 최고 정확도가 79.8%(상대 13.7%)에 이르렀고, 76.2%에 논문 7편째에 닿아 순차 실험의 23편째보다 일렀다.
- 한계: 저자들은 높은 hallucination 비율을 개발 중 가장 흔하게 부딪힌 문제로 볼 만하다고 적었는데, 일부 논문은 실제 실험과 어긋나는 결과를 적었고 code repair mechanism(실행 중 난 오류를 고치는 단계)은 오류를 없애려고 핵심 코드를 지우는 일이 잦았으며 실제 연구 코드 없이 그럴듯한 실행 출력을 찍는 코드를 쓰기도 해서, 보고한 정확도는 각 프로그램의 출력과 코드를 사람이 직접 확인한 값이다. 실험의 큰 비율은 코드의 심각한 bug로 정확도 0% 안팎에서 완전히 실패했고, 저자들은 MATH-500 정확도를 올리는 목표가 많은 ML 논문이 benchmark 성능 향상으로 새 발견을 보고하는 방식을 부분적으로 반영하고, 과학 발견 전체를 온전히 반영하는 데에는 한계가 있다고 밝혔다. 병렬 실험은 연구실 셋이 논문 120편을 만들어 총비용이 279.6달러로 순차 실험의 92.0달러보다 컸다.
- 1340Research Agents
Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills
- 문제: ML 연구 agent는 모델과 harness(orchestration, memory, 검증, 반복 개선을 맡는 부분)로 이뤄지지만, 어떤 방법과 도구를 언제 어떻게 쓸지에 관한 operational knowledge(방법을 아는 것과 실제로 돌아가게 하는 것을 가르는 실무 지식)는 agent 밖에 남아 있다. 이 지식은 저장소와 논문에 많지만 사람이 읽도록 쓰였고, task 도중에 불러오기에는 너무 크다. 지금은 전문가가 이 지식을 손으로 skill과 도구로 옮기기 때문에 비용이 전문가 노동에 따라 늘어난다.
- 입력과 출력: creator mode의 DisCo는 저장소나 논문 같은 source, 또는 구체적 task 하나를 anchor(skill 만들기를 시작하는 대상)로 받아 검증된 skill graph(한 source에서 나온 skill들과 그 사이의 routing, 의존, 조합 연결)와 construction record(쓴 근거, 한 검사, 남은 빈틈의 기록)를 낸다. researcher mode에서는 문제, 데이터, 환경(tool과 예산), 목표로 이뤄진 연구 task를 받아 code, 모델, 실험 결과, 보고서 같은 산출물을 낸다. 논문 종류는 agent DisCo와 skill library를 만들고 benchmark 4개로 실험한 시스템 논문이다.
- 방법: skill은 처음에 읽는 SKILL.md(목표, 핵심 개념, tool 사용법, 알려진 실패 유형), 필요할 때만 여는 references/(API 문서, 알고리즘 세부, parameter 설정), 정해진 입력과 출력을 가진 실행 wrapper인 scripts/의 세 층으로 이뤄진다. skill distillation(사람이 읽는 source 지식을 agent가 쓰는 skill로 바꾸는 과정)은 anchor가 source든 task든 다룰 capability 정하기, 근거 모으기, 후보 skill graph 만들기, 검사하고 가능하면 고치기의 네 단계를 거친다. 연구 task를 풀 때는 router가 요청을 분야, family, 저장소 skill graph 순으로 좁히고, agent는 graph의 entry skill에서 시작해 필요한 branch만 불러온다.
- 구현: 저장소 1,000개의 skill graph는 GPT-5.5와 GPT-5.6-sol(reasoning effort xhigh)로 저장소당 평균 약 40달러의 예산을 배정해 만들었고, snapshot에는 skill 5,353개가 분야 20개와 capability family 178개로 정리돼 있다. 실험용으로는 PaperBench 목표 논문 20편의 선행 논문 153편에서 skill 636개를 만들었고, MLE-bench는 대회마다 graph 하나를, FrontierCS(최적해를 모르는 열린 컴퓨터 과학 문제 benchmark)와 PassNet(graph compiler pass 생성 benchmark)은 benchmark마다 graph 하나를 만들었다. README에 따르면 GitHub 저장소에는 skill library(skills 폴더), npm package로 배포되는 DisCo CLI(명령줄 도구, cli 폴더), 설치와 workflow 문서, 예시 session 기록이 있다.
- 결과: Codex harness, GPT-5.5 backbone, 실행 예산을 같게 두고 skill 유무만 바꾼 비교에서 MLE-bench 대회 75개의 Any Medal 점수는 31.11%에서 72.89%로 올랐고(상대 향상 134.3%), 표 1에 공식 MLE-bench leaderboard에서 옮겨 온 공개 baseline 가운데 가장 높은 64.44%보다도 높았다. PaperBench 논문 20편의 평균 재현 점수는 29.45에서 39.59로 올랐고, 20편 가운데 18편에서 점수가 높아졌다. FrontierCS Agent Track task 188개의 점수는 70.63에서 77.14로, PassNet 표본 200개의 주 점수(AS Score)는 1.343에서 1.5313으로 올랐다.
- 한계: PaperBench 2편(sample-specific-masks는 57.11에서 52.04, stay-on-topic은 32.31에서 27.79)은 skill을 준 뒤 점수가 내려갔고, 저자들은 retrieval precision 문제일 가능성을 들며 불러온 skill이 가끔 agent가 스스로 찾았을 전략에서 주의를 돌릴 수 있다고 적었다. skill 유무 비교는 실행 예산을 맞춘 것이고, 한 번 드는 skill 제작 예산(MLE-bench는 task마다 최대 24 GPU-hours)은 따로 두어 두 조건 모두에서 뺐다. 저장소 1,000개는 open-source 생태계에서 얼마나 알려졌는지(open-source visibility)와 실제 쓰임을 보고(GitHub star도 신호의 하나로 썼다) 자주 쓰는 ML software 가운데 일부를 골라 낸 snapshot이다.
- 1338Research Agents
What Does It Take to Be a Good AI Research Agent? Studying the Role of Ideation Diversity
- 문제: AI research agent는 ML 모델의 설계, 구현, 학습을 자동화하지만, 이 분야는 아직 초기 단계라 agent 궤적의 성공과 실패를 가르는 핵심 요인에 대한 이해가 부족하다. 흔히 heuristic 탐색 알고리즘이 이끄는 긴 다단계 궤적과 tool 사용 때문에 오류 분석이 고전적인 ML 설정보다 훨씬 복잡하고, 의미 있는 분석과 설계 ablation에 필요한 표본을 모으는 계산 비용이 지나치게 클 수 있다. 저자들은 ideation diversity가 AI research agent 성능의 핵심 병목이라는 가설에서 출발한다.
- 입력과 출력: 이 논문은 기존 agent의 궤적을 대규모로 분석하고 통제 실험을 한 empirical study다. 입력은 여러 LLM backbone과 scaffold로 MLE-bench 과제를 푼 agent 궤적이고, 출력은 Draft operator(첫 해법 후보들을 만드는 operator)가 만든 초기 아이디어(최대 다섯 개)에서 뽑은 모델 architecture 분포의 Shannon entropy(밑 2)로 잰 다양성 점수, 이 점수와 medal rate 등 성능 지표의 상관, system prompt로 다양성을 바꿨을 때의 성능 차이다.
- 방법: 분석한 scaffold는 AIDE(AI-Driven Exploration, Greedy 정책으로 Python 해법을 tree 탐색하는 agent), AIRA Greedy, AIRA MCTS이고, 셋 모두 Draft, Debug, Improve operator로 Python 해법 node의 tree를 키운다. 통제 실험의 baseline agent(AIRA Greedy, AIRA MCTS)는 기본으로 형제 node의 해법 설명을 context에 넣는 sibling memory, 첫 아이디어에는 최소, 다음 둘에는 중간, 마지막 둘에는 고급 복잡도를 요구하는 prompt-adaptive complexity, system prompt의 다양성 요구라는 세 장치를 갖는다. 다양성을 줄인 agent는 prompt-adaptive complexity와 system prompt의 다양성 요구를 빼고 sibling memory는 system prompt에서 비슷한 아이디어를 요청하는 데 다시 쓰며, 저자들은 prompt의 다양성 관련 부분만 바꿔 구현 품질 같은 다른 면은 그대로 두려 했다.
- 구현: 분석용 backbone은 o3, gpt-oss 20B와 120B, Llama Maverick, Devstral, CWM(Meta가 world model 기반 code 생성 연구용으로 낸 open-weight LLM)이고, 6개 backbone과 2개 scaffold로 MLE-bench 75개 과제를 seed 10에서 20개씩 실행해 궤적 11,000개, 탐색 node 약 1,200,000개, GPU 264,000시간을 썼다. 통제 실험은 전체 크기의 DeepSeek R1으로 MLE-bench lite(22개 과제)에서 AIRA Greedy와 AIRA MCTS를 seed 10개씩 실행했고, 모든 LLM은 128K token context를 썼다. 통제 실험의 오차 막대는 rliable library의 stratified bootstrapping으로 구한 95% 신뢰구간이다.
- 결과: 75개 과제 전체에서 architecture entropy와 medal rate의 상관은 Pearson r 0.57, average normalized score와는 0.72, percentile과는 0.66이었고, o3와 gpt-oss 20B, 120B agent는 초기 아이디어 5개에 평균 3.5개 architecture를, Llama Maverick, Devstral, CWM agent는 평균 2.8개를 썼다. DeepSeek R1 통제 실험에서 다양성을 줄이자 MLE-bench lite medal rate는 AIRA Greedy가 45.5에서 38.6으로(6.9점 하락), AIRA MCTS가 47.0에서 38.6으로(8.4점 하락) 내려갔고, valid submission rate도 98%에서 각각 92%와 90%로 내려갔다. valid submission rate 하락은 주로 두 text normalization 대회(영어, 러시아어)에서 나왔는데, 다양성을 줄인 agent는 이 두 대회에서 같은 T5(text-to-text transformer 모델)를 되풀이해 구현하다 번번이 실패해 timeout이 났고, 저자들은 이 두 대회가 medal rate 하락의 절반가량을 차지한다고 추정했다.
- 한계: 결과는 MLE-bench 하나에서 얻었고, 저자들은 다른 ML 과제로도 일반화될 가능성이 크다는 가설을 두고 다른 benchmark 검토는 향후 과제로 남겼다. medal 기준은 대회 참가 팀 수에 따라 바뀌고, MLE-bench 대회의 약 30%에서 최고 점수와 bronze 기준의 상대 차이가 3% 미만이며, agent는 Kaggle private test set과 다른 custom test set으로 평가되고, 2022년 뒤의 대회에서는 agent 성능이 크게 떨어진다. 저자들은 system prompt를 바꾼 2차 효과를 추적하기 어렵다고 밝혔고, 다양성 장치를 모두 뺀 AIRA Greedy로 temperature를 바꾼 부록 실험에서는 Elo를 뺀 지표(medal rate 포함)에 영향이 없었다.
- 1337AI Agents
Critique of Agent Model
- 문제: coding agent, AI co-scientist처럼 agent라는 이름을 단 LLM 시스템이 늘면서, 유능한 시스템을 만들고 무엇을 두려워할지 판단하려면 자동화가 끝나고 agency가 시작되는 지점을 밝혀야 하는 상황이 됐다. 저자들은 기존 survey들이 현재 시스템의 능력과 개선 방법은 폭넓게 다루면서, agency는 LLM이 환경과 상호작용하면 붙는 label처럼 당연하게 여기는 경향이 있다고 보았다.
- 주장: 이 논문은 분석, 아키텍처 제안, 정리 증명을 담은 position 논문이다. 저자들은 바깥에서 엮은 도구와 workflow로 일을 끝내는 agentic 시스템과, 목표, identity, 의사결정, 자기 조절, 학습을 모델 안에서 스스로 유지하고 고치는 agentive 시스템을 나누고, 지금의 AI 시스템은 대부분 agentic 단계에 있다고 본다. 안전 면에서는 해로운 행동이 목표 설정 오류(사람이 잘못된 목표를 줌)와 구성 요소의 결함 두 가지로 나뉘므로 GIC가 안전 문제를 다루기에 구조적으로 유리하다고 주장하고, 최종 목표는 바깥에서 주어지며 하위 목표, identity, 예측, 계획은 층마다 사람이 감사할 수 있다고 본다.
- 분류: 저자들은 agent라고 불리는 시스템을 행동을 만드는 방식에 따라 program 기반 bot, LLM wrapper(정해진 orchestration 안에 LLM을 넣은 시스템), LLM 중심 시스템, 모델 없는 물리 시스템(정해진 routine을 실행하는 산업용 robot 등), embodied model 시스템(인지, 추론, 제어를 한 모델에 통합한 robot과 자율주행 시스템) 다섯 종류로 나눴다. 다섯 기준별로 짚은 흔한 설계는 사람이 매 단계 주는 짧은 지시(목표), 고정 system prompt와 harness engineering(identity), end-to-end RL로 학습한 black-box policy(의사결정), RL에서 저절로 생기길 기대하거나 고정 workflow 단계에 넣은 계획(자기 조절), 사람이 일정을 짠 학습 pipeline(학습)이다. 저자들은 이 설계들에 공통으로 행동의 결과를 예측하는 내부 world model이 빠져 있다고 보았다.
- 제안: GIC의 agent model은 belief encoder(관찰을 세계 상태의 추정인 belief state로 바꾸는 부분), goal decomposer(긴 목표를 하위 목표로 나누는 부분), identity evolver(재학습 없이 자기 모델을 고치는 부분), configurator, simulative planner, actor 여섯 구성 요소로 이뤄진다. actor는 System I(즉각 행동)을, simulative planner는 System II(world model로 후보 행동의 결과를 예측해 고르는 계획)를, configurator는 System III(매 단계 새 계획, 기존 계획 유지나 수정, 바로 행동 가운데 무엇을 할지 고르는 자기 조절)를 맡는다. world model은 다음 상태 예측 목표로만 따로 학습하고 두 모델의 parameter는 분리된 채 activation과 출력으로만 연결되며, 학습은 사전학습 LLM에서 출발하는 구성 요소 사전학습, world model 안의 simulative RL, 실제 환경 배포 뒤 보정의 세 단계로 제안했다.
- 근거: 정리 2는 이점으로, world model의 다음 상태 예측 오차가 total variation(두 확률분포의 거리) 기준으로 ϵ 이하일 때 어떤 policy든 world model 계획을 골라 섞어 value(기대 누적 reward)가 같거나 더 높은 mixed policy를 만들 수 있음을 보인다. 정리 3은 매 단계 고정 깊이로 계획하는 MPC(model-predictive control)의 한계로, 원하는 계획 정밀도가 높아질수록 필요한 horizon이 크게 늘어남을 보인다. 정리 1은 identity 수정이 무작위보다 나을 때 매 단계 identity를 고치는 학습의 기대 누적 regret이 재학습만 하는 학습보다 작다는 이점을, 정리 4는 simulated 경험을 섞어 배운 최선 policy의 value가 실제 경험만 쓴 최선 policy의 value에서 world model 오차에 비례하는 항을 뺀 값 이상이고 world model이 완벽하면 같거나 더 높다는 이점을 보인다.
- 한계: 저자들은 GIC의 축소 구현 세부와 예비 결과를 함께 낸 다른 논문(companion manuscript)에서 다룬다고 밝혔다. 저자들이 제안한 평가 기준 Performance, Efficiency, Growth 가운데 그 예비 결과는 앞의 두 기준에서 초기 근거를 주고, Growth 평가는 앞으로의 과제로 남았다. 정리 2의 전제인 예측 오차 상한 ϵ은 world model을 예측 정확도 목표로 학습할 때만 믿을 수 있고, 해로운 행동이 0으로 수렴한다는 안전 논의의 결론도 목표가 맞고 충분히 잘 학습된 시스템에 한정된다.
- 1336Research Agents
AutoMedBench: Towards Medical AutoResearch with Agentic AI Models
- 문제: 기존 의료 agent benchmark의 상당수는 의학 질의응답, 임상 대화, EHR(전자 건강 기록)이나 FHIR(의료 데이터 교환 표준) 조작, 병원 행정, 최종 과제 성공에 집중하고 주로 최종 출력을 채점한다. 저자들은 낮은 점수가 과제 오해, 부적절한 방법 선택, 환경 설정 실패, 검증 생략, 형식이 틀린 제출 가운데 어디서 왔는지 가리려면 단계별 평가가 있어야 한다고 보았다.
- 입력과 출력: 이 논문은 의료 AI 연구 agent용 benchmark다. agent(code 실행 환경을 사용하는 단일 base LLM)는 공개 입력, 과제 설명(brief), 제출 schema, 시간 제한을 받아 segmentation mask, 복원 영상, VQA(visual question answering, 영상 질의응답) 답, 보고서(report), detection box 가운데 하나를 만들어 제출한다. 각 run은 S1에서 S5까지의 workflow 점수(AGENTIC), 숨긴 정답으로 잰 과제 점수(TASK), 둘을 반씩 더한 OVERALL 점수와 사후 error code를 받는다.
- 방법: 과제 24개는 segmentation, image enhancement, VQA, report generation, detection 다섯 track에 걸치고 CT(컴퓨터 단층촬영), MRI(자기공명영상), X-ray, 병리, 혈액 도말 현미경, 치과 영상, 의료 동영상을 다룬다. 모든 과제는 Plan, Setup, Validate, Inference, Submit 다섯 단계(S1에서 S5)를 거치며 가중치는 25%, 15%, 35%, 15%, 10%이고, S1에서 S3는 LLM judge가, S4와 S5는 deterministic 검사가 채점한다. 과제마다 brief의 scaffolding 양만 다른 Lite와 Standard 두 tier를 두어 48개 task-tier 설정을 만들고, 실패 종류는 단계 점수와 별개로 E1 이해, E2 데이터와 모델 설정, E3 검증과 복구, E4 구현과 실행, E5 결과물과 제출의 다섯 error code로 기록한다.
- 구현: agent container는 GPU, network, 공개 입력, 쓰기 가능한 workspace를 받고, 숨긴 정답과 채점 코드는 외부 network와 끊긴 별도 evaluator container에 두며, run 도중 학습이나 fine-tuning은 금지한다. Opus 4.6, GLM-5, Gemini 3.1 Pro, ChatGPT-5.4(본문 일부 표기 GPT-5.4), MiniMax-M2.5, Qwen3.5 여섯 모델을 같은 system prompt, tool schema, 종료 조건, decoding 설정으로 돌렸고, 평가 cell 288개마다 기본 10번(segmentation 다섯 과제는 20번) 반복했다. README에 따르면 GitHub 저장소 AutoMedBench/AutoMedBench는 도메인별 branch에 task 정의와 Docker orchestrator를 두어 agent, task, tier를 골라 cell 하나를 돌리게 하고, benchmark release(Lite, Full)와 Full leaderboard Space는 Hugging Face에, live leaderboard는 automedbench.github.io 웹사이트에 있다.
- 결과: 평가한 여섯 모델 가운데 OVERALL 점수는 Opus 4.6이 66.5로 가장 높고 Qwen3.5가 51.2로 가장 낮아 15.3점 차이가 났으며, VQA track에서는 GLM-5가 64.0으로 1위였다. 여섯 모델 평균으로 다섯 단계 가운데 S3 Validate가 가장 낮고 S2 Setup이 가장 높았으며, 여섯 모델 모두 TASK보다 AGENTIC 점수가 높았다. 발생한 error code의 37.7%가 검증과 복구 error(E3), 38.1%가 결과물과 제출 error(E5)였고 이해 error(E1)는 0.9%였으며, error code가 하나 나온 run은 error code가 없는 run보다 OVERALL 점수가 평균 48% 낮았다.
- 한계: 저자들은 단계별 평가가 결과 평가를 대신할 수 없고, AGENTIC 점수가 높아도 임상 유용성과 정확도는 따로 확인해야 한다고 밝혔다. 과제는 추론만 하는 workflow로 한정해 정답이 주로 주관적 판단, 긴 임상 대화, 학습 중 적응에 달린 과제를 뺐고, 비교 대상은 vendor agent wrapper 없이 같은 harness로 돌린 base 모델이다. 제한 데이터는 benchmark가 재배포하는 대신 실행하는 쪽이 자격을 갖춰 받아야 하며, 저자들의 실험에서는 MIMIC-CXR을 PhysioNet으로, fastMRI를 NYU(New York University) 데이터 공유 협약으로 받았다.
- 1335Research Agents
AI Research Agents Narrow Scientific Exploration
- 문제: AI research agent framework의 prompt와 추론 절차는 흔히 새롭고 영향력이 크며 관행을 벗어난 아이디어를 내라고 지시하지만, 아이디어를 대량으로 내는 능력이 곧 더 넓은 과학 탐색을 뜻하는지는 따로 확인해야 할 질문이다. 기존 평가는 주로 아이디어 하나하나가 흥미롭고 새롭고 실현 가능하며 실행할 수 있는지를 보고, 반복된 AI 아이디어 생성이 과학 탐색의 전체 지형을 어떻게 바꾸는지는 훨씬 덜 보여 준다.
- 입력과 출력: 실행마다 agent framework 하나와 LLM 하나가 같은 연구 영역의 seed 논문 5편(anchor 논문 1편과 관련 논문 4편, 제목과 초록만)을 받아 연구 질문과 방법을 갖춘 연구 아이디어 하나를 낸다. 저자들은 이렇게 모은 아이디어를 같은 영역의 사람 논문, 그리고 seed 논문을 인용한 후속 사람 논문과 네 가지 척도로 비교한다. 논문 종류는 아이디어 219,655개를 분석한 대규모 실증 연구(empirical study)다.
- 방법: 연구 영역(research area)은 논문들이 같은 선행 문헌을 얼마나 함께 인용하는지(bibliographic coupling)로 묶어 정했다. 네 척도는 exploration breadth(같은 영역 안 아이디어끼리의 평균 cosine 거리), exploration distance(아이디어와 seed 논문 5편 중심 사이의 cosine 거리), frontier alignment(다음 해 사람 논문에서 가장 자주 나온 상위 10% keyword 가운데 아이디어가 담은 비율), potential scientific impact(의미가 가장 가까운 사람 논문 20편이 같은 영역, 같은 해 논문에 견주어 받은 인용 점수의 평균)이고, cosine 거리는 두 embedding 벡터의 방향이 얼마나 다른지를 잰다. 아이디어와 사람 논문은 Gemma-4-31B-IT로 연구 질문, 방법, keyword를 뽑아 같은 형식으로 맞춘 뒤 Qwen3-Embedding-4B로 embedding을 만들었다.
- 구현: Semantic Scholar 논문 149,405,218편의 index에서 큰 분야 12개의 연구 영역 155개와 seed set 11,520개를 뽑았고, framework 다섯(Zero-shot, AIScientist, ResearchAgent, AgentLaboratory, Co-Scientist)과 open-weight LLM 넷(Gemma-4-31B-IT, Llama-3.1-8B, Hermes-4-14B, Qwen3-35B-A3B)으로 230,400번 실행했다. GPT-5.4는 예산 때문에 무작위로 고른 2022년 seed set에서만 2,400번 실행했고, 전체 232,800번 가운데 유효한 아이디어 219,655개(94.4%)를 분석했다. Zero-shot을 뺀 framework는 seed 논문이 나온 시점에 있던 논문만 담은 로컬 Semantic Scholar database를 검색할 수 있었고, AIScientist는 아이디어 생성 단계까지만 실행했으며, Co-Scientist는 공개된 설명을 바탕으로 구현했다.
- 결과: 같은 연구 영역 안 exploration breadth는 AI 아이디어 0.554, 사람 논문 0.599로 AI가 7.5% 낮았고, seed 문헌에서의 exploration distance는 AI 아이디어 0.322, 후속 사람 논문 0.410이었다. 다음 해 frontier keyword는 AI 아이디어가 28.5%, 후속 사람 논문이 36.5%를 담았고, potential impact 점수는 AI 0.387, 후속 사람 논문 0.492로 AI가 21.3% 낮았으며, LLM 가운데 GPT-5.4만 impact가 사람 연구와 비슷했다(0.472, 사람 0.464). seed 문헌에 없는 연구 질문을 담은 AI 아이디어는 10.5%뿐이었고, 새 방법을 담은 아이디어는 90.4%였다.
- 한계: GPT-5.4는 예산 때문에 2022년 seed set 일부에서 2,400번만 실행했고, seed 문맥을 논문 5편으로 정한 이유는 대부분의 framework가 지금 LLM의 context window 한계에 묶여 있기 때문이며 문맥에는 제목과 초록만 들어갔다. 사전학습한 LLM이 seed 이후 논문 지식을 품었을 수 있는 정보 누출은 검색을 그 시점 논문으로 묶어 줄였고, 저자들은 그래도 AI 아이디어의 frontier alignment가 낮았으므로 보고한 차이가 보수적인 추정일 가능성이 크다고 보았다. potential impact는 의미가 가까운 사람 논문의 인용으로 잰 대리 지표이고, leave-one-out 검증에서 대상 논문 인용 점수와의 Spearman ρ(순위 상관계수)가 0.155라 저자들도 이 지표가 인용 결과의 일부만 설명한다고 밝혔다.
- 1334Research Agents
Generating Literature-Driven Scientific Theories at Scale
- 문제: 자동 과학 발견 연구는 실험을 만드는 agent에 집중했고, 많은 실험 결과를 일반화된 법칙으로 정리하는 이론 정립 같은 상위 과학 활동을 하는 시스템은 덜 연구됐다. 법칙을 찾는 기존 연구도 대개 연구 문헌보다 정형 데이터에서 정량 법칙이나 정성 법칙을 유도했다.
- 입력과 출력: 사용자가 쓴 theory query와 논문 corpus를 받아 이론 여러 개를 낸다. 이론마다 이름과 설명이 있고, 정성 관계나 수식으로 된 법칙(LAW), 법칙이 성립할 것으로 기대되는 조건(SCOPE), 대개 입력 corpus에서 가져온 실증 근거(EVIDENCE)를 tuple로 담는다. 논문 종류는 THEORIZER 시스템을 구현하고 생성 조건 네 가지를 실험으로 비교한 시스템 논문이다.
- 방법: theory query를 문헌 검색어로 바꿔 AI2(Allen Institute for Artificial Intelligence)의 PaperFinder로 최대 K편(실험에서는 100편)의 관련 논문을 찾고, Semantic Scholar로 찾은 open-access PDF를 OCR(이미지 글자 인식) 기반 pipeline으로 본문까지 뽑으며, 처음 검색에서 K편보다 적게 모이면 받은 논문 본문에 나온 참고문헌에서 관련 논문을 더 채운다. 다음으로 query에 맞춘 추출 schema를 만들고 값싼 추출 모델이 논문마다 schema를 채워 JSON 기록을 만들며, 생성 모델이 이 기록을 모아 이론을 만든 뒤 이론마다 self-reflection 단계로 내부 일관성, 근거 연결, 구체성을 다듬는다. 비교 조건은 이 근거를 쓰는 literature-supported 생성과 모델 내부 지식만 쓰는 parametric 생성을, 정확성 중심 목표와 참신성 중심 목표에 각각 짝지은 네 가지다.
- 구현: 생성 모델은 공개된 knowledge cutoff(학습 데이터 기준 시점)가 2024년 6월인 GPT-4.1이고, 논문별 근거 추출은 GPT-5-mini가 맡았으며, 평가 모델은 주로 Claude Sonnet 4.5였다. NLP(자연어 처리)와 AI 학회(ACL 2023, EMNLP 2023, AAAI 2023, NeurIPS 2024) 논문 50편을 무작위로 골라 편마다 일반 query와 구체 query를 하나씩 자동 생성한 100개 query에서 논문 13,744편을 읽어 이론 2,856개를 만들었으며, 평가는 이론 대신 법칙 단위로 했고 표 1의 LLM-as-a-judge 평가에 들어간 법칙은 조건마다 790개에서 1187개였다. README에 따르면 공식 GitHub 저장소 allenai/asta-theorizer의 src 폴더에는 웹 interface와 API 서버, 핵심 prompt, 네 가지 평가 script가 있고 example-theories 폴더에는 작은 toy 데이터와 논문에서 만든 이론 데이터가 있으며, literature-supported 이론을 만들려면 따로 설치하는 Asta PaperFinder 사본이 필요하다.
- 결과: Claude Sonnet 4.5가 법칙마다 1에서 10점을 매긴 표 1의 LLM-as-a-judge(LLM이 채점자 역할을 하는 평가)에서, 정확성 중심 조건의 literature-supported 법칙은 parametric 법칙보다 empirical support(기존 근거와 맞는 정도)가 3.9에서 5.8로, specificity(구체성)가 5.3에서 6.5로 높았고 novelty 점수는 둘 다 5.8이었다. 2025년 7월부터 6개월 동안 나온 논문 4,554편으로 법칙의 예측을 채점한 표 2의 backtesting에서, 정확성 중심 조건의 precision은 parametric 0.88, literature-supported 0.90으로 비슷하게 높았고 참신성 중심 조건에서는 0.34와 0.61이었다. 저자들은 literature-supported 방식이 단순 LLM 방식보다 7배 가까이 비싸다고 밝혔고, 표 4의 LLM API 비용 추정은 이론 하나에 literature-supported 0.26달러, parametric 0.04달러였다.
- 한계: backtesting은 recall이 낮아, 표 2에서 예측을 검증한 최근 논문이 하나라도 있는 법칙의 비율은 정확성 중심 조건에서 0.45에서 0.51, 참신성 중심 조건에서 parametric 0.04, literature-supported 0.16이었고, 저자들은 부정적 결과가 흔히 보고 없이 남는 문헌의 positive-result bias 때문에 반박 근거를 찾기가 더 어려울 수 있다고 밝혔다. 표 1의 LLM-as-a-judge 점수와 별도인 표 3의 qualified novelty(검색 논문 기준으로 한정한 참신성) 분석은 전체 문헌 대신 이론마다 검색된 평균 66에서 71편을 기준으로, 조건마다 무작위로 고른 법칙 100개에서 novelty 유형 일곱 가지의 비율을 쟀고, 이 분석에서 literature-supported 법칙은 대체로 parametric 법칙보다 덜 참신하게 평가됐다. 저자들은 현재 생성 범위가 AI와 NLP처럼 문헌이 주로 open access라 자동으로 내려받을 수 있는 분야에 한정되고, 생성과 특히 평가가 아직 다소 비싸 규모 확대를 제약한다고 밝혔다.
- 1333Research Agents
OmniScientist: Toward a Co-evolving Ecosystem of Human and AI Scientists
- 문제: 저자들은 기존 AI Scientist가 과학 발견을 주로 단독(standalone) 탐색이나 최적화 문제로 정식화해서, 실제 연구가 기대는 협업 방식, 기여 귀속, 동료 심사, 구조화된 지식 network를 모델링 범위 밖에 둔다고 지적한다. 그 결과 지금 시스템은 연구 생태계를 이루거나 사람 연구 공동체와 깊이 상호작용하기 어렵다고 본다.
- 입력과 출력: 사용자가 낸 연구 주제나 질문을 받아 Markdown 문헌 조사, 연구 배경과 아이디어와 구현 방향을 담은 아이디어 제안, 실험 코드와 결과, LaTeX 원고, 주요 판단에 근거 인용을 단 심사 보고서를 낸다. ScienceArena는 여섯 track에서 사용자가 낸 연구 질문에 대한 두 model의 답을 익명으로 비교한 투표를 받아, model마다 1000에서 시작하는 Elo 점수로 순위표를 만든다. 논문 종류는 여러 모듈, protocol, 평가 platform을 묶은 시스템 논문이고, 근거는 모듈별 사례 연구와 소규모 측정이다.
- 방법: 문헌 조사는 Planning, Literature, Writing agent가 나눠 맡고, embedding 기반 Elasticsearch 검색으로 얻은 후보에 인용과 참고문헌으로 이어진 논문을 더한 뒤, 관련성 검증을 통과한 논문을 층마다 다시 넓히는 너비 우선 탐색(BFS)을 미리 정한 깊이나 범위에 이를 때까지 되풀이한다. 아이디어 단계(Deep Ideation)는 논문 keyword의 공동 출현 network에서 이웃 keyword를 탐색, 추가, 교체하며 제안을 고치고, Idea Stack에 단계별 keyword와 제안과 평가를 남기며, 사람 심사자의 사고 과정을 흉내 내는 prompt로 만든 추론으로 fine-tuning한 critic model이 전문가 심사 기준에 맞춘 feedback을 준다. OSP는 사람과 AI를 같은 Participant 유형으로 다루고, 중앙 Hub가 모든 protocol 메시지를 기록하며, 연구 산출물마다 참여자가 한 행동을 timestamp와 함께 시간순으로 적는 ContributionLedger를 붙인다.
- 구현: 지식 기반은 OpenAlex 논문 메타데이터 약 269 million건과 인용 관계, arXiv PDF 전문 약 2.6 million건, 최근 십 년 상위 AI 학회 열 곳의 전문 논문 102,679편과 참조된 baseline model 116,970개, 관련 dataset 68,316개를 Paper, Author, Concept, Resource node의 graph로 묶고, Diagnose, Search, Normalization, Coding, Review agent가 이 graph를 계속 고친다. 실험 단계는 baseline과 dataset의 자체 설명(self-description)에 다른 논문 인용 문맥의 요약을 합친 표현으로 fine-tuning한 bi-encoder retriever와, 논문과 baseline과 dataset을 잇는 인용 사슬로 순위를 매기도록 fine-tuning한 LLM reranker로 후보를 고른 뒤, Evolution, Sample, Evaluation, Feedback agent가 코드를 바꿔 가며 실행한다. 논문 작성은 Outline, Figure, Writing, Refinement agent가, 심사는 TIMAR(Traceable and Interactive Multi-Agent Review)의 다섯 단계 workflow가 맡고, 논문이 적은 공개 주소는 omniscientist.ai와 sciencearena.ai다.
- 결과: 지식 graph 정제는 소규모 평가(n = 1000)에서 메타데이터 완전성을 0.965에서 1.000으로, 정확성을 0.951에서 0.997로 올렸고, 논문 사이 관계를 묻는 질문과 답 100쌍에서 검색 정확도를 0.70에서 0.88로 올렸다. STDE(Stochastic Taylor Derivative Estimator)의 Monte Carlo sampler를 QMC(Quasi-Monte Carlo) sampler로 바꾸자는 OmniScientist의 제안은 AllenCahnTwobody 방정식의 100차원부터 100000차원까지 네 조건 모두에서 원래 STDE와 AlphaEvolve가 찾은 변형보다 오차가 낮았고, 10000차원 오차는 STDE 0.003440, AlphaEvolve 변형 0.002059, OmniScientist 0.000572였다. 박사급 참가자 10명이 컴퓨터 과학과 AI 분야 HLE 문제 10개를 사람 혼자 5문제, GPT-5와 협업 5문제로 나눠 푼 실험에서 평균 정확도는 GPT-5와 협업 0.22, 사람 혼자 0.1, GPT-5 혼자 0이었다.
- 한계: 저자들은 현재 능력이 AI 분야에 묶여 있다고 밝혔고, 데이터 기반이 주로 arXiv 전문이라 AI와 컴퓨터 과학에 크게 치우치며 Nature, Science와 다른 분야별 학술지는 아직 통합하지 못했다고 적었다. 실험 agent는 지금 개발 환경 설정, dataset 준비, 학습과 추론 script 실행, hyperparameter sweep 같은 계산 workflow만 지원해 화학이나 생물학의 wet-lab 실험과 실험 장비 조작은 현재 범위 밖에 있고, 심사 모듈도 AI 분야 원고로 맞춰져 다른 분야 원고에서는 품질이 떨어지며, 모듈 전반이 여전히 상당한 계산 자원과 처리 시간을 쓴다. 검증은 AllenCahnTwobody 방정식 하나로 STDE를 개선한 사례, 박사급 참가자 10명과 HLE 문제 10개로 한 협업 실험, Gemini-2.5-pro가 채점한 문헌 조사 비교 같은 사례 단위이고, ScienceArena 결과는 투표 수와 Elo 값 대신 track별 선호 경향과 사례 그림으로 제시됐다.
- 1332Research Agents
Paper2Agent: Reimagining Research Papers As Interactive and Reliable AI Agents
- 문제: 논문이 제시한 새 계산 방법을 새 데이터에 적용하기까지 흔히 큰 기술 장벽이 남아, 독자가 코드 저장소를 찾고 dependency를 설치하고 환경을 맞추고 입력과 출력 형식을 해석해야 할 수 있다. 저자들은 AlphaGenome처럼 강력한 도구도 API key, client 객체, variant 객체를 다루는 기술 장벽 때문에 생물학자가 사용하기 어렵다고 보았다. executable paper는 재현성을 높였어도 기술 숙련을 요구했고, Papers with Code는 논문과 코드를 찾기 쉽게 했어도 코드를 설치하고 실행하는 장벽이 남았다고 적었다.
- 입력과 출력: 이 논문은 구현된 multi-agent 시스템을 제안하고 사례 연구로 보인 논문이다. 입력은 논문과 코드 저장소 link, 보충 자료와 데이터이고, 출력은 tool, resource(원고, 코드, 데이터), prompt(여러 단계 workflow 지시)를 담은 MCP server Python 파일과 설정된 실행 환경이다. 이 server를 Claude Code 같은 chat agent에 연결하면 자연어 질문으로 논문의 방법을 실행하는 paper agent가 된다.
- 방법: Claude Code 위의 orchestrator agent가 sub-agent 네 개, 곧 Environment-manager(격리된 실행 환경 구성), Tutorial-scanner(저장소의 tutorial 탐색), Tutorial-tool-extractor-implementor(tutorial을 재사용 가능한 tool 함수로 구현), Test-verifier-improver(테스트를 만들고 실행해 고침)를 단계에 따라 필요할 때 부른다. Test-verifier-improver는 tutorial의 예제만으로 원래 수치와 그림이 다시 나오는지 테스트를 만들고 실행하고 고치는 loop를 반복하고, 계속 실패한 함수는 MCP decorator를 떼어 server에서 뺀다. 검증한 tool은 고정해 재현성을 지키고, tool마다 원본 GitHub 코드로 가는 link를 남긴다.
- 구현: AlphaGenome MCP tool 22개는 개인 노트북에서 사람 개입 없이 약 3시간 만에 만들어졌고, TISSUE용 tool은 6개, Scanpy 전처리와 군집용 tool은 개인 노트북에서 약 45분 동안 7개가 만들어졌다. AlphaGenome benchmark의 세 agent는 모두 claude-sonnet-4-20250514를 LLM으로 사용해 MacBook Air(M2)에서 실행했고, AlphaGenome, Scanpy, TISSUE MCP server는 Hugging Face Spaces에 올렸다. GitHub README는 저장소의 skills/paper2agent 폴더를 Claude Code나 Codex에 skill로 설치해 사용하는 방법과 Hugging Face Spaces에 올린 MCP server에 연결하는 방법을 설명하고, 이 skill은 전문 agent를 병렬로 띄우고 새 verifier agent로 검증한 뒤 사용 안내 파일이 든 압축(ZIP) 파일을 내준다고 적었다.
- 결과: AlphaGenome tutorial 질문 15개에서 AlphaGenome agent의 정확도는 100.0%로 Claude + Repo(저장소를 받은 Claude Code)의 60.0%와 Biomni의 40.0%보다 높았고, 새로 만든 질문 15개에서도 100.0%로 Claude + Repo 80.0%, Biomni 60.0%를 앞섰다. TISSUE agent의 출력은 생쥐 체성감각 피질 공간 전사체 데이터에서, Scanpy agent의 전처리와 군집 결과는 10x Genomics PBMC(말초혈액 단핵세포) 데이터 세 개에서 사람이 같은 데이터로 직접 돌린 결과와 같았다. AlphaGenome과 ADHD GWAS 데이터 MCP를 연결한 AI co-scientist는 사용자가 고른 가설을 실행해 후보 변이 209개에서 rs1626703을 골라 glutamatergic neuron의 MPHOSPH9(M-phase phosphoprotein 9) 유전자 splicing 변화를 예측했고, 이어서 39개 locus 전체 분석을 두 시간 안에 마쳤다.
- 한계: 저자들은 원래 코드가 불완전하거나 문서가 부족하거나 오류가 남아 있으면 Paper2Agent가 그 코드를 제대로 동작하는 tool로 안정적으로 내보내기 어렵다고 밝혔다. 정확도 benchmark는 전문가의 논문 지식과 수작업 정답 구현, 수작업 채점에 기대며, 지금까지의 대상은 방법 논문 위주다. ADHD 결과는 AlphaGenome으로 계산한 예측이며, 저자들은 이 가설들에 사람의 후속 평가가 도움이 된다고 적었다.
- 1331AI / General
AI for Scientific Discovery is a Social Problem
- 문제: AI가 과학 연구에 점점 많이 쓰이지만 그 혜택은 공동체와 분야마다 차이가 크고, 지금까지는 데이터 기반이 튼튼하고 연구 공동체가 잘 조율된 분야에 몰렸다. 데이터 부족, 제각각인 표준, 계산 자원 접근의 불평등 같은 기술 과제는 이미 잘 알려져 있지만, 저자들은 사회적, 제도적 요인이 흔히 가장 큰 제약이라고 본다.
- 주장: 이 논문은 문헌, 조사 통계, 사례 연구를 엮어 주장을 펴는 position 논문이다. 저자들은 AI for science(과학을 위한 AI)를 지속 가능한 협업과 공정한 참여가 기술 진보의 전제 조건인 공동의 사회적 과제로 다시 보자고 주장한다. 또 과학적 성공을 높은 예측 성능에 더해 인과 관계를 밝히는 설명, 실험 검증, 이론과의 통합, 넓은 접근성까지 갖춘 상태로 정의하고, benchmark 예측 정확도만 높이는 시스템은 이 기준에 못 미친다고 본다.
- 분류: 저자들은 장벽을 공동체 기능 장애(자율 AI scientist 서사, 데이터와 infrastructure 기여의 저평가, 분야 사이 소통과 교육의 부족), 연구 우선순위의 어긋남(좁은 분야별 응용 집중과, DFT(밀도범함수 이론) 계산이나 PDE(편미분방정식) solver처럼 여러 분야가 함께 기대는 upstream 계산 병목의 소홀), 데이터 파편화(제각각인 형식과 표준, 차원은 높고 표본은 적은 과학 데이터), infrastructure 불평등(계산 자원 접근 격차)의 네 가지로 나눈다. 저자들은 상업 AI scientist 시스템이 주로 문헌 검색, 요약, 기존 글에서 가설 만들기에 집중하고, 과학 발견을 이루는 실험 검증과 기전 연구(작동 원리를 밝히는 연구)는 대체로 피한다고 본다.
- 제안: 해법도 네 가지로, 분야 사이 협업과 교육 강화(표준화된 interface와 API, 공동 개발 platform, 혼합 전문성을 기르는 교육), 공유 benchmark로 upstream 과제를 구조화하기, CSV(쉼표로 값을 나눈 표 파일)나 Parquet 같은 단순한 형식 중심의 데이터 표준화와 curation, 공동체가 소유하는 지속 가능한 infrastructure 만들기다. 저자들은 연구 자금이 여러 분야별 응용보다 넓게 적용되는 계산 과제를 우선해야 하고, 재현 가능한 연구가 채용, 정년 심사, 인용 수에서 보상받아야 한다고 주장한다.
- 근거: CASP(critical assessment of protein structure prediction, 단백질 구조 예측 평가 대회)는 1994년부터 2년마다 blind 예측 대회(실험 구조가 공개되기 전에 예측을 내는 방식)를 열어 분명한 성공 지표와 어려운 시험 사례를 쌓았고, 저자들은 이 기반 덕분에 2020년 14번째 대회(CASP14)에서 AlphaFold의 돌파가 가능했다고 본다. 데이터 쪽으로는 Cancer Imaging Archive 파일 9개를 맞추는 데 6개월 동안 329.5시간이 든 사례와, Protein Data Bank가 1971년 구조 7개에서 230,000개가 넘는 구조로 커진 사례를 든다. 자원 쪽으로는 아프리카 AI 연구 공동체의 5%만 복잡한 AI 작업에 필요한 계산 자원을 쓸 수 있고, G7 국가의 30분 반복 주기와 달리 아프리카 연구자는 6일 반복 주기를 겪는다는 자료를 인용한다.
- 한계: 저자들은 이 논문이 생물학, 화학, 재료과학, 물리학, 기후과학의 과제를 종합해 구조적 패턴을 짚은 글이라 분야마다 제약이 다르고, 일부 권고는 세부 분야나 규제 환경에 맞게 고쳐야 할 수 있다고 밝혔다. 여러 주장이 기대는 연구와 조사가 과학 기관의 다양성을 다 담지 못하고 특히 덜 대표된 지역이 그렇다고 했으며, ML의 빠른 발전으로 여기서 다룬 기술적 한계 일부는 바뀔 수 있다고 보았다. governance와 incentive 논의는 개괄적인 수준이라 실행하려면 세부 정책 설계와 이해관계자 협상이 필요하고, 두 저자는 논문이 협업 platform 예로 드는 Hugging Face 소속이라고 이해 상충을 밝혔다.
- 1330Research Agents
MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research
- 문제: LLM agent가 아이디어 생성, 실험, 논문 작성을 해내기 시작했지만, 열린(open-ended) 연구를 하는 능력을 체계적으로 재는 종합 benchmark가 아직 없어 진척을 재고 agent끼리 공정하게 비교하기 어렵다. 기존 benchmark는 대개 좁은 task를 겨냥해 MLE-bench는 엔지니어링, MLAgentBench는 실험, PaperBench는 논문 재현을 본다. 저자들은 결과 지어내기, 참신성 부족, 방법 결함 같은 실패 유형을 찾는 실증 분석도 필요하다고 보았다.
- 입력과 출력: task 하나는 지난 3년 동안의 기계학습 학회 NeurIPS, ICLR, ICML workshop 개요와 주제로 만든 연구 과제이고, end-to-end 평가에서 agent는 task를 받아 완성 논문을 낸다. 단계별 평가에서는 task로 아이디어를, task와 아이디어로 연구 제안서를, task, 아이디어, 제안서를 받은 실험 환경에서 code와 실험 결과를, 실험 산출물(보고서, 그림, 실행한 명령 log)로 논문을 내게 하고, MLR-Judge가 산출물의 평가 항목마다 1에서 10점을 매긴다. 논문 종류는 task 201개, 평가 framework, agent scaffold를 함께 내놓은 benchmark 논문이다.
- 방법: MLR-Judge는 LLM judge 두 개(Gemini-2.5-Pro-Preview, Claude-3.7-Sonnet)가 단계별 rubric(Consistency, Novelty, Soundness 같은 평가 항목의 점수 기준)으로 산출물을 따로 채점한 뒤 평균을 내고, 실험 단계에서는 coding agent의 실행 log도 본다. MLR-Agent는 정교한 prompt engineering보다 단순함을 택한 scaffold로, 아이디어와 연구 제안서는 LLM, 실험은 coding agent(예: Claude Code), 논문 작성은 multimodal LLM이 맡고, 아이디어와 제안서 사이에 GPT-4o-Search-Preview로 문헌 조사를 넣는다. judge 검증을 위해 저자들은 ML 학회 심사 경험이 있는 전문가 10명을 모아, 생성 논문마다 두 명이 judge와 같은 rubric으로 따로 점수를 매기게 했다.
- 구현: task 201개는 지난 3년의 세 학회 workshop에서 중복을 빼고 정보가 온전하며 일반 청중을 겨냥한 workshop을 골라 만들었고, LLM과 VLM(vision language model), AI for Science, ML 이론, Trustworthy AI 같은 핵심 ML 주제 9개로 나뉜다. 단계별 입력은 앞 단계 산출물에서 task마다 하나를 무작위로 뽑아 만들었고(실험 단계 입력은 손으로 고른 10개), coding agent는 NVIDIA RTX 3090 GPU 4장이 달린 Ubuntu 22.04 server에서 실행됐다. README에 따르면 GitHub 저장소에는 task 폴더, end-to-end 실행 script인 run_mlr_agent.py, 단계별 agent script(mlrbench/agent 폴더), judge script(mlrbench/evals 폴더)가 있고, task dataset은 Hugging Face에도 올라 있다.
- 결과: task 10개의 실험 단계에서 Claude Code와 Codex의 Overall은 둘 다 4.95로 합격 threshold 6.0보다 낮았다. 같은 task 10개의 end-to-end 평가에서 MLR-Agent의 Overall은 Claude-3.7-Sonnet과 Claude Code 4.70, Gemini-2.5-Pro-Preview와 Gemini CLI(Google의 명령줄 coding agent) 4.60, o4-mini-high와 Codex 3.10으로, o4-mini-high를 쓴 AI Scientist V2(4.25)와 함께 모두 6.0보다 낮았고, MLR-Agent의 세 모델은 모두 Soundness에서 가장 낮은 점수를 받았다. MLR-Judge가 짚은 바로는 Claude Code가 맡은 task 10개 가운데 8개에서 보고된 결과가 실제 실행 대신 합성 데이터나 placeholder 데이터에 기댔고, 저자들은 coding agent가 실행 실패 뒤 실패를 알리는 대신 합성 결과로 빈 곳을 채우는 경향이 있다고 분석했다.
- 한계: 실험, 논문 작성, end-to-end 평가는 task 201개 가운데 실험 규모를 감당하려고 손으로 고른 10개로 했고, 이 10개는 모두 ICLR 2025 학회 workshop에서 나왔으며 대부분 Trustworthy AI 주제다. 저자들은 사람 심사자가 완성된 AI 생성 논문을 받으면 각 부분이 어떻게 만들어졌는지 자주 알 수 없는 과정 투명성 부족을 신뢰의 핵심 걸림돌로 들고, MLR-Bench를 AI 연구 agent를 분석하고 고치기 위한 첫걸음으로 보았다. MLR-Agent가 맡은 task의 50%에서 찾을 수 없는 논문을 가리키는 인용이 나왔고, 저자들은 문헌 수집 tool의 검색 한계를 원인으로 추정했다.
- 1329Reasoning
In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR
- 문제: 저자는 지금의 AI 발전 다수가 과학자의 사고 같은 명시적 중간 추론 과정 없이 바로 답을 내는 모델에 기대고, LLM은 흔히 유창하고 pattern 인식에 강하지만 대개 구조화된 추론 능력이 부족하다고 보았다. 이 논문의 목표는 모델이 정보를 찾아 오는 데서 더 나아가 개념 사이 관계와 추상 패턴을 배워 새 분야로 일반화하는 것이다.
- 입력과 출력: 이 논문은 학습 방법과 그 방법으로 학습한 3B 모델을 제시한 method 논문이다. 모델은 질문이나 과제를 받으면 thinking token(<|thinking|>)으로 감싼 구간에 knowledge graph(개념 node와 IS-A, RELATES-TO, INFLUENCES 같은 관계 edge), 기호로 적은 abstract pattern, reasoning step과 가설을 생성한 뒤 최종 답을 낸다.
- 방법: 학습 데이터는 학습 도중에 만들며, corpus 원문에서 무작위로 뽑은 문단으로 질문을 만들고 RAG(검색 증강 생성)로 corpus 전체의 관련 내용을 붙인 뒤 knowledge graph가 든 정답과 rejected answer를 만든다. recursive reasoning에서는 critic agent가 Graph-PReFLexOR의 thinking 구간을 비평하면 그 비평으로 thinking 구간을 고쳐 다시 답하고, 이를 N번 되풀이한 뒤 마지막 답을 고르거나 모든 답을 합친다. knowledge garden은 사람이나 다른 LLM agent가 이전 graph의 node를 바탕으로 만든 다음 질문에 Graph-PReFLexOR가 답해 새 graph를 만들고, 이 graph들을 하나로 이어 키우는 방식이다.
- 구현: 기반 모델 meta-llama/Llama-3.2-3B-Instruct를 생체 소재와 생체 모방 소재 논문 약 1,000편의 원문에서 만든 데이터로 PReFLexOR와 같은 차례, 곧 ORPO 다음에 DPO(Direct Preference Optimization) 계열 EXO로 학습했고, recursive reasoning 구현의 critic은 fine-tuning 없는 Llama-3.2-3B-Instruct다. 논문은 code와 model weight를 Hugging Face의 lamm-mit와 GitHub 저장소 lamm-mit/PRefLexOR에 공개했다고 적고, 모델 이름을 lamm-mit/Graph-Preflexor_01062025로 밝혔다. GitHub README는 PRefLexOR 학습 package와 ORPO, EXO 단계 trainer 예제, Colab 추론 notebook을 설명하고 model weight는 Hugging Face에서 받는다고 적었으며, 맨 위 파일 목록에 Graph-PRefLexOR 학습 notebook(Graph-PRefLexOR_train_Phase-I-and-II.ipynb)이 있다.
- 결과: 눈송이와 개미 행동을 합쳐 질긴 단백질 소재를 설계하는 과제 하나에서, judge 역할의 GPT-4o는 Graph-PReFLexOR 첫 iteration 응답에 평균 9.7점, reference model 응답에 6.4점을 주었다. 일곱 평가 항목 가운데 Clarity and Organization만 reference model이 9/10으로 Graph-PReFLexOR의 8/10보다 높았다. 생체 모방 소재 자율 확장 실험은 사람이 준 첫 prompt 하나 뒤의 prompt를 모두 LLM이 만들어 12번 iteration으로 graph를 키웠고, degree(node에 이어진 edge 수)가 가장 높은 node는 Sustainable Materials, Self-healing and Adaptable Materials, Ecosystems였다.
- 한계: baseline 모델과의 비교는 Table 1의 과제 하나를 GPT-4o 한 모델이 채점한 결과이고, 나머지 결과는 graph와 답변을 보여 주는 사례다. 저자는 노래 과제에서 모델이 음악 구성에 필요한 시간 흐름과 감정의 미묘한 차이를 담는 데 한계가 있을 수 있다고 밝혔다. 더 큰 데이터와 더 복잡한 모델로의 확장, 깊게 얽힌 graph의 해석을 앞으로의 과제로 들었고, critic에 사실 확인이나 simulation 실행을 넣을 수 있다고 적었다.
- 1328Research Agents
Many Heads Are Better Than One: Improved Scientific Idea Generation by A LLM-Based Multi-Agent System
- 문제: AI Scientist, ResearchTown, HypoGen 같은 기존 연구는 LLM agent로 과학 아이디어 생성을 흉내 냈지만, single agent에 기대거나 손으로 만든 개인 profile과 합성 협업 network 같은 비현실적 데이터와 지나치게 단순한 협업 framework로 multi-agent를 꾸려 실제 연구팀의 역동적 관계를 놓쳤다고 저자들은 지적했다. 저자들은 실제 과학자 데이터로 팀을 꾸리고 협업하는 과정을 흉내 내면 더 새로운 아이디어가 나오는지, 팀 크기, 새 팀원 비율, 연구 분야 다양성 같은 협업 조건이 새로움에 어떤 영향을 주는지를 묻는다.
- 입력과 출력: 논문 종류는 multi-agent 시스템 VirSci를 제안한 시스템 논문이고, 입력은 정한 시점을 기준으로 실제 학술 데이터에서 만든 연구 생태계다. 생태계는 그 시점 이전 논문 database, 이후 논문 database, 과학자 profile을 담은 author knowledge bank, 과학자 사이 공저 횟수를 담은 adjacency matrix(인접 행렬)로 이뤄진다. 출력은 무작위로 뽑은 team leader가 꾸린 팀이 함께 쓴 abstract 한 편이고, abstract는 Introduction, Objective, Methods, Expected Results, Conclusion 다섯 부분으로 쓴다.
- 방법: team leader는 공저 횟수에 1을 더한 adjacency matrix를 초대 확률로 써서 팀을 꾸리고, 팀은 주제 토론, 아이디어 생성, 새로움 평가, abstract 작성 단계마다 K turn 동안 차례로 발언한다. 토론 중 agent는 RAG(retrieval-augmented generation, 검색한 자료를 붙여 답을 만드는 방식)로 author knowledge bank를 찾아 팀 밖 과학자의 의견도 듣는데, 저자들은 이를 Invitation Mechanism이라 부른다. 아이디어 생성 단계는 확신도가 가장 높은 아이디어 3개를 남기고, 새로움 평가 단계에서 agent들이 각 아이디어를 과거 논문과 비교해 투표로 하나를 고른다.
- 구현: 시스템은 multi-agent framework AgentScope 위에 만들었고, GPT-4o는 공개 API로, open-weight 모델 LLaMA3.1-8b와 LLaMA3.1-70b는 Ollama로 불러 쓰며 기본 모델은 LLaMA3.1-8b다. 데이터는 AMiner Computer Science dataset을 거른 저자 156명과 논문 178,197편, Open Academic Graph 3.1을 거른 저자 3,169명과 논문 201,131편이다. GitHub 저장소 맨 위에는 과학자 agent를 정의한 agentscope-main, 실행 파일 run.py가 든 sci_platform, preprocess_data 폴더가 있고, README는 전처리한 AMiner Computer Science 데이터를 Google Drive에서 받도록 안내한다.
- 결과: GPT-4o agent에서 VirSci는 CD(Contemporary Dissimilarity, 생성 abstract와 가장 비슷한 최신 논문 5편과의 평균 거리로 작을수록 최신 논문에 가깝다) 0.34, CI(Contemporary Impact, 그 논문들의 평균 인용 수) 3.78, 박사과정생 열 명이 10점 척도로 매긴 새로움 점수 5.24로 HypoGen(0.36, 3.10, 4.78)과 AI Scientist(0.38, 3.22, 4.94)보다 나았고, LLaMA3.1-8b와 LLaMA3.1-70b agent에서도 LLM review 점수까지 표의 모든 지표에서 앞섰다. 이 비교에서는 HypoGen과 VirSci의 첫 토론 주제에 NanoGPT를 넣어 AI Scientist와 연구 방향을 맞추고, VirSci 팀원 4명과 5 turn, HypoGen 12 turn으로 추론 비용을 비슷하게 맞췄으며, 지표 계산용 논문 검색은 세 시스템 모두 Semantic Scholar API로 맞췄다. 팀 크기 1, 4, 8, 10, 100명을 비교한 협업 실험에서 새로움 종합 지표 ON(Overall Novelty)은 팀원 8명과 토론 5 turn 안팎에서 가장 높았고, 처음 함께하는 팀원 비율이 50% 안팎일 때도 가장 높았다.
- 한계: 큰 연구 공동체에서는 여러 팀이 관련 과제를 함께 또는 따로 진행하는 일이 많고 연구자가 여러 팀에 동시에 참여하는 일도 잦은데, 저자들은 시스템이 이런 복잡함을 단순화했다고 밝혔고 기반 LLM과 학습 데이터의 bias, 그럴듯하지만 틀린 과학 주장을 만들 위험도 한계로 들었다. 평가는 계산 비용 때문에 주로 본문 전체 대신 생성 abstract를 대상으로 했고, abstract 200편에서 ON과 사람 평가의 Pearson 상관은 0.52였다. VirSci가 다루는 범위는 아이디어 생성 단계까지이고, 부록의 예시 abstract에는 아이 500명 대상 무작위 대조 시험에서 실패율이 42% 줄었다는 결과 문장도 들어 있다.
- 1327Research Agents
MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering
- 문제: 언어 모델은 많은 coding benchmark에서 높은 성능을 내고 architecture 설계와 model 학습 같은 ML 작업에서도 발전하고 있지만, 자율적인 end-to-end ML 엔지니어링을 전체로 재는 benchmark는 적었다. 저자들은 현재의 ML 엔지니어링 일을 대표하는 어려운 task를 고르고, 평가 결과를 사람 수준의 성과와 비교할 수 있는 측정을 목표로 삼았다.
- 입력과 출력: agent는 Kaggle 대회의 설명, dataset, 제출 형식을 받아 offline 환경에서 model을 학습하고 submission.csv 파일을 낸다. 제출물은 대회 평가 지표를 다시 구현한 grading 코드로 채점되고, agent가 그 대회에 당시 참가했다고 보고 Private leaderboard와 비교해 메달로 환산된다. 논문 종류는 ML 엔지니어링 agent를 평가하는 benchmark 논문이다.
- 방법: Meta Kaggle dataset의 완료된 대회 5673개에서 Community 대회를 빼고 남은 586개를 손으로 검토해 75개를 골랐고, 경험 있는 ML 엔지니어가 쓸 만한 해법을 내는 데 드는 시간(model 학습 시간 제외)으로 Low 22개(2시간 미만), Medium 38개(2에서 10시간), High 15개(10시간 초과)로 나눴다. 공개 test set이 없는 대회는 공개 training 데이터에서 새 test set을 떼어 냈고(별도 표시가 없으면 10% 비율), 대표 지표는 참가 팀 수에 따라 달라지는 Kaggle 메달 threshold에서 동메달 이상을 받은 시도의 비율이다. agent는 model 대신 자기 지식으로 예측을 직접 쓰거나 온라인 해법을 볼 수 없으며, log 검사 도구와 표절 검사 도구 Dolos가 이를 점검하고, Kaggle 상위 notebook 50개 가운데 하나와 코드 유사도가 60%를 넘는 시도는 실격 처리하고 추가 검토 대상으로 표시한다.
- 구현: 기본 실험에서 각 대회 시도는 dataset, 제출 검증 server, Python package가 든 Ubuntu 20.04 Docker container에서 최대 24시간 동안 실행되고, 시도마다 가상 CPU 36개, 메모리 440GB, Nvidia A10 GPU 한 장이 주어지며, seed는 기본 3개이고 o1-preview(AIDE)는 16개, GPT-4o(AIDE)는 36개였다. scaffold는 AIDE, MLAB(MLAgentBench의 ResearchAgent), OpenHands(OpenHands platform의 CodeActAgent) 세 가지를 썼고, AIDE 위에서 o1-preview, GPT-4o, Claude 3.5 Sonnet, Llama 3.1 405B 네 모델을 비교했다. README에 따르면 GitHub 저장소 openai/mle-bench에는 dataset 준비 script, 대회별 grading script, 평가한 agent, agent가 쓰는 기반 Docker image(mlebench-env) 설정, 규칙 위반 탐지 도구와 표절 탐지 도구가 있고, 비용이 부담되면 Low 난이도 22개 대회만 쓰는 Lite 평가를 권한다.
- 결과: 표 2에서 AIDE scaffold 위의 네 모델 가운데 o1-preview가 대회의 평균 16.9%에서 메달을 받아 가장 높았고 GPT-4o는 8.7%, Claude 3.5 Sonnet은 7.6%, Llama 3.1 405B는 3.0%였으며, 같은 GPT-4o를 MLAB과 OpenHands에서 실행하면 0.8%와 4.4%였다. 시도 횟수 실험에서 o1-preview는 pass@1 16.9%에서 pass@8(8번 시도 가운데 한 번이라도 메달을 받은 대회 비율) 34.1%로 올랐고, 대회당 시간 제한을 100시간으로, AIDE의 최대 node 수를 5,000으로 늘린 실험에서 GPT-4o(AIDE)는 8.7%(24시간 기준)에서 11.8%로 올랐다. 표 3의 hardware 실험에서 GPT-4o(AIDE)의 메달 비율은 GPU 없음 9.1%, GPU 한 장 8.7%, GPU 두 장 10.2%로 비슷했고, 표 4에서도 원래 설명으로 8.5%, 출처를 알아보기 어렵게 고쳐 쓴 설명(seed 10개로 실행)으로 8.4%를 받아 비슷했다.
- 한계: 데이터가 공개 Kaggle 대회라 model이 대회 설명, 해법, test set을 포함한 dataset까지 학습했을 수 있고, 저자들은 GPT-4o 실험에서 contamination의 체계적 효과를 찾지 못했지만 고수준 전략의 재사용은 잡아내기 어렵고 이후 model에 대한 보장은 없다고 밝혔다. 저자들은 MLE-bench가 문제 정의가 분명하고 dataset이 깔끔하며 지표가 분명한 Kaggle 대회를 골랐으므로, 문제 정의가 흐릿한 경우가 많고 dataset과 지표를 정하는 일까지 과제인 실제 AI 연구개발 능력의 일부를 다룬다고 밝혔다. 기본 설정 한 번에 24시간 곱하기 75개 대회로 1800 GPU 시간이 들고, o1-preview(AIDE)는 seed 하나의 75개 대회에서 평균 입력 token 127.5M개와 출력 token 15.0M개를 썼다.
- 1326Research Agents
Stateless Language Agents: Scaling Long-Horizon Automated Research
- 문제: 자동 연구(AutoResearch, 측정 가능한 목표를 놓고 해법 제안, 구현, 평가를 되풀이하는 일) 시스템은 LLM agent를 긴 run으로 돌리는데, agent가 늘어나는 기록을 되풀이해 읽고, 서로 같은 일을 하거나, token을 계속 쓰면서 실험을 멈추는 일이 생긴다. 저자들이 본 CORAL(agent 여러 개가 각자 실험을 고르고 공유 memory로 발견을 나누는 framework) run 하나에서는 GPU kernel 과제의 마지막 개선이 231M token에서 나온 뒤 마지막 1,500개 session의 98%가 tool 호출 없이 끝났다. 대부분의 평가는 짧은 예산이나 일찍 포화되는 benchmark를 써서 이런 실패를 시험 밖에 두었고, 저자들은 원인을 연구 상태가 어디에 있는가와 다음 실험을 누가 정하는가의 두 선택에서 찾았다.
- 입력과 출력: SLA는 과제 하나(고칠 수 있는 파일, 허용 자원, 평가 절차를 정한 task adapter, seed 해법, 보호된 evaluator)와 누적 token 예산을 받는다. 예산이 끝날 때까지 독립 evaluator가 Worker의 후보를 모두 채점하고, harness는 전역 최고 해법, Worker별 후보, 측정 결과, checkpoint를 연구 상태로 남긴다. 논문 종류는 framework를 구현해 소프트웨어 공학, kernel 최적화, 알고리즘 설계 과제에서 최근 framework 세 개와 비교한 시스템 논문이다.
- 방법: 원칙은 stateful search with stateless agents로, 모든 agent가 호출마다 새 session으로 시작하고 harness가 후보 해법과 측정 결과를 연구 상태로 들고 호출마다 역할에 맞는 새 context를 만든다. Advisor는 실험을 배정하는 한 주기(epoch)마다 과제 설명, 현재 전역 최고 코드와 점수, harness가 만든 근거 요약을 받는데, 이 요약은 결과를 탐색 방향별로 묶고 측정된 비개선과 구현, 실행, 정확성 실패를 나눠 적는다. Worker는 시도 한 번(trial)마다 과제 설명, 자기 배정, 자기 후보, 짧은 직전 결과만 받고 다른 방향의 근거는 Advisor의 배정으로만 전해지며, 방향을 바꿔 배정받으면 전역 최고 해법에서 다시 시작한다.
- 구현: Advisor와 Worker는 같은 coding agent를 쓰고, 설정은 OpenAI Codex CLI(명령줄 도구) v0.152.1과 GPT-5.5, Claude Code v2.1.258과 Claude Opus 4.8 두 가지이며, 주 실험에서는 Advisor와 Worker가 같은 LLM을 쓰고 부록 C.1에서 GPT-5.5 Advisor에 GPT-5.4 mini Worker를 붙인 비교를 따로 보고했다. 기본값은 Worker 3개와 Advisor epoch마다 Worker당 trial 세 번이고, Worker는 Linux Landlock(파일 시스템 접근을 제한하는 Linux 기능) 아래 권한이 낮은 process로 돌며, harness는 trial 사이에 저장된 session을 지우고 후보를 Worker 환경 밖에서 보호된 evaluator 코드로 채점한다. 비교 대상은 agent가 긴 session을 이어 가는 CORAL과 SwarmResearch, 세대마다 새 coding agent를 띄우도록 맞춘 EvoX이고, 셋 다 고정한 upstream release의 검색 logic을 그대로 쓰며 모든 방법은 같은 외부 누적 token counter로 멈춘다.
- 결과: Codex로 돌린 Anthropic kernel 최적화(1B token, 방법마다 세 번 실행)에서 SLA는 평균 1112.0 cycle을 내 평균 기준 가장 강한 baseline SwarmResearch의 1275.7 cycle보다 낮았고, SwarmResearch의 최종 성능에 67.9M token으로 닿아, SwarmResearch가 같은 성능에 닿는 데 쓴 986.3M token보다 93.1% 적게 썼다. Codex로 방법마다 한 번씩 돌린 FrontierSWE 네 과제에서는 과제별 가장 강한 baseline보다 평균 4.95점 높았는데, 예산의 25%인 175M token 시점에는 네 과제 모두에서 뒤졌다가 700M token 전체 예산에서 모두 앞섰다. Anthropic kernel과 FrontierSWE libexpat의 같은 checkpoint에서 100M token씩 세 번 이어 돌린 ablation에서는 Advisor context 재구성, Worker context 격리, Advisor 배정 가운데 하나를 빼면 모든 비교에서 평균 진전이 줄었고, token 사용을 분석한 두 run(Anthropic kernel, FrontierSWE libexpat)에서 Advisor가 쓴 token은 전체의 0.24%에서 0.51%였다.
- 한계: 긴 run은 비용이 커서 대부분의 설정은 한 번씩만 돌렸고, 반복 실행한 것은 Codex의 Anthropic kernel 최적화와 checkpoint ablation뿐이다. 비교는 token 수를 맞춘 것이며, 비용 추정에는 실험을 실행하고 평가하는 compute가 빠져 있다. 모든 과제에 실행 가능한 evaluator가 있어서, 목표가 모호하거나 평가가 느린 과제는 시험 범위 밖에 남았다.
- 1325Research Agents
RankEvolve: A Reliable Multi-Agent Auto-Research Harness for Evolving Ranking Models
- 문제: model 변경을 제안, 구현, 학습, 평가하는 auto-research agent에서 저자들의 설정은 실행 정확도가 성과를 제한하는 제약이다. held-out 데이터 유출, 빠진 layer norm, 끊긴 gradient, 연결이 빠진 train/eval flag 같은 결함 하나가 가속기 몇 시간을 쓰고 무효한 지표를 내며, iteration이 쌓이면 피해가 누적되고 run이 정해진 절차에서 벗어난다. 저자들이 동기로 든 예비 감사에서는 전체 절차를 한 번에 context로 준 run 10개 가운데 절차를 끝까지 지킨 run이 0개였고, 10개 모두 고른 제안의 일부만 실행했다.
- 입력과 출력: ML codebase와 데이터, 단계와 gate를 적은 EOP(Executable Operating Protocol) 문서, gate에서의 사람 결정을 받아, flag로 켜고 끄는 코드 변경, 학습 run, 부정적 결과까지 담은 leaderboard 항목, 근거 기록을 낸다. 실행 정확도 평가에서는 고정된 repository snapshot과 변경 요청을 받아 patch를 내고, 숨긴 실행 oracle이 그 patch를 통과나 실패로 판정한다. 논문 종류는 실제로 배포한 harness를 다룬 시스템 논문이며, HSTU 배포 사례 연구와 그 사고로 만든 benchmark ExecML 평가를 함께 실었다.
- 방법: EOP는 단계, 의존 관계, 필요한 tool, 사람 확인 gate, branch와 loop를 한 번 선언한 문서이고, runtime이 이를 state machine으로 compile해 순서와 gate를 강제하며 단계마다 전역 서문과 지금 단계의 지시만 context에 넣는다. meta-meta-harness는 Claude Code, Codex, OpenHands 같은 완성된 coding agent 제품을 adapter 계약으로 실행 graph의 node에 붙여, 한 제품이 구현하면 다른 제품이 검토하고 고치는 Dual loop(검토자가 승인하거나 남은 심각도가 threshold 아래로 내려갈 때까지 정해진 횟수 안에서 반복)와 작업을 나눴다가 합치는 흐름을 만든다. knowledge layer는 제안마다 hash, prompt, patch, test 출력, 설정, 지표, 비용, 승격 결정을 남기고, 코드 옆 note, 중앙 wiki, entity graph로 교훈을 정리해 단계마다 관련 교훈 몇 개만 넣는다.
- 구현: HSTU 사례에는 공개 HSTU 구현과 공개 MovieLens 데이터를 썼고, 작업 공간에는 NVIDIA H200 1개에서 8개로 돌린 실험 폴더 49개와 leaderboard 항목 약 55개가 남았으며, 사람 operator가 gate에서 계산 자원을 승인하고 예산을 넘는 실험 하나를 거부했다. ExecML은 HSTU와 LitGPT(언어 model 학습 codebase)에서 각각 비공개 task 96개를 데이터 유출, tensor routing, gradient 흐름, train/eval mode, 지표 의미, 설정 연결의 여섯 사고 유형에 고르게 나누고 절반은 새 구현, 절반은 수정으로 만들었으며, Claude Code는 Claude Opus 4.8을, Codex는 GPT-5.6을 최대 reasoning effort로 썼다. 부록 B는 failure-overlap 분석기, leaderboard schema, boost-last-K patch를 codebase와 함께 공개할 예정이라고 적었다.
- 결과: 12번의 iteration 뒤 RankEvolve는 HSTU의 NDCG@10을 MovieLens-20M 큰 설정에서 0.2192(원논문 수치 0.2098 대비 +4.48%), 기본 설정(BASE)에서 0.1948(0.1895 대비 +2.80%)로 보고했고, 0.2192는 새 model 구조 대신 장르 side-feature를 더해 얻은 값이다. 관찰 가능한 추론 예산을 맞춘 ExecML HSTU task 96개에서 Claude Code, Codex, Claude Code 순서의 흐름은 실행 정확도 62.5%로 가장 강한 단일 제품 조건인 Claude Code 세 역할 흐름(45.8%)보다 16.7점 높았고(95% 신뢰구간 6.6에서 26.7), patch가 실행은 되지만 과학적 결론을 무효로 만들 수 있는 치명 결함의 비율(silent critical-defect rate)은 한 번 실행한 Claude Code의 35.4%에서 10.4%로 낮았다. LitGPT에서도 같은 흐름이 56.2%로 43.8%보다 12.5점 높았고(95% 신뢰구간 3.0에서 22.0), runtime을 같게 둔 비교에서 지금 단계의 지시만 넣는 방식은 전체 protocol을 넣는 방식보다 실행 정확도가 초반 단계에서 2.1점, 중반에서 6.2점, 후반에서 10.4점 높았다.
- 한계: 저자들은 근거가 Python과 PyTorch로 된 codebase 두 곳(순위 model 하나와 LitGPT)에 그쳐 다른 분야로의 일반화가 완전히 확립되지 못했고, oracle이 불완전해 잘못된 통과를 줄일 뿐 없애지는 못하며, 공개 저장소가 사전 학습 데이터에 들어갔을 수 있다고 밝혔다. knowledge layer는 memory를 켜고 끄는 ablation이 없어 제안 품질에 준 몫을 따로 재지 못했고, HSTU 사례는 gate의 사람 operator가 방향도 정해 agent와 사람의 몫을 나누지 못하며, 다른 dataset으로 옮긴 결과는 한 번씩 돌린 값이다. 배포에 쓴 plan-merge 흐름은 HSTU 실행 정확도 70.8%로 가장 높았지만 다시 돌린 비교 흐름과의 차이 8.3점은 통계적으로 구별되지 않았고(p=0.077), 저자들은 연구 기간의 개선이 모두 기존 요소의 조합이었다고 적었다.
- 1324Research Agents
NanoResearch: Co-Evolving Skills, Memory, and Policy for Personalized Research Automation
- 문제: The AI Scientist나 EvoScientist 같은 자동 연구 시스템은 연구 전 과정을 수행하지만, 저자들은 이 시스템들이 사용자마다 다른 자원, 방법론 선호, 목표 형식과 무관하게 거의 같은 결과를 내는 균일한 pipeline이라고 본다. 저자들이 꼽은 부족한 능력은 세 가지다. 실행마다 처음부터 시작해 같은 debugging 패턴을 되풀이하고, 세션이 끝나면 과거 가설과 검증한 설정과 추론한 자원 제약이 버려지며, '더 단순한 방법 선호' 같은 암묵적 선호는 규칙으로 쓰기에 흐릿하고 memory 항목으로 압축하면 사라진다.
- 입력과 출력: 이 논문은 구현과 실험을 갖춘 system 논문이다. NanoResearch는 사용자가 정한 연구 주제와 대화형 질문으로 만든 user profile(선호, 계산 예산, 목표 학회 양식 등)을 받아 아이디어 생성과 계획, 실험 검증, 논문 작성과 review의 세 단계를 거쳐 LaTeX 논문 한 편을 낸다. 사용자는 단계마다 끝에 자연어 feedback을 주고, Orchestrator는 작업 전마다 Skill Bank와 Memory Module에서 관련 항목을 찾고 작업 뒤에 두 저장소를 갱신한다.
- 방법: 1단계는 학술 database(예: arXiv, Semantic Scholar)에서 논문을 찾아 성능 수치를 직접 뽑고, ReAct(추론과 행동을 번갈아 하는 방식) loop로 가설을 낸 뒤 novelty 검사로 고른 가설을 dataset, baseline, 지표, ablation을 담은 JSON 실험 blueprint로 바꾸며, 내부 LLM reviewer의 비판으로 blueprint를 고친다. 2단계는 code를 만들어 SLURM(cluster 작업 scheduler) 같은 환경에 올리고 실행이 성공하거나 재시도 한도에 닿을 때까지 자동으로 debugging한 뒤 결과를 분석하며, 3단계는 원고를 section별로 쓰고 skill과 memory 검색 없이 동작하는 Review agent가 미리 정한 품질 threshold를 넘을 때까지 고친다. 단계가 끝날 때마다 Orchestrator는 일반 규칙을 Skill Bank에, 프로젝트별 경험을 Memory Module에 넣고, 사용자 feedback은 SDPO(feedback을 본 같은 모델을 teacher로 삼아 reward model 없이 token 단위 학습 신호를 만드는 방법)로 planner 모델의 parameter에 반영한다.
- 구현: 문헌 검색은 OpenAlex API로 하고, 학습하는 부분은 Orchestrator의 planner(Qwen3-8B) 하나다. 나머지 agent는 아이디어 생성, 계획, 환경 준비와 실행에 DeepSeek-V3.2, coding과 debugging에 GPT-5.3-Codex, 글쓰기와 그림 prompt와 code 생성에 Claude Sonnet 4.6, 그림 생성에 Gemini 3.1 Flash, review에 Gemini 3.1 Flash Lite, 수정에 Gemini 3 Pro를 쓴다. 공식 저장소(OpenRaiser/NanoResearch)의 README는 아이디어 생성부터 review까지 9단계 pipeline, 로컬 GPU나 SLURM 실행, user profile과 skill과 memory를 갱신하는 evo pipeline, evo 실행에서 모은 (x, y, feedback) triple로 SDPO용 LoRA(Low-Rank Adaptation, 작은 low-rank 행렬을 더해 학습하는 방법) adapter를 학습하는 ram-train 명령, Claude Code와 Codex 연동을 설명하고, 로드맵에는 benchmark 평가 suite가 남은 항목으로 있다.
- 결과: Claude가 만든 7개 분야 20개 과제와 simulated 연구자 20명으로 평가하자, Round 1의 NanoResearch는 Compliance 8.163, E2E(pipeline을 끝까지 마친 실행 비율) 1.000, Perf.(만든 method의 과제 정확도 평균) 0.6844로 네 baseline(AI-Researcher, DeepScientist, EvoScientist, AI Scientist-v2)보다 모든 지표가 높았고, baseline의 E2E는 0.500에서 0.900이었다. Round 3에서는 Compliance 8.963, Innovation(기존 연구 대비 아이디어의 독창성) 5.645, Perf. 0.7548로 올랐고, 주제당 총비용은 $1.430으로 AI Scientist-v2의 $6.039와 EvoScientist의 $2.944보다 낮았다. 박사 연구자 3명이 자기 과제 3개로 평가한 실험에서는 Perf.가 Round 1의 0.6466에서 Round 3의 0.8603으로 올랐다.
- 한계: 평가는 code와 글로 결과를 완성할 수 있는 AI와 ML 과제에 집중했고, 저자들은 물리 실험과 장비 제어가 드는 생물, 화학, 물리 분야로 넓히는 일을 향후 과제로 남겼다. simulated 평가의 20개 과제와 사용자 역할 feedback은 모두 Claude가 만들었고, Compliance, Innovation, Expression(논문 글 품질) 같은 주관 점수는 LLM judge가 매겼으며, 사람 평가는 박사 연구자 3명의 과제 3개 규모다. 사람 평가에서 Round 1의 Perf. 0.6466은 EvoScientist의 0.6537보다 낮았고, Innovation과 Expression은 Round 2보다 Round 3에서 조금 내려갔다.
- 1323Research Agents
EvoMaster: A Foundational Evolving Agent Framework for Agentic Science at Scale
- 문제: 과학 agent를 분야마다 만들 때 모델 접속, tool orchestration, context 관리, trajectory 기록, 오류 복구를 매번 다시 만들어 분야 사이 재사용이 제한된다(저자들은 loop fragmentation이라 부른다). 또 근거, 기각된 가설, 실패 경험이 한 run이나 한 연구 캠페인 안에 머물고(loop discontinuity), 필터 없이 쌓은 memory는 쓸모 있는 경험과 함께 잡음도 남길 수 있다.
- 입력과 출력: 연구 질문, 바꿀 수 있는 연구 산출물의 범위, 실행할 tool과 환경, 외부 평가 protocol, 예산과 중단 조건으로 이뤄진 과학 문제를 받는다. 코드, model checkpoint, 수학적 구성, 데이터 분석 보고서 같은 산출물과 최종 답을 내고, run마다 설정, trajectory, workspace 산출물을 실험 노트처럼 남긴다. 논문 종류는 framework 논문이고, 이 framework 위에 만든 agent를 10개 benchmark에서 시험한 결과를 함께 실었다.
- 방법: Execution loop는 한 run 안에서 추론(Reason), 행동(Act), 관찰(Observe)을 되풀이하고, Exploration loop는 한 study 안에서 가설을 세워 실행한 뒤 외부 evaluator 근거로 후보를 남기거나 버리거나 고친다. Evolution loop는 끝난 study 기록을 다시 쓸 수 있는 지식, skill, prompt, memory, workflow 구성 요소로 정리하고, Admit 정책(자동 근거 규칙, evaluator gate, 사람의 결정 가운데 하나)이 이를 다음 study용 capability store에 넣을지 정한다. context가 차면 system 메시지와 최근 turn은 그대로 두고 오래된 대화를 요약하되, workspace 파일, evaluator 출력, tool 기록은 이 요약 밖에 둬서 원래대로 보존한다.
- 구현: Playground, Exp, Agent의 세 software 층과 registry로 model, tool, skill, agent를 따로 바꿀 수 있게 했고, MCP(Model Context Protocol) server도 같은 tool 인터페이스로 붙인다. 실험에서는 HLE(Humanity's Last Exam)와 Frontier Science에 X-Master와 X-Master 2.0, MLE-Bench Lite(MLE-Bench의 Kaggle 대회 가운데 난도가 낮은 22개)에 ML-Master 2.0, BrowseComp와 BrowseComp-ZH(중국어 웹 검색 benchmark)에 Browse-Master, PRL-Bench(Physical Review Letters 논문으로 만든 물리 연구 benchmark)에 PhysMaster, 나머지 4개 benchmark에 minimal agent를 EvoMaster 위에서 돌렸다. 공식 저장소 README 기준으로 GitHub에는 framework 코드(evomaster/), agent 예제(playground/), 설정(configs/)이 있고, SciMaster agent 가운데 ML-Master 2.0, ML-Master, X-Master, Browse-Master는 Available, PhysMaster와 EmboMaster는 Coming Soon으로 표시돼 있다.
- 결과: 모든 agent가 GPT-5.4(medium reasoning effort)와 같은 benchmark별 시간 제한, 채점 script, task 분할을 쓴 비교에서 EvoMaster는 10개 benchmark 가운데 PostTrainBench(Codex 15.92%, EvoMaster 13.83%)를 뺀 9개에서 가장 높았고, benchmark마다 점수가 가장 높은 다른 agent보다 BrowseComp에서 41.75점, MLE-Bench Lite에서 34.85점 높았다. 10개 benchmark 평균 점수는 EvoMaster 58.02%, Codex 40.29%, OpenHands 39.84%, OpenClaw 32.39%였고, benchmark별 평균 LLM 추론 비용은 EvoMaster가 $9.56으로 Codex의 $14.85보다 35.6% 낮았다. tool, prompt, orchestration, benchmark protocol을 그대로 두고 backend만 바꾸면 평균 점수는 GLM-5.2 max에서 63.65%(평균 비용 $14.00), DeepSeek-V4-Pro max에서 55.66%(GPT-5.4 평균 비용의 34.4%)였다.
- 한계: 저자들은 EvoMaster가 주로 in silico(컴퓨터 안 계산) 연구 workflow에 맞춰져 있다고 밝히고, cloud laboratory나 로봇 합성 장비 같은 실제 실험 장비를 직접 다루는 일은 향후 과제로 남겼다. 비용 비교는 LLM 추론 비용만 셌고, 평균이 Combinatorial Construction처럼 비싼 benchmark의 영향을 크게 받아 중앙값으로는 EvoMaster($4.57)가 Codex($3.00), OpenHands($2.78), OpenClaw($1.43)보다 높았다. EvoMaster 쪽은 benchmark마다 맞춘 SciMaster agent나 입출력만 조금 고친 minimal agent를 썼고 비교 대상은 범용 agent 셋이며, 저자들은 benchmark 결과가 주로 workflow의 폭을 보여 준다고 밝혔다.
- 1322Research Agents
AI Can Learn Scientific Taste
- 문제: 연구 아이디어의 장기 영향력을 판단하고 제안하는 능력(저자들은 scientific taste라고 부른다)은 주로 경험이 많은 연구자에게 몰려 있다. 지금의 AI Scientist 학습은 주로 문헌 검색과 실험 실행처럼 연구를 수행하는 능력에 맞춰져 있어, 어떤 연구 방향이 해 볼 만한지 고르는 능력은 남은 문제다. RLVR(정답이나 unit test로 확인하는 reward를 쓰는 RL)은 이런 열린 과제에 쓰기 어렵고, RLHF(사람 선호 표시로 reward model을 학습하는 RL)는 비용이 큰 사람 annotation에 기대며 개인 선호로는 커뮤니티 수준 선호를 담기 어렵다.
- 입력과 출력: Scientific Judge는 두 논문의 제목, 초록, 게시 날짜를 받아 추론 과정(reasoning trace)을 쓴 뒤 인용이 더 많을 논문을 A나 B로 답한다. Scientific Thinker는 출발점 논문(seed paper)의 제목과 초록을 받아 후속 연구 아이디어를 제목과 초록 꼴로 낸다. 논문 종류는 학습 방법 RLCF를 제안하고, 선호 쌍 데이터셋 SciJudgeBench와 학습한 모델로 실험한 방법 논문이다.
- 방법: RLCF는 같은 분야, 같은 해의 논문을 짝지어 인용이 뚜렷이 많은 쪽을 선호 답으로 삼고, 학습 쌍은 인용 차이가 8 이상이면서 높은 쪽 인용의 30% 이상인 것만 남긴다. Scientific Judge는 이 쌍으로 GRPO 학습을 하며 맞히면 1, 틀리면 0을 reward로 받는다. Scientific Thinker는 출발점 논문마다 아이디어 여러 개를 뽑고, Judge가 그 아이디어들을 round-robin(모든 쌍을 한 번씩 맞붙이는 방식)으로 비교해 낸 group 안 승률을 reward로 받는 Comparison-Based GRPO로 학습한다.
- 구현: 2024년까지 나온 arXiv 논문 2.1M편에서 CS(컴퓨터 과학), 수학, 물리, 기타 분야의 선호 쌍 720,341개를 만들었다. Judge는 Qwen2.5-Instruct 1.5B에서 32B까지 다섯 크기, Qwen3-4B-Instruct-2507, Qwen3-30B-A3B-Instruct-2507, Llama-3.1-8B-Instruct를 MS-SWIFT(fine-tuning framework)로 학습했고, Thinker는 2025년 1월에서 7월 사이에 나온 고인용 논문 4,000편을 출발점으로 Qwen3-30B-A3B-Thinking-2507과 Qwen3-4B-Thinking-2507을 학습했다. 공식 GitHub 저장소 맨 위에는 README(영어, 중국어), 논문 PDF, 그림 폴더(assets)가 있고, README는 결과 요약과 함께 모델과 데이터셋을 담은 Hugging Face collection 링크와 online demo 주소를 적었다.
- 결과: in-domain test 1,000쌍에서 SciJudge-Qwen3-30B는 A와 B 순서를 바꿔 두 번 모두 맞혀야 정답으로 치는 정확도 82.7%를 내, 표 3의 strong LLM baseline 네 개 가운데 가장 높은 GPT-5.4 Thinking(81.6%)보다 높았다. 학습 기간 뒤인 2025년 논문 904쌍에서는 Qwen3-4B가 학습 전 64.7%에서 학습 뒤 80.9%로, Qwen3-30B-A3B가 71.7%에서 83.1%로 올랐다. GPT-5.2-high, GLM-5, Gemini 3 Pro의 다수결 판정에서 SciJudge-Qwen3-4B를 reward model로 학습한 SciThinker-30B는 base policy(학습 전 policy 모델)를 in-domain 승률 81.5%로 이겼고, GPT-5.2, GLM-5, Gemini 3 Pro가 낸 아이디어와 견준 in-domain 평균 승률은 54.2%로 base policy의 30.3%보다 높았다.
- 한계: 저자들은 인용이 불완전한 커뮤니티 반응이라 처음에는 인용이 적다가 나중에 영향력이 커지는 논문이 있을 수 있고, 통제 비교로 저자, 기관, 주제 같은 단순한 설명을 줄였어도 인용 기반 신호에는 편향이 일부 남는다고 밝혔다. 아이디어 평가는 strong LLM 평가자에 주로 기대며, 제안된 아이디어 일부를 실제로 구현해 보는 일은 후속 과제로 남았다. Scientific Judge는 주로 제목과 초록으로 학습했고, 저자들은 관련 연구 절 같은 본문 맥락을 더 넣으면 판단이 나아질 수 있다고 적었다.
- 1321Research Agents
Idea2Plan: Exploring AI-Powered Research Planning
- 문제: 연구자는 실행할 수 있는 것보다 많은 아이디어를 내고 그 가운데 많은 수가 시간 제약 때문에 탐구 전 상태로 남으며, 아이디어를 시험 가능한 계획으로 바꾸는 데 며칠에서 몇 주가 걸릴 수 있다. 기존 연구는 아이디어 생성, 문헌 조사, 실험 실행 같은 다른 단계에 집중했고, 연구 계획은 명시적 평가 없는 중간 단계로 두거나(CodeScientist) 명확성과 novelty 같은 높은 수준의 기준으로만 평가했다(MLR-Bench). 평가에는 LLM이 공개된 논문으로 아이디어를 이미 봤을 수 있는 data contamination 위험과, 한 아이디어에 똑같이 타당한 계획이 여럿일 수 있다는 어려움이 있다.
- 입력과 출력: 이 논문은 task 정의, 자동 benchmark 구축 pipeline, LLM judge 검증용 benchmark를 낸 benchmark 논문이다. 입력은 원 논문 초록에서 method 이름과 실험 결과를 빼고 1인칭으로 다시 쓴 연구 아이디어이고, 출력은 Introduction, Key Literature, Methods, Initial Experimental Design, Resources/Compliance/Ethical Considerations 다섯 section으로 된 연구 계획이다. 채점은 원 논문에서 뽑은 참고 계획으로 만든 section별 yes/no rubric 질문을 LLM judge가 판정해 section마다 충족 비율을 구하고, 다섯 section을 평균한 Planning Score로 한다.
- 방법: ICML 2025 Spotlight와 Oral 논문 가운데 시험한 LLM의 가장 최근 학습 data cutoff(GPT-5)보다 먼저 arXiv에 올라온 논문을 빼고, 남은 논문에서 200편을 test set으로, 30편을 dev set으로 무작위로 골랐다. o4-mini(reasoning=high)가 초록에서 아이디어를, 본문에서 참고 계획을 뽑고, rubric 질문은 원 아이디어에 없는 고유 용어 대신 어떤 타당한 계획이든 다뤄야 할 높은 수준의 설계 선택을 묻는다. 생성 방식은 Naïve(짧은 prompt와 section 제목), 0-shot(일반 지시 추가), 1-shot(고정 예시 계획 1개 추가), arXiv 검색 tool과 읽기 tool을 각각 최대 다섯 번 쓰는 ReAct agent의 네 가지다.
- 구현: 시험한 LLM은 GPT-4.1, GPT-4.1-mini, o4-mini, GPT-5, GPT-5-mini와 open-source인 DeepSeek-V3, DeepSeek-R1, Phi-4이고, 모델과 방식마다 아이디어당 세 번 실행해 평균을 냈다. judge는 사람 annotator 두 명이 계획 30개의 rubric 질문을 따로 채점한 Idea2Plan JudgeEval(일치율 88.4%, Cohen's κ(우연 일치를 뺀 일치도) 0.768)에서 후보를 비교한 뒤 o4-mini(reasoning=high)로 골랐고, 계획 하나를 section마다 따로 채점한다. 검색 tool은 arXiv 영역으로 제한한 Bing Search로 2025년 1월 30일(ICML 2025 마감) 뒤 논문과 대상 논문, 그 논문을 인용한 논문을 막고, 읽기 tool은 arXiv API로 받은 논문을 o4-mini가 정해진 양식으로 요약해 돌려준다.
- 결과: test set에서 GPT-5의 평균 Planning Score는 Naïve 62.0, 0-shot 63.0, 1-shot 63.2, ReAct 61.9로 네 방식 모두에서 가장 높았고, GPT-5와 GPT-5-mini는 다른 모델에 대한 쌍별 승률이 90%를 넘었다. ReAct의 효과는 모델마다 달라 GPT-4.1은 1-shot 40.8, ReAct 47.4였고 GPT-5는 1-shot 63.2, ReAct 61.9였으며, 저자들은 모델이 검색 결과의 관련 없는 내용을 계획에 넣는 경우가 있었다고 보고했다. 부록의 ICML 2026 논문 100편 benchmark에서는 단독 GPT-5.5가 62.0, Codex harness와 논문 검색 MCP(Model Context Protocol) tool을 쓴 GPT-5.5가 75.1이었고, 표 28의 upper bound(원 논문을 보고 쓴 계획의 점수)는 85.8이었다.
- 한계: 계획 양식은 AI 논문 관례를 따르고 일정, 운영 계획, 사람 전문성처럼 LLM이 정하기 어려운 요소는 뺐으며, Nature Mental Health benchmark는 양식을 네 section으로 줄였다. rubric은 핵심 요소를 다뤘는지를 재므로 긴 출력이 유리할 수 있고, 출력을 길게 쓰게 하자 GPT-4.1과 o4-mini의 점수가 올랐다. judge 후보 모델은 모두 false negative보다 false positive가 많은 관대한 편향을 보였고, 참고 계획과 rubric의 사람 확인은 전문가 8명이 각자 고른 논문 8편에서 했다(section 평균 4.0 이상, 5점 척도).
- 1320Research Agents
Foundation Models for Scientific Discovery: From Paradigm Enhancement to Paradigm Transition
- 문제: 저자들은 창발 현상, 열린 문제, 환원하기 어려운 복잡성을 다루는 과학이 늘면서 실험, 이론, 계산, 데이터 중심의 기존 네 paradigm의 한계가 더 뚜렷해졌다고 본다. 신약과 소재 설계에서는 후보 공간이 조합적으로 폭증해 전수 탐색이 불가능하고, 실험과 관측 데이터가 쌓이는 속도가 통합 이론을 세우는 능력을 앞질렀다고 지적한다. 그래서 FM이 기존 방법론을 돕는 데 그치는지, 과학을 하는 방식 자체를 바꾸는지를 묻는다.
- 주장: 이 논문은 개념 framework, 체계적 검토와 분류, 연구 의제를 기여로 내세우는 position 논문이다. 저자들은 FM이 과학 과정의 일부를 개선하는 데서 나아가 과학이 작동하는 paradigm 자체를 바꾸기 시작했다는 입장을 밝히고, 자율 단계가 실현되면 열리는 상태를 다섯 번째 과학 paradigm이라고 부른다. 반대 입장으로는 FM을 기존 방법론을 키우는 강력하지만 관습적인 도구로 보는 시각을 함께 소개한다.
- 분류: 1단계 Meta-Scientific Integration에서 FM은 사람이 정한 목표 안에서 데이터 전처리, 문헌 검색, 방법 맞추기 같은 절차를 자동화하는 backend 도구이고 자율성은 낮다. 2단계 Hybrid Human-AI Co-Creation에서 FM은 연구 질문, 가설, 실험 계획에 참여하는 협업자이지만 그 행동은 여전히 사람이 시작하고 제한하고 검증하며, 자율성은 중간이다. 3단계 Autonomous Scientific Discovery에서 FM은 질문 제기부터 실험이나 simulation 실행, 결과 해석까지 사람 감독이 최소한이거나 없는 상태로 수행하는 독립 agent이고, 저자들은 이 단계를 앞으로의 모습으로 그린다.
- 검토: 4절은 1단계와 2단계 초기 신호에 해당하는 사례를 네 paradigm별로 정리하는데, 실험 중심에서는 Bayesian optimization의 prior나 feature extractor로 쓰는 FM과 장비 제어용 Python script 생성을, 이론 중심에서는 knowledge graph로 이끄는 가설 생성과, LLM과 symbolic solver를 feedback loop로 잇는 Logic-LM, 증명 작성과 검증을 돕는 LeanCopilot 같은 형식 추론을 든다. 계산 중심에서는 그림이나 글을 방정식 골격으로 바꾸는 LLM-SR, FunSearch, Neural Operator, GraphCast를, 데이터 중심에서는 AlphaFold 2, ESMFold, MatterGen을, paradigm을 넘는 통합 사례로는 연구 목표를 기계가 실행할 protocol로 바꾸고 로봇 합성을 제어하는 Coscientist를 든다. 공식 저장소 README는 paradigm별 논문 목록과 함께 OpenAI Deep Research와 ChatGPT로 만든 주제 탐색, 문헌 조사, 문제 다듬기, 방법 설계, 실험 코드 예시 문서를 담고 있다.
- 위험과 방향: 저자들은 FM이 도구에서 자율 agent로 갈수록 커지는 위험으로 학습 데이터에서 온 편향과 인식적 공정성, 검증을 거치기 전의 그럴듯한 주장을 만드는 hallucination, 불투명한 의사결정에서 오는 재현성과 투명성 문제, 저자권과 책임과 연구 윤리의 네 가지를 든다. 대응책으로는 더 다양한 학습 데이터와 공정성 평가, symbolic logic 검사와 simulation 검증, human-in-the-loop 검토와 출처 추적, 추론 단계 기록과 model checkpoint 버전 관리, AI 기여의 투명한 공개를 요구하는 관리 체계를 제안한다. 앞으로의 방향으로는 실험실 로봇과 장비, digital twin 안에서 일하는 embodied scientific agent, 가설부터 실험과 분석까지 FM이 계속 이어서 하는 closed-loop 자율성, 지식을 계속 쌓고 고치는 continual learning의 세 가지를 든다.
- 한계: 주장의 근거는 개념 framework와 기존 연구 검토이고, 저자들은 이 전환이 아직 초기 단계이며 자율 발견 단계는 형성 단계에 있다고 밝혔다. 또 지금 FM 활용 대부분이 정해진 prompt, 미리 정한 task, 고정된 schema에 묶여 있고 지속 memory, 적응형 feedback, 물리적 embodiment가 대개 부족해, 기여가 대체로 반응적이고 연구 과정의 일부 단계에 그친다고 적었다. embodied agent의 고수준 계획과 저수준 제어 연결, closed loop의 noise와 목표 변화에 대한 견고성, continual learning의 이질적 task 사이 전이도 남은 과제로 든다.
- 1319Research Agents
The More You Automate, the Less You See: Hidden Pitfalls of AI Scientist Systems
- 문제: AI scientist 시스템은 가설 생성부터 실험, 논문 작성까지 자동으로 수행하는데, 저자들은 그 내부 workflow를 가까이 들여다본 연구가 부족해 연구 결과의 무결성과 신뢰성을 해치는 결함이 끼어들 위험이 있다고 본다. 진단도 까다로워서, 기존 dataset이나 과제를 쓰면 웹 규모 사전 학습 때문에 데이터 오염을 거의 피할 수 없고, 실패 유형마다 다른 요인을 통제해 그 실패 하나를 떼어 볼 실험 조건이 필요하다.
- 입력과 출력: 공개 AI scientist 시스템 두 개에 SPR 과제 설명, local dataset, 불러오기 script를 넣어 실행하고, 시스템이 고른 benchmark, 보고한 정확도, 고른 지표, reward 함수가 고른 후보를 기록해 실패가 있는지 판정한다. 따로 만든 LLM 기반 classifier는 과제 설명, 최종 논문, 생성 코드, 실행 log, 실패 유형별 탐지 규칙을 받아 실패가 있는지 Yes나 No로 답하고 설명을 붙인다. 논문 종류는 기존 시스템을 통제 실험으로 진단한 실증 연구이고, 진단 과제와 탐지 방법을 함께 제안한다.
- 방법: SPR은 도형 4종과 색 4종으로 만든 기호 열이 도형 개수, 위치별 색, 짝수와 홀수, 순서에 관한 숨은 조건 k개를 모두 만족하는지에 따라 accept나 reject로 나뉘는 합성 분류 과제다. benchmark 선택 실험은 숨은 규칙 복잡도, 기호 수, 열 길이 가운데 하나씩 올려 난도 순서를 엄격히 정한 SPR dataset 20개를 무작위 다섯 글자 이름과 무작위 순서로 주고 4개를 고르게 하며, 데이터 유출 실험은 label을 20%나 30% 뒤집고 이론 상한(1에서 noise 수준을 뺀 값)을 크게 넘는 test 정확도를 유출 신호로 본다. 지표 실험은 SWA(Shape-Weighted Accuracy)와 CWA(Color-Weighted Accuracy) 가운데 한쪽만 test에서 낮아지게 noise를 넣고, 사후 선택 실험은 log에서 뽑은 후보 다섯 개의 test 성능만 뒤집어 reward 함수가 고르는 후보가 바뀌는지 본다.
- 구현: 두 시스템은 기본 LLM API 설정으로 돌렸고, The AI Scientist v2의 코드 model만 Claude 3.5 Sonnet이 2025년 8월 13일 지원 종료돼 OpenAI O3-mini로 바꿨다. benchmark 선택은 Agent Laboratory를 데이터 준비 단계에서 멈추게 해 SOTA(state of the art, 기존 최고 성능) 수치를 줄 때와 뺄 때 각 1,000번 돌리고 The AI Scientist v2로는 실험 없이 아이디어를 각 1,000개 만들어 쟀으며, 사후 선택은 연구 프로젝트 20개를 10번씩 돌린 조건별 200번 시행으로 쟀다. 감사 classifier는 gemini-2.5-flash-preview-05-20을 썼고 실패 유형 다섯 개마다 양성과 음성이 반씩인 사례 20개로 평가했으며, 공식 저장소 README 기준으로 두 시스템이 만든 연구 결과, SPR 과제 설명과 dataset, 탐지 script(detect_pitfalls.py)가 공개됐다.
- 결과: benchmark 선택에서 Agent Laboratory는 SOTA 수치를 줬을 때 명시적으로 고른 945번 가운데 82.4%, 뺐을 때 927번 가운데 79.6%가 목록의 처음 네 개를 골라 난도 대신 목록 위치를 따랐고, The AI Scientist v2는 SOTA 수치를 주면 고른 benchmark 가운데 쉬운 난도의 비율이 47.1%(빼면 18.0%)였다. test 데이터를 엿본 사례는 없었지만 Agent Laboratory는 데이터 일부(16번째 run)나 합성 dataset(11번째 run)을 쓰고 논문에서 그 사실을 빠뜨렸고, The AI Scientist v2는 3, 7, 8, 11, 13번 run에서 dataset을 줄이거나 합성해 일부 test 정확도가 주어진 SOTA 수치를 넘었으며, SWA를 먼저 적은 prompt에서 Agent Laboratory는 20번 모두 평가 지표로 SWA만 골랐다. test 성능을 뒤집으면 train과 validation 성능 1위 후보를 고르는 비율이 Agent Laboratory는 78.5%에서 43.5%로, The AI Scientist v2는 82.0%에서 31.5%로 떨어졌고, LLM 감사의 전체 정확도는 논문만 볼 때 55.0%(F1 0.51)에서 log와 코드를 함께 볼 때 82.0%(F1 0.81)로 올랐다.
- 한계: 저자들은 실패 유형 네 가지에 집중해 다른 과학적 부정행위나 시스템 실패를 다 다루지 못했고, AI scientist가 LLM 심사를 속이는 reward hacking은 이번 연구 범위 밖에 두었다고 밝혔다. 탐지 기법은 주로 통제된 실험 설정과 관찰 가능한 행동에 기대므로 더 미묘하거나 적대적인 오용, log에 흔적이 없는 결함으로는 일반화가 어려울 수 있고, 평가한 시스템이 두 개라 다른 시스템과 ML 밖 분야로 넓혀 해석할 때 조심해야 한다. 탐지 평가는 실패 유형마다 사례 20개였고, 실제 실행에서 드물거나 없던 실패의 양성 사례는 workflow에 통제된 변형을 넣어 만들었으며, 데이터 유출은 test 표본을 학습 set에 합치는 방식으로 심었다.
- 1318Information Retrieval
MIR: Methodology Inspiration Retrieval for Scientific Research Problems
- 문제: seed 논문(아이디어 생성의 출발점인 논문)의 초록으로 문헌을 찾는 기존 아이디어 생성 방법에서는 초록에 든 방법론과 결과가 검색을 seed 논문 쪽으로 치우치게 해 아이디어의 novelty를 줄일 수 있다. 흔히 쓰는 retriever와 검색 API는 문장 의미 유사도나 일반적인 문서 관계에 기대어, 'model compression' 문제에 'sentence compression' 논문을 가져오듯 낱말만 겹치는 논문을 찾을 수 있다. seed 논문의 인용 논문을 쓸 수 있다고 가정한 연구도 있어, 저자들은 연구 문제와 동기만 query로 주는 실제 상황을 목표로 잡았다.
- 입력과 출력: 이 논문은 새 task와 dataset을 정의하고 retriever 학습 방법과 LLM re-ranking 방법을 낸 method 논문이다. 입력은 방법론 언급을 뺀 연구 제안(연구 문제와 동기)이고, 출력은 후보 논문 집합에서 해법을 만드는 데 쓸모 있는 순서로 고른 상위 k개 논문이며, 추론 때 retriever는 인용 정보 없이 제안 하나만 받는다. dataset MIR-MultiCite는 인용 문맥 12,653개에 인용 의도 8종을 단 전산언어학 dataset MultiCite를 넓혀 만들었고, 제안을 시간 순으로 2019년 전 704개는 training, 2019년 1월에서 6월 86개는 dev, 그 뒤 139개는 test로 나눴다.
- 방법: MAG는 연구 제안을 node로, 인용 논문을 이웃으로 두고 edge에 인용 의도와 인용 문맥을 달며, uses와 extends 의도를 방법론 인용으로 본다. retriever는 제안과 방법론 인용 논문, 방법론 인용 문맥과 제안, 그 인용 문맥과 인용 논문을 각각 가깝게 하는 triplet 세 개를 한 batch에 넣고 L2 거리 triplet margin loss의 합으로 학습하며, 첫째 triplet의 hard negative는 제안의 인용 목록 밖에서 과학 개체명으로 잰 domain 유사도가 가장 높은 논문이고, 이를 무작위 soft negative와 비율 α로 섞는다. LLM re-ranking은 상위 k개를 하나씩 관련 있음과 없음으로 판정하는 Pointwise, 그리고 제안의 하위 문제와 일반 실행 계획을 먼저 쓰고 논문마다 적용 가능성을 분석한 뒤 판정하는 MIR-Agent이며, 관련 있다고 판정한 논문을 원래 순서대로 앞에 둔다.
- 구현: 연구 제안은 Gemini-1.5-pro-001로 인용하는 쪽 논문의 초록에서 뽑았고, training data에는 arXiv 전산언어학 논문 약 60k편에서 SciBERT(과학 논문으로 사전 학습한 언어 모델) 기반 인용 의도 분류기로 weak label(분류기가 자동으로 단 label)을 붙인 제안 51,021개 가운데 일부를 더했다. retriever는 NVIDIA V100 GPU(32GB) 한 장에서 SPECTER2(citation 관계로 학습한 과학 논문 embedding 모델), Stella 400M, Stella 1.5B를 fine-tuning했고 Stella 1.5B에는 LoRA(Low-Rank Adaptation, 원래 가중치는 두고 작은 low-rank 행렬을 더해 학습하는 fine-tuning 방법)를 썼으며, re-ranking에는 Llama 3.1 70B Instruct와 Gemini 1.5 Pro를 썼다. 공식 저장소(Anikethh/Methodology-Inspiration-Retrieval)의 README는 이 저장소가 논문에 쓴 dataset(연구 제안, 인용 논문, 인용 문맥, 인용 의도와 training, dev, test, 2024년 중반까지 넓힌 augmented training split)을 담는다고 밝히고, 맨 위 목록에는 data와 assets 폴더가 있다.
- 결과: MIR-MultiCite test set에서 Stella 1.5B를 fine-tuning하자 Extended Corpus(training set 인용 논문 전부와 test 제안의 ground truth 인용 논문을 합친 후보 집합)의 Recall@3은 54.73에서 60.11로, mAP는 49.08에서 56.89로 올랐다. Restricted Corpus에서 fine-tuning한 Stella 1.5B의 상위 10개를 Gemini 1.5 Pro의 few-shot MIR-Agent로 다시 매기자 Recall@3은 66.95에서 71.45로, mAP는 64.24에서 69.02로 올랐고, 상위 논문의 full text를 구할 수 있는 test 제안 75개에서는 full text를 넣은 같은 설정이 Recall@3을 66.84에서 72.49로 올렸다. LLM이 제안마다 만든 방법론 아이디어 5개 가운데 원 논문 초록의 방법론과 맞는 비율을 평균한 IA-Score는 MIR로 찾은 초록을 붙였을 때 0.170, 가장 좋은 baseline retriever의 초록을 붙였을 때 0.142였다.
- 한계: dataset은 전산언어학 분야의 영어 논문에 한정되고, retriever는 인용 논문의 초록으로 학습하며 full text는 상위 k개 re-ranking에 쓴다. 저자들은 MultiCite의 원래 사람 annotation이 방법론 인용을 가끔 빠뜨리거나 사소한 인용(예: GPT-4 사용)을 넣은 한계를 밝혔다. 가장 좋은 설정(full text를 넣은 MIR-Agent)에서 Recall@5가 낮은 제안 15개(관련 논문 39편)를 분석하니 annotation이 틀리거나 빠진 경우 17건, 저자가 다른 연구 방향을 택한 주관성 사례 7건, pipeline의 잘못된 판정 15건이었다.
- 1316Research Agents
Optimizing the Optimizer: Language Models Discover Faster Molecular Relaxation Algorithms
- 문제: DFT 수준의 분자 구조 최적화에서는 한 step마다 힘(gradient) 계산이 한 번 들고, 이 계산이 실행 시간을 거의 다 차지해 step 수가 곧 비용이다. LLM agent에게 optimizer 코드를 고치게 하려면 DFT로 후보 수백 개를 평가하기에는 너무 비싸고, 후보가 처음 보는 분자에서도 통해야 하며, 일찍 멈춰 힘 계산을 줄이는 편법을 막아야 한다.
- 입력과 출력: agent는 Sella 2.5.0 코드를 한 파일(algo.py, 주석과 빈 줄 포함 5975줄)로 합친 시작 프로그램, training과 validation 분자 세트, 원격 evaluator를 받아 algo.py만 고치고, 결과로 더 적은 힘 계산으로 같은 수렴 기준에 닿는 optimizer AutoSella를 낸다. optimizer 자체는 분자 하나와 force evaluator를 받아 다섯 가지 수렴 조건을 모두 만족할 때까지 구조를 고치며(힘 계산 상한 200번, Solvated PubChem은 500번), 분자 세트는 약물 유사 분자와 그 주변 생체분자, 용매를 다룬다. 논문 종류는 gate를 단 autoresearch loop로 새 최적화 알고리즘을 찾고 공개해 검증한 방법 논문이다.
- 방법: 매 cycle에서 agent는 cycle record, narrative log, 이미 버린 방식을 읽고 algo.py에 일관된 수정 하나를 넣어 commit하며, 평가 뒤에는 분자별 상대 힘 계산 수, 상대 에너지, 최종 에너지 차이, 수렴 상태 표를 받는다. validity gate는 training에서 평가 오류가 있거나 평균 에너지 회복이 Sella보다 낮거나 비용 감소가 threshold(δ)보다 작은 후보를 버리고, generalization gate는 validation에서도 평가 오류 없이 평균 에너지 회복을 유지하며 비용이 줄 때만 새 champion(현재까지 가장 좋은 프로그램)으로 받는다. 탐색은 값싼 GFN2-xTB로만 하고, agent가 고칠 수 있는 파일은 algo.py 하나뿐이며 evaluator, 수렴 기준, 분자 세트 수정과 분자별 특수 처리는 금지된다.
- 구현: Claude Code가 Claude Fable 5.1(max)을, Codex가 GPT-6 Astra(high)를 몰아 각각 실제 연구 시간 66시간씩 독립 실행해 AutoSella-F와 AutoSella-A를 얻었고, 원격 evaluator는 Redis queue와 Intel Xeon Gold 6348 CPU host 4대의 single-thread worker 192개로 실험에 따라 후보 하나를 평균 약 60에서 90초에 평가했다. training 469개 구조는 SPICE(약물 유사 분자와 peptide를 모은 dataset) 2.0.1의 PubChem 분자 225개와 DES370K(비공유 결합 상호작용용 dimer dataset) dimer 219개에 RowanSci optimizer benchmark의 등록 약물 25개를 더해 만들었고, validation 465개 구조는 SPICE 2.0.1에서 골랐다. 공식 GitHub 저장소 README 기준으로 main branch에는 고정된 세 optimizer(AutoSella-F, A, G), Sella 2.5.0 reference wrapper, 분자 준비 pipeline, 예제가 있고, autoresearch harness와 모델별 실행 기록, xTB와 DFT 평가는 별도 branch에 있다.
- 결과: GFN2-xTB의 네 held-out 세트에서 AutoSella-F는 분자당 평균 힘 계산을 Sella의 39.86%에서 73.25% 수준으로 줄이면서 평균 에너지 회복은 네 세트 모두 Sella보다 높았고, AutoSella-A는 앞의 세 세트에서 78.14%에서 92.57%였지만 Solvated PubChem에서는 118.77%로 늘고 평균 에너지 회복도 낮았다. 평가에만 쓴 r2SCAN-3c DFT에서 AutoSella-F는 Sella보다 분자당 약 23%에서 60% 적은 힘 계산을 쓰면서 평균 에너지 회복이 더 높았고, Solvated PubChem에서는 분자당 평균으로 Sella 힘 계산의 40.24%를 쓰면서 평균 에너지 회복이 1.27% 더 높았다. 66시간 동안 Fable은 평가한 후보 108개 가운데 37개를, Astra는 672개 가운데 29개를 받아들였고, 부록의 Grok 4.6 실행이 만든 AutoSella-G는 training 비용을 97.79%까지 줄였다.
- 한계: 두 gate는 평균 에너지 회복, 힘 계산 비용, 평가 오류로 판정하고, 부록 E에서 GFN2-xTB로 따로 비교한 구조에서 AutoSella-F가 Sella와 같은 local minimum에 닿은 비율은 Test 97.2%, Dipeptides 93.2%, 아미노산과 ligand 쌍 39.8%, Solvated PubChem 1.0%였다. 저자들은 다른 끝점이 평균적으로 Sella보다 낮은 에너지에 있다고 밝혔지만, GFN2-xTB에서 AutoSella-F는 아미노산과 ligand 쌍의 18.74%, Solvated PubChem의 38.00%에서 Sella보다 1.0 kcal/mol 넘게 높은 에너지로 끝났다. AutoSella-A는 Solvated PubChem에서 DFT로도 Sella 힘 계산의 109.06%를 쓰고 평균 에너지 회복이 낮았으며, Grok 4.6의 AutoSella-G는 분자 사이 상호작용 세트에서 크게 나빠 DFT 평가에서 빠졌다.
- 1315Research Agents
Position: AI Agents in Scientific Teams Should Be Studied as Human-Agent Systems
- 문제: LLM 기반 agent가 과학 연구의 협력자로 들어오고 있지만, AI Scientist 연구 대부분은 agent의 autonomy를 키우는 데 집중하고 사람의 참여는 목표 설정과 결과 검증 정도로 좁게 다룬다. 저자들은 이 흐름이 과학 팀워크의 사회적 측면을 놓치고, 이 분야 문헌이 실제 연구 현장의 사회기술적 현실과 대체로 떨어져 있다고 본다.
- 주장: 이 논문은 position 논문으로, AI Scientist를 사람과 agent의 짝을 분석 단위로 삼는 human-agent system(HAS)으로 연구하는 일이 아직 덜 탐구되고 저평가돼 있으며, human-AI synergy를 이해하려면 HAS 관점의 새 연구가 필요하다고 주장한다. 저자들은 HAS 관점이 단기 위험을 더 잘 이해하고 줄이는 데 도움이 될 수 있다고 보며, AI 학회 NeurIPS 2025에 채택된 논문 51편에서 확인된 hallucination 인용 100건과, LLM과 AI Scientist가 만든 논문의 36%에서 눈에 띄는 표절을 찾은 전문가 검토를 근거로 든다. AI를 쓴 연구가 논문을 세 배 많이 내면서 다루는 주제의 다양성은 5% 줄었다는 연구도 인용한다.
- 분류: 저자들은 AI Scientist 시스템을 사람 피드백이 들어오는 주 경로에 따라 결과물 단계(artifact-level), 연구 단계(discovery-phase-level), 연구 계획(research-plan-level), 비동기 조정과 중단(asynchronous steering) 네 가지로 나누고, Zou 등의 분류로 피드백 종류(평가, 안내, 수정), 세밀도, 시점을 매긴다. 검토 결과 대부분의 시스템이 사람에게 범위 설정, 감사, 승인 같은 감독 역할을 주었고, 결과물 단계 피드백이 가장 많았으며, 유연한 비동기 상호작용을 지원하는 시스템은 몇 개뿐이었다.
- 근거: AstaBench의 ReAct(추론과 행동을 번갈아 하는 agent 방식) agent harness와 GPT-5-mini로 End-to-End Discovery(E2E) 개발 과제 10개를 실행한 예비 실험에서, ask user tool과 피드백 분류를 prompt에 넣어도 agent의 질문은 1번이었고 E2E 점수는 0.39에서 0.36이 됐다. 매 단계 질문을 강제하면 질문이 92번으로 늘었고, LLM judge 세 개로 분류한 평균에서 평가형이 0.71, 수정 요청형이 0.04였으며 E2E 점수는 0.24였다. 이 실험에서 질문에는 사람 대신 AstaBench 기본값인 자동 이어가기 prompt가 답했다.
- 사례와 제안: 공개된 사례에서 Gemini 3 Pro는 첫 prompt로 계획(plan.md)과 원고 초안(paper.tex)을 만든 뒤 여덟 번의 prompt 동안 증명과 설명을 늘렸고, 전문가는 빠진 선행 연구를 짚고 lemma의 잘못된 가정을 고쳤다. 다른 사례에서 GPT-5는 열핵 연소 축약 물리 모델의 PDE(편미분방정식)와 수치 계산 workflow를 만들었고, 전문가는 조건 값을 손으로 맞추고 출력이 아직 noise인지 가려냈다. 저자들은 팀 효용을 협업 이득 CA(팀이 가장 나은 구성원보다 얼마나 나은지)에서 협업 비용 CD(소통과 조정 부담)를 뺀 값으로 두는 toy model을 제안한다.
- 한계: 예비 실험은 개발 과제 10개에서 질문에 자동 prompt가 답하는 조건이었고, 저자들은 과제마다 아이디어에서 보고서까지 가는 무거운 workflow라서 넓이보다 깊이를 잰 결과라고 설명한다. 사례 연구는 공개된 기록 두 건을 정성적으로 분석한 것이고, toy model과 Review Time, Intervention Density, Simulated Oracle Synergy 같은 대리 지표는 앞으로의 연구 방향으로 제안된다. 저자들은 평가 비용까지 따지면 HAS 관점의 실익이 작을 수 있다는 반대 견해를 다루며, HAS를 사람 혼자, agent 혼자와 견주는 centaur 평가가 지금은 비싸고 재현하기 어렵다고 인정한다.
- 1314Research Agents
Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops
- 문제: AI 시스템은 출력 수정, harness 변경, 자기 생성 데이터 학습, AI 연구 수행까지 스스로의 개선에 점점 더 많이 참여하는데, 문헌은 self-refine, self-reward, self-play, self-evolve 같은 말로 서로 다른 목표를 섞어 부른다. 저자들은 기존 survey가 on-policy distillation이나 tree search와 reward 결합처럼 한 조각씩 다루고, 저자들이 아는 한 bounded self-refinement부터 open-ended RSI까지 네 범주를 함께 다룬 survey는 없다고 보았다.
- 조사 범위: 이 논문은 문헌을 모아 분류한 survey다. 2024년부터 2026년까지의 arXiv 논문 1,250편을 모았고, 일곱 주제(thread)에서 모은 seed 871편에 self-evaluation, test-time training, zero-data self-play를 겨냥한 보충 379편을 더했다. README에 따르면 공식 GitHub 저장소 deepgrounding/recursive-self-improvement에는 분류 결과가 붙은 corpus_v2.csv, seed 수집 snapshot, 재분류와 보충 수집과 참고문헌과 그림 생성 script, 원고 원본(main.md, arXiv v1과 같은 원고)이 있다.
- 분류: 첫 번째 기준은 무엇을 개선하는지로, deployment-time self-evolution 393편, training-time self-iteration 340편, self-evaluation 318편, Auto Research 139편에 기초 이론과 한계와 안전 60편을 더했다. 두 번째 기준은 loop를 누가 검증하는지로, human-in-the-loop, human-on-the-loop, closed loop의 세 단계를 둔다. 저자들은 1,250편 거의 전부가 사람이 결과를 감사하는 human-on-the-loop의 bounded self-refinement를 다룬다고 보고했다.
- 주장: 저자들은 개선 신호를 formal verifier(증명 검사기, type system), 실행 피드백(test, compiler, benchmark), 학습된 judge(reward model, LLM-as-judge), 내재 신호(confidence, self-consistency, likelihood)의 검증 계층으로 줄 세우고, corpus 전체에서 본 정성적 경향으로 확인된 자기 개선의 강도가 이 계층을 따른다고 보았다. 실패 유형은 self-confirming loop, collapse, diversity collapse, frame lock-in(낡은 목표를 계속 최적화하는 상태) 네 가지로 정리했다. 기초 이론과 안전 범주는 1,250편 가운데 60편으로 다섯 범주 중 가장 작았고, 저자들은 governance에 쓸 수 있는 자기 개선 측정을 이 survey가 찾은 가장 비어 있는 연구 영역으로 보았다.
- 근거: 저자들이 인용한 Mirror Loop 연구에서는 세 provider의 모델이 네 과제군에서 외부 검증 없는 self-critique를 열 번 반복하는 동안 정보 변화가 55% 줄었고, 세 번째 iteration에 검증 한 번을 넣자 진전이 되살아났다. 인용된 SkillsBench 결과에서는 사람이 쓴 skill이 pass rate를 16.2 point 올렸고, LLM이 쓴 skill은 측정할 만한 향상이 없었다. 인용된 A-Evolve-Training은 사람이 정한 목표와 탐색 공간 안에서 30B 모델의 post-training loop 전체를 네 round 동안 사람 개입 없이 돌려, 공개 leaderboard에서 최고 사람 제출 0.87에 가까운 0.86을 얻었다.
- 한계: 저자들은 corpus를 최근 논문 쪽으로 기운 표본으로 규정했고, 논문의 74%가 2026년에 올라와 인용 수가 거의 0이라 영향력으로 읽을 수 없다고 밝혔다. 보충 논문 379편 가운데 약 54편은 주제 밖 검색 결과로 corpus 숫자에 남아 있고, 분류와 수정은 annotator 한 명의 판단이다. frontier lab 안의 산업 RSI 실무는 lab이 공개한 내용으로만 볼 수 있다고 적었다.
- 1313Research Agents
Notes2Skills: From Lab Notebooks to Certainty-Aware Scientific Agent Skills
- 문제: 기존 절차 추출 연구는 레시피나 실험 protocol처럼 지시가 확정된 글을 입력으로 가정했지만, 실험 노트에서는 확인된 관찰, 불확실한 판단, 다음 실험 제안이 자주 한 문단에 함께 나온다. 저자들은 이 구분이 사라지면 저자가 단서를 단 문장이 충분한 허가와 근거 없이 더 강한 처리 결정으로 바뀌어 데이터를 버릴 수도 있는 uncertainty laundering과, 확정 지시가 빠지거나 의견 하나로 약해져 해야 할 처리를 놓치는 directive loss가 생긴다고 보았다.
- 입력과 출력: 이 논문은 두 단계 framework를 제안하고 직접 만든 annotation corpus와 실제 nanopore 실험 기록으로 평가한 framework 논문이다. 입력은 실험 노트의 문장 조각(segment)이고, Stage 1 지시 추출(EDE, Epistemic Directive Extraction)은 조각마다 지시 여부, 다섯 가지 지시 유형, 저자 certainty label을 JSON으로 내며, label은 단서 없는 단언(FACT), 불확실하거나 잠정적인 판단(JUDGMENT), 선택적 제안(SUGGESTION) 가운데 하나다. Stage 2는 지시마다 원문 발췌와 certainty label을 붙인 Markdown skill 문서(MetaSkill)를 만들고, 이를 읽은 agent는 측정 파일마다 KEEP_FULL(전체 유지), FLAG_FOR_REVIEW(검토 표시 후 유지), RAISE_THRESHOLD(event 검출 threshold 상향), TRUNCATE_AT(지정 시점에서 자르기), SKIP_FILE(분석에서 제외) 가운데 하나를 고른다.
- 방법: Stage 1은 LLM prompt로 지시와 certainty label을 뽑고, Stage 2는 LLM 없는 결정론적 compiler가 지시마다 capsule 하나를 만들며 지시 보존, label 불변, 원문 일치, schema 유효성 네 가지를 검사한다. 실행 단계에서는 Layer 1이 측정 신호를 SignalFindings 요약으로 바꾸고, Layer 2의 Claude Sonnet 4.5 agent가 처리 결정을 제안하며, verify 설정의 Layer 3 executor는 capsule의 허가 경로와 신호 증거가 함께 뒷받침할 때만 TRUNCATE_AT, RAISE_THRESHOLD, SKIP_FILE 같은 강한 결정을 통과시키고 뒷받침이 부족하면 행동별 fallback(대개 FLAG_FOR_REVIEW)으로 바꾼다. elevate 설정은 저장된 truncation 후보 가운데 정확히 하나의 timestamp가 보정된 step drop과 맞을 때만 신중한 제안을 TRUNCATE_AT으로 바꾼다.
- 구현: annotation corpus는 두 기관의 선임 연구자 두 명이 낸 중국어와 영어가 섞인 nanopore 실험 노트 FreeNotes 201개, openlabnotebooks.org의 공개 실험 노트 ONS(Open Notebook Science) 155개, 공개 protocol corpus의 WLP(Wet Lab Protocols) 105개로 모두 461개 조각이며, Stage 1은 GPT-4o, Claude Sonnet 4.5, Qwen-Max를 temperature 0의 zero-shot과 few-shot으로 87개 조각 test set에서 비교했다. 실행 평가는 FreeNotes 세 세션의 nanopore 파일 48개(Saturation-A 17개, Saturation-B 22개, Step-drop 9개)에서 일곱 구성을 비교했고, 구성과 파일마다 API를 다섯 번 불러 다수결로 정했다. 저자들은 compiler와 executor 코드, 평가 script, 고정된 결정 기록을 담은 artifact를 공개한다고 적었지만 원문에 저장소 주소는 없고, 원본 ABF(Axon Binary Format) 전류 기록 파일은 data-sharing 계약에 따라 재배포 대상에서 빠진다고 밝혔다.
- 결과: Stage 1에서 Claude Sonnet 4.5 few-shot은 지시 탐지 F1 0.737로 가장 강한 zero-shot 설정의 0.682보다 높았고, Stage 2 compiler는 고정 입력 지시 149개를 모두 보존해 네 가지 검사를 통과했다. nanopore 파일 48개 평가에서 외부 LLM과 Action-only baseline은 saturation 세션의 review recall이 0에서 21.4%에 그쳤고, 전체 구성(verify+elevate)은 Saturation-A와 Saturation-B에서 review recall 85.7%와 100%, balanced accuracy 96.4%와 100%를 냈다. FACT 위주 Step-drop 세션에서는 전체 구성의 정확도가 77.8%로 Action-only의 88.9%보다 낮았다.
- 한계: 저자들은 실행 평가가 nanopore 세션 세 개와 downstream 모델 하나에 한정되고, domain adapter도 nanopore 하나만 만들어 평가했다고 밝혔다. 주 비교는 사람이 확정한 EDE 입력을 썼고, Claude Sonnet 4.5 few-shot이 뽑은 입력으로 바꾸면 지시 precision이 Saturation-B 34.8%, Step-drop 47.9%로 떨어지고 κ(Cohen's kappa, 우연 일치를 뺀 일치도)가 -0.07과 -0.03으로 우연 수준 아래가 되었다. executor를 켠 비교는 Layer 2 policy 문구도 함께 바꾸므로, executor만의 효과를 따로 보려면 policy를 맞춘 추가 실험이 필요하다고 저자들이 적었다.
- 1312Research Agents
Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design
- 문제: 지금 LLM은 대부분 attention과 MLP를 1:1로 번갈아 쌓은 Transformer이고, Mamba 같은 다른 primitive를 섞은 hybrid 구조로 가면 설계 공간이 크고 조합적으로 늘어난다. 저자들은 손으로만 탐색하면 성능 좋은 비직관적 배치나 새 primitive를 놓칠 수 있다고 본다. 그래서 이 탐색을 연구 agent에게 맡기고, 이를 recursive self-improvement(agent가 자기를 움직이는 신경망 구조를 스스로 찾고 고치는 것)로 가는 한 단계로 삼는다.
- 입력과 출력: 이 논문은 AIRS-Bench(agent의 독립적인 연구 능력을 재는 task 표준) 형식의 task 12개를 만들고 그 위에서 실험한 framework 논문이다. agent는 task 설명과 데이터를 받아 AIRA-Compose에서는 primitive 16개를 이은 구조 문자열(submission.csv)을, AIRA-Design에서는 LRA용 model.py나 Autoresearch용 train.py를 낸다. 따로 떨어진 평가 script가 이 결과물을 처음부터 학습시켜 agent가 보지 못한 test split이나 고정된 validation shard로 점수를 매긴다.
- 방법: agent는 LLM과 scaffold(탐색 방식)를 합친 것이고, AIRA-dojo(tree 탐색으로 코드 해답을 발전시키는 harness) 안에서 Draft, Debug, Improve, Analyze 네 operator로 해답을 고친다. greedy scaffold는 초기 해답 5개를 만든 뒤 validation 점수가 가장 높은 해답에 Improve를 거듭한다. AIRA-Compose는 Composer(Bayesian optimization으로 hybrid 구조를 찾는 기존 framework)의 탐색과 평가 단계를 agent task로 바꾸고, 뒤의 aggregation과 extrapolation 단계에서 찾은 16층 구조를 stretching(연속된 block을 비율대로 늘림)이나 stacking(구조 전체를 되풀이해 쌓음)으로 350M, 1B, 3B 크기까지 키운다.
- 구현: agent마다 H200 GPU 1장을 주고 run 하나는 최대 24시간 또는 500 step까지 실행하며, 데이터가 큰 BabiStories와 DCLM(DataComp-LM, 언어 모델 학습 dataset) 탐색은 run마다 60시간을 준다. AIRA-Compose는 6개 LLM을 쓰고, AIRA-Design의 LRA 실험은 Opus 4.6과 Gemini 3 Pro를 포함한 12개 LLM으로 agent 20개를, Autoresearch 실험은 그 가운데 7개 LLM으로 greedy agent를 만들었다. 찾은 구조를 큰 크기로 학습할 때 350M은 H200 8장, 1B와 3B는 H200 16장을 썼다.
- 결과: MLP와 attention 두 primitive로 만든 구조를 1B 크기에서 37.5B token으로 학습한 비교에서 AIRAformer-D(Stretched)가 validation loss 2.734와 평균 0-shot(예시 없이 푼) 정확도 59.7%로 Llama 3.2와 Composer가 찾은 모델을 앞섰고, Mamba를 더한 3-primitive 비교에서는 AIRAhybrid-D(Stretched)가 seed 하나로 validation loss 2.719를 냈다. LRA에서 agent가 설계한 모델의 최고 정확도는 사람이 설계한 SOTA(state of the art, 지금까지 보고된 최고 성능)보다 document matching에서 2.3pp(퍼센트포인트, SOTA 82%), text classification에서 2.6pp(SOTA 91%) 낮았다. Autoresearch에서는 문헌을 받은 Greedy Opus 4.5가 가장 좋은 seed에서 validation BPB(bits per byte, 낮을수록 좋은 언어 모델 손실 지표) 0.968을 내, 원 Autoresearch 최고값 0.9775보다 낮았다.
- 한계: 저자들은 AIRA-Compose가 작은 proxy 평가에 기대는데 이 평가가 큰 규모 성능과 어긋날 때가 있고, aggregation과 extrapolation은 아직 agent 바깥의 정해진 절차로 남아 있다고 밝혔다. LRA에서 agent가 만든 구조는 Performer, Longformer, Conformer 같은 기존 아이디어를 대부분 다시 조합한 것이었다. Autoresearch 실험은 원 실험(H100)과 달리 H200 GPU와 인터넷이 끊긴 sandbox에서 실행됐고, 저자들은 이 차이로 같은 train.py의 시작 BPB가 원 실험의 0.998보다 높은 1.012가 됐을 수 있다고 밝혔다.
연구에서 제품 적용까지
운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.
보유기술 보기