연구자료실

설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.

연구자료 검색

새 논문 요약

요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.

  1. 1279Research Agents

    AIM: Agentic Idea Management for Automated Research

    • 문제: 자동 연구에서는 구현과 평가가 비싸서 한정된 실험 예산을 여러 접근에 나눠 써야 한다. 아이디어를 먼저 고르고 구현은 solver에 맡기는 idea-driven 탐색은 늘어나는 아이디어와 근거를 정리하는 일, 구현할 아이디어를 고르는 일, solver 코드가 고른 아이디어를 충실히 실현하게 지키는 일을 풀어야 한다. 기존 방법은 대개 UCB(점수와 덜 시도한 정도를 함께 따지는 선택 규칙)나 MCTS(Monte Carlo Tree Search, rollout을 반복해 tree에서 갈 branch를 고르는 탐색) 같은 고정 규칙이나 명시적 추정 없는 LLM 판단에 기대고, 아이디어와 어긋난 코드가 나오면 그 점수와 lesson이 엉뚱한 아이디어에 붙는다.
    • 입력과 출력: AIM은 AutoLab 과제 하나(자연어 지시, container 환경, 일부러 약하게 만든 baseline 코드, 평가 script)와 Claude Code로 과제 설명에서 만든 보충 자료(research brief)를 받는다. 실험 예산을 다 쓰면 그동안 평가한 해법 가운데 점수가 가장 높은 실행 코드를 최종 결과로 낸다. 논문 종류는 framework를 구현해 benchmark 과제 10개에서 실험하고, 아이디어 단위 탐색이 언제 유리한지 이론 분석을 덧붙인 시스템 논문이다.
    • 방법: Agentic Surrogate는 Bayesian optimization(추정 모델로 후보의 가능성을 가늠해 다음 시험 후보를 고르는 최적화)의 surrogate 역할을 본떠, 매 iteration 아이디어 pool 전체를 2개에서 5개의 의미 cluster로 다시 묶고 cluster와 아이디어의 유망도를 순위로 추정한다. Agentic Acquisition은 LLM 호출 두 번으로 branch마다 cluster 수준과 아이디어 수준의 explore(덜 시도한 쪽 탐색)와 exploit(유망한 쪽 집중)을 정해 아이디어를 병렬 Solver에 보내고, 결과에서 뽑은 lesson으로 점수 기반 개선, 교차 결합(cross-pollination), 오류 수정, 새 방향 생성의 네 방식 가운데 하나를 골라 새 아이디어를 만든다. Solution Auditor는 baseline 그대로이거나 아무 일도 안 하는 해법(trivial), 과제와 다른 문제를 푼 해법(task_mismatch), evaluator를 조작해 점수를 부풀린 해법(reward_hacking)을 기록과 lesson에서 빼고, 아이디어와 구현이 어긋난 것(idea_mismatch)만 있으면 실제 구현에 맞게 아이디어를 다시 써서 점수를 그 아이디어에 붙인다.
    • 구현: 모든 방법의 backbone LLM은 Gemini-3.1-Pro-Preview이고, 아이디어 구현은 주로 ScientistOne의 Gemini Deep Solver가 맡으며, 처음 아이디어 pool 약 10개는 ScientistOne의 Ideator가 만든다. 실험 예산은 System Optimization이 실행 최대 300번과 6시간, Model Development가 60번과 24시간, CUDA가 60번과 12시간이고, Resource Planner는 첫 iteration에 Solver branch 5개를 띄운 뒤 iteration마다 3개에서 10개 사이로 branch 수를 정한다. 원문은 전체 pipeline의 pseudocode와 LLM operator마다의 prompt template을 부록에 실었다.
    • 결과: AutoLab System Optimization 과제 다섯 개의 평균 점수는 AIM이 67.0%로, idea-driven baseline 가운데 가장 높은 ScientistOne(65.4%)보다 1.6점, solution-driven baseline 가운데 가장 높은 AdaEvolve(63.3%)보다 3.7점 높았다. Model Development와 CUDA 과제 다섯 개의 평균은 AIM이 55.8%로 ScientistOne(50.9%)보다 4.9점 높았고, 저자들은 AIM이 ScientistOne의 최고 점수에 실제 경과 시간(wall-clock) 기준 최대 3.1배 빨리 닿았다고 보고했다. Flash Attention(scaled dot-product attention을 C로 최적화하는 과제)에서 구성 요소를 하나씩 뺀 ablation은 전체 AIM의 90.5%보다 모두 낮았고, Agentic Surrogate를 뺐을 때 85.9%로 가장 크게 떨어졌다.
    • 한계: 저자들은 이론 분석의 가정(고른 아이디어를 구현이 충실히 실현한다)이 다소 이상화되었을 수 있고, 실제 solver agent는 불완전하거나 틀린 구현을 낼 수 있다고 밝혔다. AIM은 최고 점수에 닿기까지 실행 횟수가 더 많은 경향이 있고 token도 대체로 더 많이 쓰며, 데이터 선택 과제 Data Select IFEval에서는 AdaEvolve(82.7)보다 낮은 61.8을 냈다. 저자들은 격리된 container 환경과 Solution Auditor로 위험을 줄였고, 남는 위험이 있어 결과가 중요한 과학이나 공학 환경에 자율 연구 시스템을 쓰기 전에는 사람의 검토가 필요하다고 적었다.
  2. 1278Research Agents

    Dr. Claw: An AI Scientist Workspace for Vibe Research

    • 문제: 명령줄(CLI) coding agent인 Claude Code나 Gemini CLI는 파일을 읽고 쓰며 긴 세션을 이어 가지만, 연구 전체는 여전히 chat 도구, IDE(통합 개발 환경), terminal, 글쓰기 환경으로 나뉘어 진행된다. 이런 agent는 실행에 맞춰져 있어 연구 과정을 검토하게 해 주는 계획, 중간 결정, 결과물이 여기저기 남거나 사라지고, 사람이 중간에 넘겨받을 지점도 적다.
    • 입력과 출력: 연구자가 자연어로 목표, 제약, 합격 기준을 주면 시스템이 구조화된 연구 brief와 의존관계를 따진 task 계획을 만들고, 실행 결과물은 Artifact Store에, task 상태는 Task Graph에, 사람의 개입은 Decision Log와 Execution Trace에 남긴다. 논문 종류는 시스템 논문이며, 기존 명령줄 coding agent를 executor로 그대로 두고 그 위에 상태, 통제, 감사 기능을 더한 workspace다. 저자들은 사람이 연구 방향, 평가 기준, 최종 승인을 맡고 AI가 검색, 코딩, 실행, 요약, 초안 작성을 맡는 방식을 Vibe Research라고 부른다.
    • 방법: Task Graph, Artifact Store, Decision Log, Execution Trace 네 상태 객체가 workflow 상태를 이루고, 한 번의 상호작용은 현재 상태, 행동, 관찰로 다음 상태를 만드는 상태 전이로 정식화된다. 시스템은 Interaction, Orchestration, Execution 세 층으로 나뉘어 executor를 바꿔도 workflow 의미와 감사 기록이 유지되고, 각 task는 Plan, Execute, Verify, Write-back 단계를 거친다. skill은 task의 단계와 종류로 고르는 stage-skill map, 사용자 지시의 keyword 감지, 수동 호출로 task에 붙고, 모든 행동은 현재 권한 정책이 허용한 행동 집합 안에서만 실행된다.
    • 구현: 배포된 skill catalogue에는 171개가 있고, 이 가운데 58개가 다섯 연구 단계(survey, ideation, experiment, publication, promotion)에 연결된다. 새 분야로 옮길 때는 코드 대신 JSON map 하나를 고치고, backend는 Claude와 Codex SDK(software development kit) adapter로 붙으며, pipeline 변경은 영구 상태(persistent state)에 먼저 기록한 뒤 WebSocket으로 화면에 알린다. 공식 저장소 README 기준으로 React와 Vite 화면, Node.js와 Express 서버, Claude Code, Gemini CLI, Codex, OpenRouter executor 연결, Chat에서 skill로 연구 brief와 task 목록을 만들고 Research Lab에서 검토하는 흐름, task를 한 번에 차례로 실행하는 Auto Research가 공개됐다.
    • 결과: 같은 executor(codex provider, gpt-5.4)를 그대로 쓴 bare agent와 의료 과제 3개(Derm7pt의 melanoma, nevus 분류와 임상 기록 위험 baseline)에서 비교하자, 연구 모범 관행 21가지가 결과 파일에 들어간 비율인 completeness의 pooled 값이 bare agent 0.873, Dr. Claw 0.952였고(2개 승, 1개 동률), 차이는 전부 research hygiene 항목(한계 절, subgroup 분석, 실제 문헌 인용처럼 연구 보고가 갖출 기본 요소)에서 나와 pooled 통과율이 각각 0.33에서 1.00, 0.33에서 1.00, 0.00에서 0.67로 올랐다. Derm7pt 미니 프로젝트 하나에 잘못된 경로 오류를 일부러 넣은 시연에서는 기존 파일 5개를 지킨 채 정확도 0.892의 결과로 복구했다. AI 박사과정 연구자 7명의 회고 연구에서 Dr. Claw는 AI 없이 일할 때, 일반 웹과 데스크톱 AI 비서를 쓸 때와 비교해 작업 시간 구간이 짧고 결과 품질 점수가 세 조건 가운데 가장 높은 것과 연관됐으며, 사용 경험 점수 차이는 모든 쌍 비교에서 유의했다.
    • 한계: 저자들은 평가가 과제와 참가자가 적은 탐색적 pilot이라고 밝혔고, 과제마다 한 번씩 돌린 completeness 차이 +0.079의 95% bootstrap 신뢰구간 [-0.00, +0.14]가 0을 포함하며, 사람 연구도 비교 조건을 회고 보고로 모은 hybrid 설계다. executor를 고정한 비교는 task graph, 상태 객체, skill library를 한꺼번에 더한 것이라 구성요소별 효과를 가를 수 없고, 비교 대상도 최신 orchestration framework 대신 Dr. Claw가 감싼 bare executor이며, completeness는 21개 항목의 포함 여부를 세는 범위 지표라 정답성은 따로 검토해야 한다. 과제는 의료 한 분야뿐이고, Dr. Claw는 bare agent보다 느렸으며, skill 호출은 task prompt에 제안하는 단계까지 보장돼 임상 기록 과제에서는 참고문헌 점검 skill이 빠졌다.
  3. 1277Research Agents

    How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks

    • 문제: 기존 연구 agent benchmark는 가상 환경을 쓰거나, 실제 과학을 다루더라도 정답을 기계로 잴 수 있는 설정에 머물렀고 그 설정은 대부분 ML과 소프트웨어 공학 과제였다. 거의 모든 benchmark가 채점 기준을 최종 결과에 둬서, agent가 어느 단계에서 왜 무너졌는지가 점수 하나에 가려졌다. 기존 실패 진단 가운데 전문가 사례 연구는 다른 시스템과 과제로 일반화하기 어렵고, 분류 연구는 작은 표본에서 나왔으며, MAST, TRAIL, Who&When 같은 trace 수준 분석은 대화와 tool 호출 기록을 annotate해서 그 기록 밖에 남은 실패를 놓친다.
    • 입력과 출력: 이 논문은 benchmark와 실패 분류 체계를 함께 낸 연구다. agent는 발표된 논문에서 뽑은 선행 연구 요약(Premise)과 미해결 문제(Tension)만 받고, 코드 실행이 되는 sandbox에서 6단계 연구를 혼자 진행해 decision.json과 Peer Review 절을 붙인 report.md를 낸다. 평가 쪽 judge는 이 trajectory 전체를 읽고 단계별 분석 문서 analysis.md와 ARFT 패턴 label을 낸다.
    • 방법: 후보 논문 5,878편에서 실행 가능한 과제 100개를 만들었고, 70개는 목표 지표가 없는 개방형 탐구 과제, 30개는 사람이 낸 SOTA(지금까지 나온 최고 성능)나 계산 가능한 지표가 있는 최적화 과제다. ARFT는 전문가 세 명이 trajectory 전체를 읽고 귀납적으로 만든 분류로, 45개 패턴을 실패가 드러난 단계(A에서 F까지와 단계를 넘나드는 X)와 근본 원인 네 가지로 나눈다.
    • 구현: 8개 조합은 Claude Code 위의 opus-4.8, claude-sonnet-5, qwen3.7-max, glm-5.2, minimax-m3, deepseek-v4-pro와 Codex 위의 gpt-5-mini, Gemini CLI 위의 gemini-3.5-flash이고, trajectory 800개에 tool 호출 73k번, episode당 평균 92.3 step이 쌓였다. judge는 claude-opus-5를 쓰는 Claude Code agent로, 코드, 실행 로그, 최종 보고서, 데이터 파일을 직접 열어 검사한다. README 기준으로 GitHub 저장소에는 과제 생성 pipeline과 agent-as-a-judge 코드가 있고 rollout 인프라는 빠져 있으며, 원문은 과제, trajectory, annotation을 공개한다고 밝히고 data 주소로 Hugging Face dataset을 적었다.
    • 결과: 사람 전문가 label이 있는 trajectory 50개에서 agent judge의 Cohen's κ(평가 일치도 지표)는 패턴 수준 0.75, 원인 분류 수준 0.83이었고, transcript만 한 번 읽는 LLM judge는 0.53과 0.62였다. 분석 800건에서 실패 패턴 hit가 12,712건 나왔고, Grounding & Faithfulness 31.0%, Scientific Integrity & Alignment 33.5%, Cognitive Depth & Adaptability 27.6%를 합친 세 원인이 92.1%, Engineering Robustness가 7.9%였다. 가장 흔한 F.4는 800건 중 660건(82.5%)에서 나왔고, 8개 모델별 hit 합계는 opus-4.8의 1,396건에서 qwen3.7-max의 1,818건까지였다.
    • 한계: ARFT는 8개 조합이 이 과제 세트에서 남긴 trajectory에서 나왔고, 저자들은 실패 빈도 통계를 경향을 보여 주는 값으로 한정했다. 모든 run이 고정된 시간과 token 예산 안에서 실행되어 조기 종료와 얕은 검색 같은 패턴은 자원 압박과 관련됐을 수 있고, data contamination(과제의 원래 논문이 모델 학습 데이터에 섞였을 가능성)도 남는다. judge 검증은 50개 표본의 합계 값만 보고됐고, orchestration 수준의 개입으로 메타인지 결함을 메울 수 있는지는 열린 질문으로 남았다.
  4. 1276Research Agents

    Scaling Automatic Research Agents via World Models

    • 문제: AutoResearch agent를 RL로 훈련하려면 trajectory가 많이 필요하다. 생성은 batching으로 계산을 나눠 쓰지만, 풀이마다 데이터를 읽고 GPU에서 모델을 훈련하는 격리 sandbox가 따로 필요해 실행 비용은 trajectory 수에 비례해 늘고, 실행이 RL 확장의 가장 큰 병목이 된다.
    • 입력과 출력: RL 훈련 방법 논문이고 수렴 이론과 실험을 함께 담았다. AutoResearch 과제의 world model은 과제 설명과 agent의 풀이 코드를 받아 실행 결과를 예측하고, import와 이름, API 호출, 파일과 column 참조, 계산 예산 같은 여덟 가지 점검의 JSON 판정을 합쳐 점수를 낸다. 최종 출력은 post-training을 마친 agent policy이고, AutoResearch 평가는 실제 Kaggle 대회 leaderboard의 백분위로 한다.
    • 방법: 전체 group의 약 10%를 anchor group으로 정해 world model과 실제 실행으로 함께 채점하고, 이 점수 쌍을 훈련 중 유지되는 소량의 정답 신호(anchor signal)로 삼는다. Online Debiasing은 점수 쌍에 isotonic regression(입력이 커지면 출력도 커지는 단조 함수로 맞추는 회귀)을 적용해 world model 점수의 bias를 빼고, Inverse-Variance Denoising은 두 종류 group의 policy gradient를 분산의 역수로 가중해 합쳐 noise를 줄인다. 저자들은 bias와 noise가 수렴 bound에 각각 오차 항을 더하고, 두 보정이 이 두 항을 줄여 수렴 보장을 엄격히 개선한다고 증명했다.
    • 구현: AutoResearch 실험은 Qwen3.5-4B와 Qwen3.5-9B agent를 GRPO로 훈련하고, world model은 같은 backbone에 prompt만 주어 쓰며 훈련 내내 고정한다. 훈련은 MLE-Dojo 대회 45개로, 평가는 처음 보는 14개 대회와 DSBench(Kaggle 모델링 과제로 만든 data science benchmark) 60개 과제로 하고, VLA 실험은 MiniVLA-1B policy에 progress 예측 모델 Robometer를 world model로 쓴다. 공식 저장소 README에 따르면 numpy만 쓰는 방법 구현(wmrl/), MLE-Dojo와 DSBench 실험 pipeline(ml_research/), VLA 실험(embodied/), test 코드가 공개됐고, 이 공개본은 논문 실행에 쓴 production stack을 다시 구현한 코드이며 WMRL 한 가지 방법만 담는다.
    • 결과: WMRL은 real-execution GRPO보다 훈련 계산을 4B에서 883 대 286 GPU-hours, 9B에서 1174 대 349 GPU-hours로 3.1배와 3.4배 줄였다. leaderboard 백분위 평균은 9B에서 MLE-Dojo 18.8에서 21.6으로, DSBench 31.2에서 32.8로 올랐고, 두 benchmark 평균 모두에서 9B WMRL은 Nemotron-120B-A12B(20.5, 31.7)보다, 4B WMRL은 Kimi-48B-A3B보다 높았다. LIBERO-Long VLA 과제에서는 전체 성공률이 SFT의 37.4%에서 WMRL의 41.2%로 3.8 point 올랐다.
    • 한계: 저자들은 실행 결과를 풀이만 보고 예측할 수 있고 실제 실행 일부를 anchor로 계속 쓸 수 있는 과제를 전제로 삼았고, 결과가 풀이로 알 수 없는 무작위성에 달린 과제에서는 WMRL이 표준 GRPO에 가까워진다고 적었다. 수렴 보장은 bias가 점수에 단조 왜곡으로 작용한다는 가정에 기대며, AutoResearch 실험은 Qwen3.5 4B와 9B 두 규모에서 했고 MLE-Dojo 과제는 sandbox에 맞게 분류마다 데이터가 가장 작은 20개 대회에서 골랐다.
  5. 1275Research Agents

    CausaLab: A Scalable Environment for Interactive Causal Discovery Toward AI Scientists

    • 문제: 기존 LLM 인과 추론 benchmark는 대개 인과 graph, dataset, 이야기를 질의응답이나 분류 문제로 바꾸고 변수, 증거, graph, 질문을 처음부터 주어서, model이 외운 인과 지식이나 말의 단서로 맞힐 수 있다는 'causal parrot' 우려가 남는다. 상호작용형 benchmark인 Auto-Bench도 주로 agent가 숨은 DAG(directed acyclic graph, 방향 비순환 graph)를 찾는지를 보는데, 저자들은 찾은 메커니즘이 새 사례로 옮겨지는지까지 재는 평가가 필요하다고 보았다.
    • 입력과 출력: LLM agent의 상호작용형 인과 발견을 평가하는 benchmark 환경이다. agent는 episode마다 무작위로 뽑은 숨은 SCM에서 나온 이전 측정 기록을 받고, manipulator crystal의 조절 가능한 속성 하나씩에 정해진 예산 안에서 개입해 결과를 본 뒤, 같은 SCM을 따르는 다른 reactor crystal의 공명 주파수를 예측한다. 매 단계 memory, thought, 지금까지의 data, hypothesis, 다음 실험 계획의 다섯 field로 된 DSL 기록을 내고, 그 hypothesis가 graph, 주파수 방정식, 계수로 parsing되어 채점된다.
    • 방법: 관찰 가능한 속성과 주파수 위에 DAG를 뽑아 root node는 외생 source 값으로, 나머지 변수는 위상 순서대로 선형 또는 2차 구조 방정식으로 계산하고, graph, 방정식, 계수는 기록, manipulator crystal, reactor crystal이 함께 쓰며 조절 가능한 속성의 기본값은 서로 다르다. 개입은 hard do(X=v) 대신 그 변수의 기본항을 v로 바꾸고 부모 변수의 영향은 그대로 두는 shift 방식이고, 일부 graph family에는 개입마다 다시 뽑혀 일부 변수에 더해지는 숨은 교란 H를 넣었다. 채점은 reactor 주파수 정확도와 따로 graph precision, recall, F1, SHD(structural Hamming distance, 빠지거나 더해지거나 뒤집힌 edge 수), 주파수 계수 F1, root node 식별을 매긴다.
    • 구현: 2D 게임 형태의 DiscoveryWorld 환경 위에 SCM generator, 개입과 reactor 동작, DSL 기록, 채점 코드를 새로 만들었고, DSL 기록이 schema 검사에 걸리면 parser 오류를 붙여 최대 두 번까지 다시 묻는다. 주 실험은 GPT-5-mini, GPT-5.2-high, Qwen3.5-Thinking, Qwen3.5-Non-thinking 네 model을 node 3개에서 7개인 graph에서 (graph 크기, model) 조합마다 최대 50개 topology로 task마다 한 번씩 돌렸고, temperature는 0.1, node k개 graph의 예산은 관찰 2개와 개입 4(k-1)개로 고정했다. 관찰과 개입 예산을 바꾸는 실험은 GPT-5-mini와 GPT-5.2-high로 node 4개와 6개 graph에서 했고, 그 밖의 추가 분석은 주로 GPT-5-mini로 했다.
    • 결과: node 4개 topology 50개를 고정하고 선형 방정식을 어려운 2차(hard-quadratic) 방정식으로 바꾸면 GPT-5-mini의 정확도는 48%에서 24%로, 주파수 계수 F1은 0.589에서 0.251로 떨어졌지만 root node F1은 0.559에서 0.829로 올랐다. GPT-5.2-high의 node 6개 graph에서 개입 없이 관찰 20개를 쓰면 정확도 92%, all-edge F1 0.471이었고 관찰 5개와 개입 20개를 섞으면 80%, 0.799였으며, 같은 data를 설명하는 graph 후보 집합(Markov equivalence class)을 작게 남기는 Golden 개입 기록을 주면 GPT-5-mini의 node 4개 정확도는 48%에서 90%로 오르지만 all-edge F1은 0.793에서 0.728로 내려갔다. 네 model 가운데 GPT-5.2-high가 모든 graph 크기에서 정확도가 가장 높고 SHD가 가장 낮았지만 node 7개에서는 정확도 64%, SHD 4.761이었고, 답 전 검증 단계 하나를 넣으면 GPT-5-mini의 node 4개 정확도가 48%에서 60%로 올랐다.
    • 한계: 저자들은 CausaLab을 통제된 합성 benchmark로 보며, node 3개에서 7개인 SCM과 대부분 선형인 방정식(어려운 2차 확장 하나)이라 실제 과학 분야의 인과 구조, 함수 꼴, 잠재 변수, 측정 과정 가운데 일부를 다룬다고 밝혔다. 실험은 정해진 LLM agent, prompt, 상호작용 예산 범위에서 했고 다른 model, tool interface, decoding 방식, 더 긴 탐색 예산에서는 성능이 다를 수 있으며, 주 분석은 최종 예측과 최종 가설에 집중했다. 개입은 완전한 hard do 대신 shift 방식이고, 주 실험은 task마다 한 번씩 돌렸으며, 저자들은 합성 SCM 과제의 성공을 실제 과학, 의료, 정책 현장으로 넓혀 읽는 것을 주된 위험으로 꼽았다.
  6. 1274Research Agents

    SciAtlas: A Computable Atlas of Science for Knowledge-Grounded AI Research

    • 문제: AI scientist 시스템은 대부분 workflow마다 따로 설계한 검색 절차로 과학 지식을 모으고, agent가 검색을 되풀이해 넓혀도 대개 그 task를 위해 잠시 모은 일시적인 문서 모음이 남는다. 저자들은 그래서 지식의 범위(breadth), 깊이(depth), 표준화(standardization)가 모자란다고 보았고, 기존 과학 knowledge graph도 흔히 특정 분야, 정보 대상, schema에 묶여 여러 연구 workflow가 함께 쓰기 어렵다고 밝혔다.
    • 입력과 출력: 학술 knowledge graph, 공용 검색 방식, 연구 workflow 세 개를 함께 만든 시스템 논문이다. 주제, 연구 질문, seed 논문, 아이디어 같은 연구 대상을 받아 graph의 seed node에 연결하고, 순위를 매긴 논문 목록과 저자 목록을 낸다. 분야 발전 경로 정리(RDT, Research Development Trajectory)와 연구 기회 발굴(ROD, Research Opportunity Discovery)은 주로 논문 목록을, 혁신성 평가(IA, Innovation Assessment)는 저자 목록도 함께 받아, 각각 시기와 연구 흐름별 review outline과 section별 evidence pack, 동기와 메커니즘과 반증 가능한 가설과 단계별 실험 계획, reviewer별 평가와 meta-review와 수정 제안을 낸다.
    • 방법: graph는 하나의 schema 아래 논문을 중심으로 인용과 출판 관계, 정규화한 keyword와 동시 출현 관계, topic에서 domain까지의 분야 계층, 저자와 기관과 공저 관계, 있는 경우에 한해 붙인 peer review와 평가 신호의 다섯 layer를 둔다. 검색은 LLM parser가 입력을 개념, 논문, 저자, topic 같은 typed query unit으로 나누고 이름과 식별자를 맞추는 symbolic index와 dense embedding의 근사 최근접 이웃 index로 seed node를 잡은 뒤, 정해진 hop 수만큼 펼친 query 중심 local graph에서 seed로 돌아가는 restart 항과 이웃 node에서 퍼지는 diffusion 항을 섞어 점수가 수렴하거나 최대 반복 횟수에 닿을 때까지 relevance를 전파한다. 그 위에서 RDT는 빠진 시기와 연구 흐름을 진단해 검색 round를 되풀이하고, ROD는 분야의 병목을 Research Structure Signature로 요약해 같은 분야와 다른 분야의 메커니즘을 찾으며, IA는 아이디어를 동기, 방법, 실험, 영향의 claim으로 나눠 claim별 근거, reviewer profile, rubric을 만든다.
    • 구현: 주 자료원은 OpenAlex이고, normative layer는 자동 검색 agent가 공개 peer review 페이지를 찾아 논문에 붙여 채웠다. 완성한 graph는 26개 분야에 걸쳐 157M개가 넘는 entity를 3B개의 관계 triple로 잇고 그 가운데 논문이 43M편을 넘으며, 세 workflow와 기초 평가에서 설정할 수 있는 LLM 구성 요소는 GPT-5.5를 썼다. README 기준으로 GitHub 저장소에는 hosted SciAtlas API를 부르는 client와 CLI(명령줄 도구)를 pip(Python 패키지 설치 도구)로 설치하는 package, 문헌 리뷰, 아이디어 평가, 아이디어 생성 workflow 코드, Codex와 Claude Code 같은 coding agent용 Agent Skill pack이 있고, graph 검색은 개인 API token을 받아 hosted API로 쓴다.
    • 결과: 사람이 쓴 survey 1,000편(10개 분야)으로 된 SurveyLens에서 SciAtlas를 쓴 RDT의 macro 평균 Rubric Score는 4.82로 가장 강한 baseline인 SurveyForge의 4.67보다 높았고, 22개 분야 keyword 1,180개로 된 LiveIdeaBench에서 ROD의 평균 점수는 7.38로 가장 강한 baseline인 AI-Scientist의 7.12보다 높았다. 아이디어 349개로 된 SciAtlasEval-Idea에서 LLM judge 세 개가 보고서를 쌍으로 비교한 IA의 평균 승률은 CoT(chain-of-thought prompting) 대비 99.6%, RAG(retrieval-augmented generation) 대비 96.6%, DeepReviewer 대비 74.5%, NoveltyAgent 대비 78.5%, ScholarEval 대비 68.2%였다. 질의와 정답을 바로 잇는 edge를 가린 SciAtlasEval-HQR(Heterogeneous Query-Object Retrieval) 사례 200개에서 nDCG@20(상위 20개 결과의 순위 품질)은 0.51로 가장 강한 baseline 0.18의 거의 세 배였고, TaxoBench 논문 검색 F1(precision과 recall의 조화 평균)은 32.8로 가장 강한 baseline의 21.8보다 높았다.
    • 한계: 저자들은 graph를 자동 pipeline으로 만들지만 주기적으로 갱신해서 새 연구가 늦게 들어갈 수 있고, 범위가 원천 학술 기록에 달려 있으며, 전문성과 평가 신호의 양도 분야와 학회마다 다를 수 있다고 밝혔다. 이번 연구는 지식이 많이 드는 단계에 집중해 closed-loop 실험 검증은 범위 밖에 두었고, 실험 절차, 조건, 측정, 결과를 graph의 명시적 대상으로 넣는 일은 남은 과제여서 주장 범위는 과학 context 구성과 지식 기반 의사결정 지원이다. graph 규모 때문에 저장, index, 검색 인프라가 많이 들어 전파를 query 중심 local 이웃으로 제한했고, 평가 세트 SciAtlasEval은 저자들이 직접 만들었으며, ScholarQABench의 단일 논문 과제인 PubMedQA와 SciFact에서는 정답률 향상이 비교적 작았다.
  7. 1273Research Agents

    Intern-Atlas: A Methodological Evolution Graph as Research Infrastructure for AI Scientists

    • 문제: Google Scholar, Semantic Scholar, OpenAlex 같은 학술 플랫폼은 논문을 기본 단위로 두고 citation으로 이으므로, 인용 하나가 방법의 확장인지, bottleneck 해결인지, 단순 배경인지 같은 방법론 관계는 텍스트 속에 남는다. 저자들은 사람은 이 계보를 머릿속에서 재구성하지만 AI research agent는 비정형 텍스트에서 방법 진화 구조를 안정적으로 재구성하기 어렵다고 본다.
    • 입력과 출력: 방법론 진화 graph라는 dataset과, 그 위에서 작동하는 operator 세 가지를 함께 제안한 논문이다. 입력은 1965년부터 2025년까지의 AI 논문 1,030,314편이고, 출력은 method node 8,155개, alias 9,545개, typed edge 9,410,201개로 된 graph이며 background를 뺀 인과 edge마다 원문 인용 근거가 붙는다. operator는 방법 이름, 아이디어 설명, 연구 질문을 받아 각각 진화 chain, 다섯 항목 점수, 근거가 붙은 새 연구 제안을 낸다.
    • 방법: LLM 분류기가 인용 주변 글을 읽고 각 citation edge에 extends, improves, replaces, adapts, uses_component, compares, background 일곱 type 가운데 하나를 붙이고, 앞의 네 type이 계보 탐색에 쓰는 strong-causal subgraph가 된다. 인과 edge마다 인용 논문에서 그대로 옮긴 bottleneck, mechanism, trade-off 문장과 confidence를 붙이고, 인용문이 substring 대조에 실패하거나 출판 연도 순서가 어긋난 edge는 코드 검사로 걸러 낸다. 계보 탐색은 UCT(점수가 높은 branch와 덜 가 본 branch를 함께 따지는 MCTS의 선택 규칙)에 edge confidence와 연도 차이 가중을 더한 SGT-MCTS로 하고, 아이디어 평가는 LLM 판단 대신 graph 통계로 다섯 항목 점수를 계산하며, 아이디어 생성은 모든 제안에 실제 edge의 bottleneck 인용을 증거로 붙이게 한다.
    • 구현: PDF parser Nougat v1.0으로 문서를 읽고 Nougat이 실패한 3.7%의 문서는 PDF parser GROBID v0.8.0으로 처리하며, 추출은 인용 논문의 Introduction, Method, Related Work 절만 읽는다. 두 단계 추출 모두 Qwen3.6-35B-A3B를 temperature 0으로 쓰고, 신뢰도 benchmark에만 쓰는 audit 모델을 따로 둔다. 저자들은 graph와 pipeline을 open infrastructure로 공개한다고 밝혔다.
    • 결과: 30편의 survey로 만든 benchmark(node 2,268개, edge 1,462개, chain 133개)에서 Intern-Atlas는 node 일치율 91.0%, edge 도달률 89.7%, 경로 의미 정확도 92.0%를 냈고, SGT-MCTS의 Node Recall은 84.8로 가장 강한 baseline인 Beam@10(폭 10의 beam search)의 44.9보다 높았다. 논문 1,200편의 아이디어 평균 점수는 top-tier 학회 8.48, core 학회 7.83, workshop 6.85, 탈락 논문 5.84 순이었고, 전문가 10명이 매긴 아이디어 100개에서 전체 Spearman 상관은 0.81로 순수 LLM 평가의 0.58보다 높았다. 연구 질문 100개로 만든 아이디어는 Overall 7.20점으로 네 baseline 가운데 가장 좋은 Semantic Scholar 기반(6.18)보다 1.02 point 높았고, 전문가 blind pairwise 평가에서 No-KB(외부 지식 없이 생성), OpenAlex, BM25 RAG(낱말 일치 검색 점수 BM25로 찾은 문헌을 근거로 생성하는 방식)를 상대로 승률 88.0%, 82.0%, 81.0%를 기록했다.
    • 한계: 저자들은 1단계 edge type 분류 정확도가 production 모델에서 70.4%, audit 모델에서 93.0%라서 extends와 improves 같은 세밀한 관계는 구분이 어렵다고 밝혔다. bottleneck 분류 항목 14개는 공개 시점에 고정되고, temporal coherence 함수(출판 연도 차이에 주는 가중치)는 2015년 이후 AI 문헌에 맞춰져 연구 속도가 다른 분야에는 다시 맞춰야 하며, 생성한 아이디어의 점수는 같은 Intern-Atlas 평가 pipeline으로 매겼다.
  8. 1272Information Retrieval

    DiagramBank: A Quality-Audited Dataset of Scientific Schematic Diagrams with Multi-Level Document Context

    • 문제: 논문 속 schematic 다이어그램은 방법, workflow, 시스템 구조를 전하지만, 기존 과학 그림 데이터셋은 이를 대개 plot, 스크린샷, 사진과 섞어 두고 그림을 설명하는 본문 문단을 자주 빠뜨린다. 저자들은 schematic 그림을 가려내고 논문과 그림 문맥, 출처, 필터링 불확실성을 함께 담은 자료가 필요하다고 본다.
    • 입력과 출력: 데이터셋(dataset) 논문이고, 저자들은 기여를 자료 자체로 한정한다. 입력은 OpenReview에 올라온 AI/ML 학회 논문 PDF와 메타데이터이고, 출력은 schematic 다이어그램 57,100개의 레코드다. 레코드마다 그림 이미지, 논문 제목, 초록, 캡션, 그 그림을 인용한 본문 문단, 학회와 연도, 출처, 필터링 라벨이 붙는다.
    • 방법: OpenReview Python API로 PDF와 메타데이터를 모으고, PDFFigures 2.0으로 그림과 캡션을, PyMuPDF로 그림 번호를 인용한 본문 문단을 뽑는다. OpenCLIP ViT-B/32가 그림을 diagram, plot, photo, other로 먼저 나누고, VLM cascade에서 작은 VLM judge 두 개의 투표와 큰 VLM의 확인으로 최종 다이어그램을 고른다. CLIP이 diagram으로 본 후보는 다수결 경로로, CLIP 신뢰도 0.70 미만의 non-diagram 후보는 rescue 경로로 들어간다.
    • 구현: 관계형 데이터는 DuckDB로 관리하고, 레코드를 비정규화해 그림마다 제목, 초록, 캡션, 문맥, 품질 라벨, 출처를 직접 갖게 했다. 공개 자료는 cascade 필터 release와 함께 CLIP 전체 view, CLIP 신뢰도 0.85 이상 view를 둔다. 공식 저장소 README는 Hugging Face에서 data.jsonl, FAISS index, DuckDB를 받는 download 스크립트와 제목, 초록, 캡션으로 비슷한 다이어그램을 찾는 demo notebook을 안내하고, reproduce 스크립트는 OpenReview 수집부터 1단계 CLIP 분류까지 다룬다고 적었다.
    • 결과: cascade 필터 release에서 층화 표본 500개를 사람이 blind로 검사한 결과 precision은 93.67%(95% 신뢰구간 90.11에서 97.22)로 추정됐고, 주된 오류는 스크린샷이나 사진 같은 그림이 섞이는 경우였다. CLIP view 검사에서 threshold 0.85의 precision은 94.4%였고, threshold를 0.50에서 0.90으로 올리면 precision은 64.0%에서 96.0%로 오르고 retention(필터를 통과해 남는 비율)은 100%에서 55.7%로 줄었다. 20개 질의 retrieval 점검에서 Precision@10(검색 상위 10개 가운데 VLM judge가 관련 있다고 본 다이어그램의 비율)은 계층형 검색 78.0%, 캡션 검색 81.0%였다.
    • 한계: 저자들은 자동 PDF 파싱, 그림 분류, 문맥 추출에 기대기 때문에 캡션이 불완전하거나 본문 인용 문단이 빠지거나 다이어그램과 plot이 잘못 분류된 레코드가 있을 수 있다고 밝혔다. release는 precision 위주라 신뢰도가 낮은 쓸 만한 다이어그램을 뺄 수 있고, 범위가 접근 가능한 OpenReview 학회와 연도로 한정돼 최근 AI/ML 관행 쪽으로 치우칠 수 있다. retrieval 점검은 20개 질의 규모의 sanity check이고 그림 작성 사례는 정성 예시이며, VLM judge 모델 이름은 release 문서에 둔다고 적었다.
  9. 1271Research Agents

    AI scientists produce results without reasoning scientifically

    • 문제: LLM 기반 과학 agent(AI scientist)가 연구를 스스로 맡는 사례가 늘었지만, 기존 benchmark는 주로 질문에 답했는지, workflow를 끝냈는지 같은 과제 완료를 채점한다. 이런 점수로는 agent가 결과에 어떻게 이르렀는지, 새 문제에서 어떻게 행동할지 알 수 없어서 저자들은 추론 과정 자체를 잰다.
    • 입력과 출력: 평가 연구(empirical study)다. 입력은 8개 과학 분야의 과제로, workflow 과제(분자 시뮬레이션, 흡착 표면 구성, ML 기반 물성 예측, 원자힘현미경 실험), 전략 과제(역합성 계획), 가설 검증 과제(분광 구조 해석, 무기 정성 분석, 회로 추론)가 들어간다. 출력은 25,000회 넘는 agent 실행의 점수, 진단 문항 점수, 추론 trace를 노드와 edge로 표시한 그래프다.
    • 방법: agent를 base model policy와 scaffold policy가 합쳐진 language decision process(관측과 행동을 글로 나타낸 부분 관측 Markov 결정 과정)로 보고, 모델 3개(GPT-4o, Claude Sonnet 4.5, GPT-OSS-120B)와 scaffold 2개(ReAct, 구조화된 tool calling)를 같은 환경과 tool에서 교차해 실행한다. 분야별 지식 문항과 추론 문항에 IRT(문항 반응 이론)를 맞춰 능력을 추정하고, Bayesian 모델 M1에서 M8 가운데 PSIS-LOO(leave-one-out 교차검증 근사)로 고른 M7로 성공률의 분산을 나눈다. trace의 단계마다 가설, 증거, 시험, 판단, 갱신, 확정을 표시한 그래프에서 productive motif(규율 있는 탐구 패턴)와 reasoning breakdown(추론이 무너지는 패턴)이 나온 비율을 센다.
    • 구현: 저자들은 환경과 agent를 HTTP(웹 요청 규약) 인터페이스로 나눈 평가 framework Corral을 만들었고, 환경은 LAMMPS 시뮬레이션, 실제로 연결된 원자힘현미경, 자체 열역학 평형 엔진, 수작업으로 모은 스펙트럼을 바탕으로 15개 넘는 환경 scope와 90개 넘는 tool을 갖춘다. 논문은 과제, 실행 보고서, trace, 문항 데이터를 Hugging Face collection에 공개했다고 적었다. 공식 저장소 README는 corral CLI(명령줄 도구, run과 bench 명령)와 Python API, afm, corral_md, resistor_network, retrosynthesis, spectra_elucidation, wetlab 환경과 가벼운 수학 연산용 samplemath 환경을 안내하고, 논문에서 쓴 ReAct와 tool calling 외에 Reflexion, LLMPlanner, AI Scientist 같은 agent도 함께 싣는다.
    • 결과: 저자들이 고른 M7에서 추론 능력은 설명된 분산의 41.4%, 환경과 scope는 30.1%를 차지했고 scaffold는 1.5%, tool 설명 상세도는 0.1%였다. trace의 68%에서 모은 증거가 이후 판단에서 빠졌고, 시험 없는 주장은 53%, 반박에 따른 믿음 수정은 26%에서 나왔다. 분광 구조 해석, 무기 정성 분석, 역합성 계획에서는 초반 성공 단계를 주입해도 성능은 그대로였고, 거의 끝난 성공 trajectory를 줄 때만 올랐다.
    • 한계: 저자들은 과제마다 독립 episode로 실행하고 ReAct와 tool calling 두 가지 단순한 scaffold를 썼으며, plan-then-execute, 계층형 planner, multi-agent 같은 고급 orchestration은 평가 범위 밖이라고 밝혔다. 모델은 3개이고 주 평가는 과제당 LLM 호출 20에서 40회, temperature 0.0으로 고정했으며, log-probability 분석은 GPT-OSS-120B에만 했다. GPT-OSS-120B는 trace의 41%에서 형식이 깨진 응답을 냈고, 저자들은 constrained decoding(출력 형식을 강제하는 decoding) 같은 보정 없이 그대로 쟀다.
  10. 1270Research Agents

    An Axiomatic Benchmark for Evaluation of Scientific Novelty Metrics

    • 문제: 논문의 참신성(novelty)을 자동으로 재는 지표는 AI scientist가 이미 탐구된 아이디어에 계산을 쓰는 낭비를 막는 데 필요하지만, 기존 지표는 대체로 인용 수나 리뷰 점수처럼 다른 요인이 섞인 신호로 검증되었다. 저자들이 ICLR 2022와 2023에서 리뷰어 합의가 높은 참신성 상위 100편과 하위 100편을 뽑아 확인하자, 이 상하위 구분이 채택 여부와 93.5%(기술 참신성), 97.0%(실험 참신성) 일치해 참신성 점수가 논문 품질과 엉켜 있었다.
    • 입력과 출력: 이 논문은 정답 참신성 라벨 없이 참신성 지표를 비교하는 benchmark다. 평가 대상 지표에 논문 한 편(focal paper)과 비교할 선행 논문 집합(reference pool)을 주고 pool을 정해진 방식으로 바꿨을 때, 점수가 기대한 방향으로 움직이는지를 논문마다 통과와 실패로 판정해 probe마다 통과율로 낸다. benchmark는 NLP(자연어 처리), 컴퓨터 비전, 생의학 AI 세 분야의 과제 10개로 이루어지고, 과제마다 focal paper 100편을 무작위로 뽑는다.
    • 방법: 공리 세 개를 probe로 시험한다. Redundancy 공리는 pool이 논문 내용을 더 많이 담을수록 점수가 내려가야 한다는 것이고, 정확한 복사본, paraphrase, 논문의 원자 주장(atomic claim)을 25%에서 100%까지 다른 pool 논문에 나눠 심는 probe로 잰다. Relevance 공리는 pool을 다른 분야로 바꾸거나 인용 논문을 빼면 점수가 올라가야 한다는 것이고, Temporality 공리는 pool의 시간 구간을 뒤로 옮기면 점수가 내려가야 한다는 것이다.
    • 구현: 데이터는 Hugging Face의 PapersWithCode archive(2025년 7월 29일자)에서 과제마다 약 1,500편이 태그된 과제를 골라 만들었고, 참고문헌은 Semantic Scholar API로 받았다. 평가한 시스템은 embedding 지표인 Yin, RND(relative neighborhood density), SemNovel, FastTextLOF와 NovaScore, AI Scientist judge, RAG-Novelty, AutoResearchClaw의 lexical novelty gate인 ARC, 점수 대신 순위나 글로 판단을 내는 Si pairwise tournament와 OpenNovelty를 합친 10개이고, 도구로 검색하는 시스템은 sandbox로 검색이 만든 pool에만 닿게 했다. 저자들은 arXiv ID(논문 식별번호), 파생 파일, 논문 원문을 받아 오는 script를 공개한다고 밝혔고, API 비용은 모두 합쳐 400달러 조금 아래였다.
    • 결과: Yin과 RND 같은 embedding 지표는 정확한 복사본(1.00, 0.99)과 paraphrase(0.99, 0.97)를 거의 다 잡았지만, 주장 25%를 심은 경우는 0.66과 0.53에 머물렀다. LLM이 검색 결과와 함께 읽는 RAG-Novelty는 정확한 복사본 probe에서도 0.28에 그쳐 redundancy probe를 모두 실패했다. 시간 공리의 단조 감소 probe에서는 점수를 내는 8개 시스템 가운데 가장 높은 값도 0.24였고, 저자들은 표면 중복은 대체로 풀렸으며 개념 수준 중복은 아직 열린 문제라고 정리했다.
    • 한계: 저자들은 pool이 과제마다 천에서 이천 편 규모라 실제 문헌 규모에서의 성능은 시험할 수 없고, 과제가 모두 AI 연구 과제라는 점을 한계로 밝혔다. sandbox는 LLM judge가 검색하는 자료만 통제하고 모델이 이미 아는 지식은 그대로 남으며, 공리는 필요조건이라 모든 probe를 통과해도 좋은 참신성 판단 도구라는 보장은 없다. AI Scientist judge와 Si tournament는 과제 3개, OpenNovelty는 과제 2개에서 시험했고, Si tournament와 OpenNovelty는 redundancy 공리만 시험받았다.
  11. 1269Research Agents

    Synthetic Sandbox for Training Machine Learning Engineering Agents

    • 문제: MLE agent는 rollout 단계마다 데이터 전처리, 모델 학습, 지표 평가까지 전체 ML pipeline을 실행해야 해서, 표준 문제에서 코드 한 번 실행에 평균 200초 가까이 걸린다. 이 지연 때문에 trajectory 단위 on-policy RL이 너무 느려서, 기존 연구는 SFT나 offline proxy reward를 쓰는 step 단위 RL로 물러났다.
    • 입력과 출력: 구현과 실험을 갖춘 학습 방법(method) 논문이다. 입력은 MLE-bench에서 고른 seed 과제 60개이고, 출력은 학습 데이터가 50에서 200개 표본뿐인 합성 MLE 과제(데이터, hidden rule, 평가 스크립트, 과제 설명)와 이 과제로 RL 학습한 Qwen3 policy 모델이다.
    • 방법: Data Strategist가 seed 과제에서 Structural DNA(도메인 맥락을 뺀 수학적 과제 구조)를 뽑아 새 도메인과 noise를 입히고 특징과 정답을 잇는 hidden rule을 정하며, ML Developer가 데이터를 만들고 baseline 방법을 학습, 평가해 단계별 milestone threshold를 정한다. MLOps(machine learning operations) Engineer는 숨긴 test set으로 채점하는 evaluator를, Technical Writer는 과제 설명을 쓰고, threshold가 정해진 순서를 지키는 과제만 학습에 남긴다. 학습은 ReAct로 rollout하는 trajectory 단위 GRPO이고, reward는 형식 준수, 실행 성공, median, bronze, silver, gold threshold 통과에 가중치를 나눈 dense reward다.
    • 구현: seed 60개에서 합성 과제 1200개로 시작해 실행 검증과 threshold 점검을 거친 912개를 남기고, 그중 848개를 학습에, 64개를 검증에 썼다. Qwen3-8B, Qwen3-14B, Qwen3-30B-A3B-2507을 RLLM(language agent의 post-training을 위한 framework)으로 학습했고, 학습 중 최대 20 turn과 단계당 90초 실행 제한을 두었으며 과제마다 NVIDIA H200 GPU 한 장을 썼다. reward 가중치는 형식 0.1, 실행 0.3, median 0.1, bronze 0.2, silver 0.2, gold 0.1이다.
    • 결과: Gemini-2.5-Flash가 쓴 코드 기준 평균 실행 시간은 원래 MLE-bench 과제의 196.17초에서 합성 과제의 14.31초로 줄었다. ReAct로 잰 MLE-Bench-Lite Any Medal 비율은 8B가 13.6%(Base, 그리고 Claude-4.5-Sonnet trajectory로 SFT한 Seed-SFT)에서 22.7%로, 30B가 Base 13.6%에서 27.3%로 올랐고, Claude-4.5-Sonnet은 31.8%였다. MLE-Dojo에서 30B SandMLE는 MLE-Agent scaffold로 HumanRank(사람 참가자 leaderboard 안의 순위로 매긴 점수) 38.56을 얻어 Base의 29.12보다 높았다.
    • 한계: 저자들은 최대 turn 수를 늘리는 test-time 실험에서 성능이 30 turn에서 가장 높았고, 그 뒤로는 context window를 자주 넘겨 떨어졌다고 밝혔다. 8B SandMLE의 Valid Submission 비율은 63.6%로 Base의 68.2%보다 낮았고, 30B를 AIDE(코드 공간을 탐색하는 agent scaffold)로 평가한 MLE-Bench-Lite에서는 Any Medal 비율이 Base와 같은 13.6%였다. 평가는 22문항의 MLE-Bench-Lite와 62개 과제의 MLE-Dojo에서 했다.
  12. 1268Research Agents

    RoboPhD: Evolving Diverse Complex Agents Under Tight Evaluation Budgets

    • 문제: GEPA와 Autoresearch처럼 LLM이 평가 피드백을 보고 prompt, 코드, agent 구조를 반복해 고치는 시스템이 늘었지만, 저자들은 같은 과제, 같은 예산, 같은 평가 기반에서 이들을 체계적으로 비교한 연구가 아직 없다고 밝혔다. 평가는 비쌀 수 있고(ARC-AGI는 문제당 0.25달러 상한에서도 1,500번 평가에 최대 375달러) 쓸 수 있는 예제가 적을 수도 있어 평가 예산의 배분이 찾을 수 있는 agent를 좌우하는데, 기존 방법은 예산을 학습과 validation으로 나누고, 저자들에 따르면 validation 평가는 후보 선택에 쓰일 뿐 다음 후보를 고치는 데 보탬이 되지 못한다.
    • 입력과 출력: 구현과 실험을 갖춘 방법 논문이다. RoboPhD는 목표 설명, 과제 배경, seed agent(코드와 prompt), 학습 예제 pool, 점수와 진단을 돌려주는 evaluator(평가 함수), 평가 예산을 받아 처음 보는 test 예제에서 기대 점수가 가장 높은 agent를 찾는다. 출력은 진화한 agent 프로그램이고, 예컨대 ARC-AGI에서는 22줄 seed agent가 1,013줄의 여러 전략을 묶은 시스템으로 바뀌었다.
    • 방법: 매 iteration마다 agent 3개를 새로 무작위로 뽑은 학습 예제 20개에서 겨루게 하고, 쌍별 비교로 Elo 점수(K = 32)를 갱신해 validation 분할 없이 모든 평가를 학습 경쟁에 쓴다. evolution AI(새 agent를 설계하는 AI, 여기서는 Opus 4.6을 쓰는 Claude Code)는 Elo 순위, agent 사이에 결과가 갈린 문제를 짚은 비교 오류 보고서, agent가 print()로 남긴 문제별 진단을 받아 새 agent를 만들고, 같은 session 안에서 이전 iteration 데이터로 시험해 다듬는다(Deep Focus). 경쟁자와 예측이 똑같은 복제 agent에 Elo 200점 감점을 주는 등 다양성 장치 6가지를 두며, 예산 1,500번이면 약 21번의 iteration을 실행한다.
    • 구현: 평가 예산 1,500번으로 ARC-AGI(과제를 푸는 solver는 Gemini 3.1 Flash Lite, 학습과 test 각 400문제), Can't Be Late(LLM 없이 클라우드 spot instance 사용을 정하는 Python 전략 class), Text2SQL BIRD(solver는 Claude Haiku 4.5, 데이터베이스 분석 script와 agent 두 파일을 함께 진화), DocFinQA(solver는 GPT-4.1-mini와 text-embedding-3-small, 문서는 미국 증권거래위원회에 낸 평균 123K 단어의 10-K 연간 보고서) 네 과제를 실험했다. 비교 대상은 같은 진단 정보를 받는 GEPA v0.1.1(Opus 4.6을 Claude API로 사용), 범용 artifact 최적화로 일반화한 Autoresearch(Opus 4.6을 Claude Code로 사용), 매 iteration 현재 champion과 새 challenger 두 agent를 겨루는 King-of-the-Hill 변형이다. 공식 저장소 andborth/RoboPhD는 README 기준으로 optimize_anything() API, 논문의 네 과제를 포함한 도메인별 예제, GEPA와 Autoresearch를 고를 수 있는 engine 옵션을 공개하며, 진화 단계에는 Claude Code CLI(command-line interface)가 필요하다.
    • 결과: 네 과제의 test set에서 RoboPhD 기본 설정은 세 과제에서 GEPA와 Autoresearch보다 높았다(ARC-AGI 65.8% 대 58.5%와 54.2%, Text2SQL 64.5% 대 60.4%와 60.7%, DocFinQA 50.4% 대 40.0%와 48.2%). Can't Be Late에서는 Autoresearch가 -87.6으로 가장 좋았고 RoboPhD는 -90.7이었으며, King-of-the-Hill 변형은 ARC-AGI에서 67.0%로 기본 설정보다 높았다. Deep Focus를 끄면 네 과제 모두 점수가 내려갔고(DocFinQA 50.4%에서 41.2%), validation 크기를 200에서 100으로 줄이자 GEPA와 Autoresearch의 여덟 비교 모두에서 test 점수가 올랐다.
    • 한계: 가장 단순한 Can't Be Late(LLM 호출 없이 90줄 미만으로 풀리는 과제)에서는 Autoresearch가 앞섰고, 기본 RoboPhD와 King-of-the-Hill 변형의 차이도 매우 작아 저자들은 더 연구가 필요하다고 밝혔다. 저자들의 시뮬레이션에서 정확도가 1%포인트씩 다른 세 agent를 문제 20개로 비교하면 가장 나은 agent가 1위로 뽑히는 비율은 45.0%로 무작위 33.3%보다 조금 높아 선택은 Elo가 여러 iteration에 걸쳐 쌓는 약한 신호에 기대며, LLM 응답의 비결정성 때문에 실행마다 결과가 달라질 수 있다. 개발 중 Autoresearch 구현은 simulator 내부 상태에서 미래 spot 가용성을 읽는 편법으로 -85.4를 얻었고, 저자들은 과제 API를 다시 설계하고 evaluator와 agent 사이의 sandbox를 강조했다.
  13. 1267Research Agents

    FlowPIE: Test-Time Scientific Idea Evolution with Flow-Guided Literature Exploration

    • 문제: 과학 아이디어 생성(SIG)에서 대부분의 기존 방법은 문헌을 검색한 뒤 아이디어를 만드는 2단계 구조를 쓰고, 이 pipeline은 대개 키워드와 의미 유사도로 문헌을 한 번 검색한다. 그 결과 주제만 비슷한 문맥을 받아 자주 서로 비슷한 아이디어를 낸다. 저자들은 이런 설계가 LLM 기반 generator를 내부 지식과 고정된 검색 결과 안의 information cocoon에 가둘 위험이 있다고 본다.
    • 입력과 출력: 구현과 실험을 갖춘 방법(method) 논문이다. 입력은 연구 주제나 질의이고, 출력은 동기(Motivation), 방법(Method), 실험 계획(Experimental Plan)으로 짠 구조화된 아이디어 집합이다. 문헌 출처로 논문 대신 USPTO(미국 특허청) 특허를 쓰고, 특허 사이의 인용, 핵심 기술 특징 겹침, 의미 유사도로 문헌 그래프를 만든다.
    • 방법: 1단계는 질의를 root로 삼아 GFlowNet(점수가 높은 답 여러 개를 고루 뽑도록 학습하는 generative flow network)에서 착안한 flow-guided MCTS로 특허 그래프를 탐색하고, 경로마다 만든 아이디어에 GRM이 매긴 점수를 경로의 flow 확률에 되돌려 반영한다. 2단계는 이렇게 모은 초기 아이디어 집단에 두 부모 아이디어의 핵심 기술 특징을 섞는 crossover, 그래프에서 멀리 떨어진 부분 그래프의 문헌을 끌어오는 isolation island mutation, GRM fitness 기반 tournament selection을 반복한다.
    • 구현: 모든 방법에서 아이디어를 만드는 모델로 GPT-4o-mini를, GRM과 fitness 평가에는 DeepSeek-V3.2를 썼고, 특허 임베딩은 BGE-M3로 만들었다. 문헌 데이터는 2025년 마지막 세 달 동안 공개된 USPTO 특허 16,050건이고, 진화는 최대 20회 반복하며 fitness 표준편차가 0.05 아래로 내려가면 멈춘다. 공식 저장소 README는 이 저장소를 논문의 evaluation code로 소개하고 Phase 1(flow-guided MCTS)과 Phase 2(test-time evolution) 실행 명령을 적었으며, 문헌 데이터베이스와 소프트웨어 데모는 coming soon으로 표시했다.
    • 결과: AI Idea Bench 2025의 IMCQ에서 FlowPIE는 motivation 0.780, 실험 계획 0.635로 baseline 가운데 가장 높은 VirSci(0.560, 0.580)를 앞섰고, I2I(목표 논문 아이디어와의 일치 점수) motivation 점수는 4.44였다. DeepSeek-V3.2 GRM으로 잰 평균 reward는 FlowPIE가 0.76, baseline 최고가 0.63이었고, 사람 평가 평균 점수도 FlowPIE가 0.39로 비교한 방법 가운데 가장 높았다. reward는 사람 평균 점수와 novelty에서 0.60, feasibility에서 0.87의 Spearman 상관을 보였다.
    • 한계: 저자들은 절대 성능이 base model의 능력에 묶이고, 연구마다 아이디어 형식이 달라 평가가 불안정하다고 밝혔다. reward 평가는 진화 중 fitness 계산과 같은 GRM(DeepSeek-V3.2)으로 쟀고, 아이디어 품질은 LLM judge 점수, 유사도 지표, reward, 사람 평점으로 측정했다. IdeaBench의 신규성 순위 점수(Novelty Insight)는 Chain-of-Ideas(0.926)가, 실현 가능성 순위 점수(Feasibility Insight)는 Research Agent(0.138)가 FlowPIE보다 높았다.
  14. 1265Research Agents

    Towards a Medical AI Scientist

    • 문제: 저자들은 기존 AI Scientist가 대체로 여러 분야에 두루 쓰는 범용(domain-agnostic) 시스템이고 문제 정의와 평가가 비교적 표준화된 수학, 화학, 일반 ML에서 성과를 보였지만, 의학 근거와 특수한 데이터 형식이 필요한 임상 연구에는 쓰기 어렵다고 보았다. 저자들은 의료 사전 지식(진단 절차, 질환별 병리 패턴)을 빠뜨린 아이디어, 3차원 구조 같은 이질적 의료 데이터에서의 실험 실행, 데이터 출처와 윤리 기재를 대체로 놓치는 원고 작성을 세 가지 어려움으로 들었다.
    • 입력과 출력: 이 논문은 임상 의학 AI 연구를 자동화하는 multi-agent 시스템 Medical AI Scientist와 평가 benchmark Med-AI Bench를 낸 시스템 논문이다. Reproduction과 Innovation mode는 과제 지시문, dataset 정보, 참고 논문을 받고, Exploration mode는 과제 지시문과 dataset 정보만 받는다. 시스템은 연구 아이디어, 실행 가능한 실험 코드와 결과, 조판까지 마친 논문 원고를 낸다.
    • 방법: Idea Proposer에서 Preparer와 Surveyor는 참고 논문과 코드를 모아 수식과 코드 단위로 분해하고, Generator는 clinician-engineer co-reasoning(임상 관점과 공학 관점을 맞춰 보는 추론)으로 가설을 만들며, Exploration mode에서는 Analyzer가 과제의 핵심 임상, 기술 난제를 정리하고 Explorer가 맞는 최신 기법(paradigm)과 코드를 먼저 찾는다. Assessor는 가설의 과학성과 윤리를 검사해 품질 threshold에 미달하면 다시 다듬게 하고 윤리 위반이면 거부하며, Experimental Executor에서는 Investigator가 코드와 의료 toolbox를 모으고, Planner가 실행 절차를 짜고, Executor가 Docker 환경에서 학습과 평가를 돌리고, Judger가 결과를 보고 수정 feedback을 낸다. Manuscript Composer는 참고 논문 구조를 따라 원고를 쓰고, Ethics Reviewer가 dataset 출처와 윤리 승인을 적으며, LaTeX 컴파일 오류는 자동으로 고친다.
    • 구현: 모든 agent는 GPT-5 같은 범용 LLM을 base model로 쓰고 prompt 설계로 역할을 나눴으며, Analyzer의 문헌 검색은 OpenAlex 학술 검색 엔진으로 한다. Med-AI Bench는 의료 이미지, 의료 video, EHR(전자 건강 기록), 임상 텍스트, 생체 신호, multimodal 여섯 modality의 19개 과제마다 Google Scholar에서 난이도가 다른 논문 3편을 골라 ground-truth 논문 57편으로 삼고, 논문마다 입력 mode가 다른 사례 3개를 만들어 171개 사례를 구성했다. 자동 실험을 빠르게 돌리려고 dataset은 무작위로 줄여 썼고, 원문에 적힌 공개 주소는 프로젝트 홈페이지다.
    • 결과: Innovation mode와 Exploration mode의 아이디어를 전문가 세 명이 5점 척도로 평가한 결과, 두 mode에서 기술 혁신은 4.40과 4.32, 성숙도는 4.65와 4.68로 GPT-5와 Gemini-2.5-Pro보다 높았다. 57개 연구 사례의 첫 실행 성공률은 Reproduction, Innovation, Exploration mode에서 0.91, 0.93, 0.86이었고, 같은 조건에서 GPT-5는 0.72, 0.60, 0.75, Gemini-2.5-Pro는 0.40, 0.49, 0.53이었다. 같은 의료 과제(당뇨망막병증 분류)의 원고를 Stanford Agentic Reviewer가 0에서 10점으로 매긴 점수는 생성 원고가 4.60이고, MICCAI(의료 영상 컴퓨팅 학회), BIBM(생물정보학, 생물의학 학회), ISBI(생체 의료 영상 학회)에서 고른 사람 논문이 4.86, 4.06, 3.74였으며, 이와 별도로 생성 원고 한 편이 투고 114편, 채택률 36.8%인 ICAIS 2025에 채택됐다.
    • 한계: 저자들은 생성된 방법 설계가 때때로 지나치게 복잡해지고, 그러면 구현이 일부 구성 요소를 단순화하거나 약하게 만들어 원래 설계에서 벗어날 수 있다고 밝혔다. 실험은 미리 정한 dataset 안으로 한정되고, 생성된 방법의 성능은 state-of-the-art보다 낮은 수준이라고 저자들이 적었다. 원고 전문가 평가는 당뇨망막병증 분류 한 과제의 20편(생성 원고 5편, 사람 논문 15편)으로 했고, 생성 원고의 Coverage(실험 설계의 포괄성) 점수는 3.44로 원문이 비교한 3.68보다 낮았다.
  15. 1264Research Agents

    DOVA: Deliberation-First Multi-Agent Orchestration for Autonomous Research Automation

    • 문제: 학술 데이터베이스 검색, 코드 저장소 분석, 모델 registry 교차 확인, 인용이 달린 종합까지 필요한 연구 질의에서 단일 agent에는 네 가지 한계가 있다고 저자들은 본다. 정보를 순서대로만 처리해 분야를 넘는 연결을 놓치고, 반론 없이 첫 결과를 받아들이고, keyword pattern만 보고 tool을 부르고, 쉬운 질의와 어려운 질의에 같은 추론 깊이를 써서 token을 낭비하거나 모자라게 한다.
    • 입력과 출력: 이 논문은 연구 질의에 답하는 multi-agent 플랫폼 DOVA(Deep Orchestrated Versatile Agent)의 구조와 알고리즘을 제안한 시스템 논문이다. 입력은 사용자 질의, 계속 유지되는 사용자 모델, 대화 context이고, 출력은 ArXiv, GitHub, HuggingFace, Web을 근거로 출처를 밝힌 답과 신뢰도 점수다. 같은 orchestration backend를 REST(Representational State Transfer) API, CLI(명령줄 인터페이스), 브라우저 UI(사용자 인터페이스), MCP(Model Context Protocol) server 네 가지 interface로 내보내고, MCP server는 Claude Code에 tool 5개를 제공한다고 저자들은 밝혔다.
    • 방법: orchestrator는 tool을 부르기 전에 사용자 전문성, 언급된 개체, 최근 대화 6턴, 쓸 수 있는 tool을 보고 외부 정보가 필요한지 먼저 판단하며, latest나 recent 같은 시간 표현이나 2025년 이후 연도가 있으면 반드시 tool을 쓴다. 협업 추론은 여러 agent가 따로 푸는 ensemble, 근거와 투표를 모으는 blackboard, 여러 차례 비평으로 다듬는 iterative refinement를 차례로 잇는다. thinking 예산은 OFF부터 XHIGH(65,536 token)까지 6단계로 두고, 과제 종류, 복잡도 힌트, 질의 길이로 단계를 고른다.
    • 구현: agent pool은 MCP 검색을 맡는 ResearchAgent, 사용자 모델을 관리하는 ProfilingAgent, 코드 분석과 sandbox 실행을 맡는 ValidationAgent, 출처를 밝혀 글을 쓰는 SynthesisAgent, 찬성과 반대 agent가 기본 2라운드로 논쟁하는 DebateAgent 다섯이다. 실험에는 작업 등급별로 Claude Haiku 4.5(Basic), Sonnet 4.6(Standard), Opus 4.6(Advanced)를 썼다. 공식 저장소 alfredcs/dova에는 src, tests, frontend, infra, dova-claude-plugin 폴더와 Docker 설정 파일이 있고, README는 이 시스템을 AWS Strands Agents SDK(소프트웨어 개발 키트)와 Amazon Bedrock AgentCore 위에 만들었다고 설명하며 원문의 네 출처에 더해 PubMed, ClinicalTrials.gov, PubChem 같은 생의학 출처도 적었다.
    • 결과: 저자들은 일곱 가지 구성을 비교한 ablation 표(Table 5)의 값을 구조 분석에 근거한 기대 상대 성능이라고 밝혔다. 이 표에서 전체 DOVA는 신뢰도 0.82, 출처 범위 0.90이고, 협업을 빼면 0.68과 0.65, 단일 LLM baseline은 0.52와 0.00으로 제시되었다. token 효율은 thinking 예산으로 따져 분류 작업이 고정 MEDIUM 대비 16K에서 1K로 94%, 요약이 75% 줄고, 단순 질의가 40에서 60%인 작업량에서는 전체 절감이 40에서 60%라고 밝혔다.
    • 한계: 저자들은 ablation이 구조 분석에 근거했고, HotpotQA, MMLU 같은 표준 benchmark 평가는 앞으로 할 일이라고 밝혔다. 신뢰도 점수는 답을 만든 같은 LLM이 매기고, 모든 agent가 같은 LLM backbone을 쓴다. 메모리 안의 MMR(Maximal Marginal Relevance) 검색 비용은 저장 항목 수와 결과 수에 비례해 늘어나므로 아주 큰 저장소에는 indexing이 필요하다.
  16. 1263Research Agents

    AI-Assisted Scientific Assessment: A Case Study on Climate Change

    • 문제: 지금의 AI co-scientist는 LLM 호출을 병렬로 이어 가설 공간을 대규모로 탐색하는 pipeline이고, 신약 개발이나 코드 최적화처럼 반복 실험으로 바로 정답을 확인하는 작업에서 성과를 냈다. 거시경제학, 역학, 기후과학의 일부 질문은 통제 실험이 어렵고 정답이 측정값 대신 과학자 합의로 정한 지식 상태여서, 저자들은 이런 verification-poor(검증이 어려운) 작업에도 AI가 도울 수 있는지 묻는다.
    • 입력과 출력: 단일 사례 연구 논문이다. AI Assistant는 현재 문서, evidence panel(근거 문서 목록)에 올린 논문(직접 올리거나 Google 검색과 미리 모은 AMOC 논문 약 1,660편에서 찾은 것), 대화 기록, 과학자가 문서 전체나 선택한 문장 범위에 단 지시를 입력으로 받는다. 출력은 outline 초안, 인용과 참고문헌이 달린 절별 초안, 지시에 따른 수정본, 수사와 논증 구조로 본 수정 검토 의견, 로그인 때 보여 주는 변경 요약이다.
    • 방법: 작업은 IPCC(기후변화에 관한 정부간 협의체) 평가를 본뜬 세 단계로 진행했다. Phase 1에서는 Assistant가 만든 outline을 과학자들이 고쳤고, Phase 2에서는 Assistant가 outline을 전체 초안으로 늘린 뒤 절마다 AMOC corpus 전체를 batch로 검토해 관련 논문을 고르고 인용을 달았으며, Phase 3에서는 Assistant가 절들을 한 보고서와 한 참고문헌 목록으로 합쳤다. AI 기여는 Gemini로 구한 문장 정렬로 재며, Retention은 AI 초안 문장 가운데 최종본에 주제가 남은 비율이고 Intervention은 최종본 문장 가운데 AI 초안에 대응 문장이 없는 비율이다.
    • 구현: Vertex AI로 부른 Gemini를 썼고 Phase 1은 Gemini 2.5 Pro, Phase 2와 3은 Gemini 3 Pro Preview였다. AMOC 논문 약 1,660편은 LLM으로 Markdown으로 바꿔 200단어 chunk(20단어 겹침)로 나누고, gemini-embedding-001의 3072차원 embedding 검색과 BM25(고전적인 낱말 일치 검색 방식) 검색을 함께 쓴다. 참여자는 IPCC와 다른 기관 보고서의 책임 저자 경험이 많은 기후과학자 13명이고, 저자들은 이 도구를 비공개 prototype으로 밝혔다.
    • 결과: 과학자 13명은 104개 버전을 거쳐 로그인 시간 합계 46시간 33분에 보고서를 끝냈고, 참여자들은 비슷한 작업에 보통 100에서 200 person-hour가 든다고 추정했다. 보고서의 Retention은 93.9%, Intervention은 58.3%였고(outline은 98.8%와 37.2%), 과학자들은 AMOC 약화에 대한 '완전한 과학적 합의'라는 AI 문장을 뒤집고 인위적 원인 귀속의 신뢰도를 Medium에서 Low로 낮췄다. 사후 설문에서 응답자 모두 2배 이상 빨라졌다고 스스로 답했고, 31%는 10배 넘게 빨라졌다고 답했다.
    • 한계: 저자들은 결과가 한 분야(기후과학), 한 주제(AMOC), 전문가 13명의 한 집단에서 나온 단일 실험이라 AI 없이 사람이 쓰는 baseline 같은 통제 조건이 없다고 밝혔다. Phase 1과 2 사이의 모델 교체는 분석으로 가를 수 없는 confound(혼란 요인)이고, 작업 시간은 로그인 시간으로 잰 근사값이며, 수정 기여 추정은 Gemini 자체 평가에 기댄 탐색용 값이다. AI는 여러 출처의 수치 범위를 합치라는 요청에 한 출처의 수 하나를 고르는 오류를 몇 번 냈고, 반대 결과의 연구를 강하게 요구받으면 그 연구에 지나치게 큰 비중을 주는 obsequious(아첨하는) 행동을 보였다.
  17. 1262Research Agents

    Aster: Autonomous Scientific Discovery over 20x Faster Than Existing Methods

    • 문제: LLM으로 코드를 반복 개선하는 기존 자동 발견 framework는 발견 하나에 흔히 수백에서 수천 번의 반복이 필요해서, 평가 시간이 짧은 문제로 쓰임이 제한된다고 저자는 보았다. 몇 시간짜리 ML 학습처럼 평가가 긴 과제에서는 수천 번을 반복하는 시간이 감당하기 어려운 수준이 된다.
    • 입력과 출력: 이 논문은 asterlab.ai의 web interface와 API로 쓸 수 있는 AI agent 시스템 Aster(저자 소속 Aster AI Labs)를 소개하고 여러 과제 결과를 보고한 시스템 논문이다. 사용자는 과제 prompt, 초기 프로그램, 성능을 재는 평가 script를 주고, Aster는 개선된 프로그램을 낸다. Aster가 만든 프로그램(겹침 최적화, 단일 세포 denoising, TriMul(Triangular Matrix Multiplication) kernel, NanoGPT 변경분, ZAPBench 모델)은 부록에 실렸다.
    • 방법: 원문이 밝힌 동작은 LLM이 기존 프로그램과 prompt로 새 프로그램을 만들고, evaluator가 점수를 매기고, 결과를 database에 저장하는 반복이다. 기존 framework와 같은 입력(초기 프로그램, evaluator, prompt)을 쓰면서 필요한 반복 수를 줄여, 몇 시간씩 걸리는 학습 평가까지 다룰 수 있게 하는 것이 목표다. 원문의 방법 설명은 Figure 2의 개요 수준에 머문다.
    • 구현: 원문이 모델 구성을 밝힌 실험은 circle packing의 두 run으로, OpenEvolve와의 속도 비교 run은 같은 모델 구성(Gemini 2.0 Flash 80%, Claude 3.7 Sonnet 20%)을, 알려진 최고값에 닿은 run은 Aster 기본 모델 구성(모델 이름 미기재)을 썼다. 평가 script와 prompt 상당수는 TTT-Discover(Table 1의 이전 AI 최고 기록을 낸 연구)의 저장소에서 가져와 고쳐 썼고, TriMul은 NVIDIA H100에서, ZAPBench 평가는 NVIDIA T4 GPU에서 돌렸다. 원문이 밝힌 이용 경로는 asterlab.ai의 web interface와 API다.
    • 결과: 원 26개 배치(circle packing)에서 OpenEvolve가 115번 반복해 얻은 2.634를 같은 모델 구성의 Aster는 5번 만에 2.6353으로 넘었고, 기본 모델 구성의 Aster는 6번 만에 알려진 최고값 2.635983에 닿았다. Erdős 최소 겹침 문제는 40번 반복으로 0.380874(TTT-Discover 0.380876), 단일 세포 denoising은 30번으로 0.711(TTT-Discover 0.709), TriMul kernel은 70번으로 1114 µs(TTT-Discover 1161 µs)를 냈고, NanoGPT Speedrun 기록은 8번 반복으로 96.8초에서 95.2초로 줄였다. ZAPBench에서는 34번 반복 끝에 사람 최고 모델과 같은 MAE 0.0182를 냈고, 저자는 이를 190배 적은 계산량으로 얻었다고 보고했다.
    • 한계: 속도 비교는 circle packing 한 과제에서 OpenEvolve 하나와 했고, 4개씩 병렬로 만든 OpenEvolve의 460번 시도를 115번 반복으로 세었다. ZAPBench에서는 사람 최고 성능과 같은 수준에 그쳤고, Aygün 등의 tree search 시스템은 비슷한 실행 시간 제약에서 MAE 0.0176을 냈다고 원문이 적었다. TriMul의 70번 반복은 다른 GPU image에서 94번 돌려 얻은 최고 프로그램을 초기 프로그램으로 삼아 시작했다.
  18. 1261Reasoning / Survey

    A Survey of Agentic Reasoning for Large Language Models: Towards Recursively Self-Improving and Collective Agents

    • 문제: LLM은 수학과 코드 benchmark 같은 닫힌 환경에서는 추론을 잘한다. 그러나 Chain-of-Thought prompting, decomposition, program-aided solving처럼 중간 추론을 드러내는 기법은 흔히 고정된 context와 짧은 추론을 전제하고, 기존 LLM에는 정보가 바뀌는 열린 환경에서 행동하고 적응하고 나아질 장치가 없다. 기존 survey는 모델 내부의 추론이나 agent 구조를 주로 다뤄서, 저자들은 추론을 planning, 행동, 학습을 잇는 중심 원리로 놓고 연구를 다시 정리한다.
    • 조사 범위: 이 논문은 survey다. 2025년까지의 연구를 대상으로 단일 agent와 multi-agent의 planning, tool use, search, feedback, memory, self-improvement를 정리하고, 수학과 코딩, 과학 발견, embodied agent, 의료, 웹 탐색과 연구 agent의 응용과 benchmark를 별도 장에서 다룬다. 공식 저장소(Awesome-Agentic-Reasoning)는 같은 분류로 논문 목록 표를 모은 README와 그림 폴더(figs), 발표 자료 폴더(materials)를 공개한다.
    • 분류: 환경 조건(environmental dynamics)에 따라 foundational 층(단일 agent의 planning, tool use, search), self-evolving 층(feedback, memory, 적응), collective 층(multi-agent의 역할 분담, 협업, co-evolution)을 둔다. 층마다 parameter를 고정한 채 추론 시점의 계산과 orchestration을 늘리는 in-context 방식과, RL과 fine-tuning으로 성공한 추론 방식을 weight에 넣는 post-training 방식을 나눈다. 정식화는 POMDP(부분 관측 마르코프 결정 과정) 위에서 policy를 내부 추론과 외부 행동으로 나누는 방식이다.
    • 정리 내용: self-evolution은 바뀌는 대상에 따라 verbal(글로 쓴 반성과 지침, Reflexion), procedural(실행 가능한 tool과 skill의 library, Voyager), structural(agent의 소스 코드와 구조, AlphaEvolve)의 세 종류로 나눈다. feedback은 추론 중 자기 비판으로 고치는 reflective feedback, 학습으로 parameter에 넣는 parametric adaptation, unit test 같은 validator를 통과할 때까지 다시 뽑는 validator-driven feedback으로 나누고, 마지막 방식은 신호에 진단 정보가 없어 개별 출력을 바로잡는 데 그친다고 정리한다.
    • 응용과 benchmark: 연구 agent 응용으로 아이디어 생성, 코드 작성, 실험 실행, 결과 시각화를 자동으로 잇는 The AI Scientist와, reviewer agent의 자동 peer review feedback과 반복 preference 학습으로 연구 agent가 다음 초안을 다듬는 CycleResearcher 등을 정리한다. benchmark는 tool use, search, memory와 planning, multi-agent 같은 메커니즘 단위와 실제 분야 단위로 나눠 소개하고, 예로 ToolLLM-ToolBench가 49개 분야의 실제 API 16,464개를 모았다고 적는다.
    • 한계: 저자들은 남은 문제로 사용자 맞춤(personalization), 긴 상호작용에서 token, tool 호출, skill, memory 갱신 사이의 credit assignment, 변하는 환경에서 world model을 학습하고 평가하는 일, multi-agent 협업 학습, latent 공간 추론의 감사 가능성, 실제 배치의 governance를 꼽는다. 기존 benchmark와 guardrail은 주로 짧은 범위의 행동을 보고, multi-agent memory를 post-training으로 함께 최적화하는 연구는 아직 드물다고 밝혔다.
  19. 1260Research Agents

    Why LLMs Aren't Scientists Yet: Lessons from Four Autonomous Research Attempts

    • 문제: 저자들은 최신 reasoning LLM이 높은 자율성, 최소한의 코드 scaffolding, 가장 기본적인 tool로 연구 아이디어에서 논문까지 갈 수 있는지를 묻는다. 여러 AI Scientist 시스템은 분야별 workflow를 미리 정해 두거나 문제 설정을 시스템에 맞춰 두었고, Sakana의 tree search 방식을 쓰려면 복잡한 meta-orchestration이 필요했으며, AlphaEvolve는 사람 전문가가 미리 정한 검증 지표가 있어야 한다. 범위는 실험을 전부 컴퓨터 안에서 할 수 있는 머신러닝 연구로 좁혔다.
    • 입력과 출력: 한 하위 분야의 논문 두 편을 받아 아이디어를 만들고, 가설, 실험 계획, 코드, 실험 출력을 거쳐 ML 논문 원고를 내는 것이 목표다. 논문 종류는 직접 만든 시스템으로 네 번 시도한 사례 연구(case study)이고, World Models, multi-agent RL, AI 안전과 alignment의 세 분야에서 135편이 넘는 논문으로 시작해 아이디어 4개를 골라 처음부터 끝까지 가는 시도를 했다.
    • 방법: Idea Generation, Hypotheses Generation, Experiments Planning, Experimental Output Evaluation, Revision, Paper Outlining의 agent 6개가 연구 단계를 나눠 맡는다. Experiments Planning Agent가 만든 plan.md와 agent.md를 받아 Claude Code가 코드를 짜고 Modal(클라우드 실행 환경)에서 실행하며, 모든 산출물은 아이디어마다 둔 repository에 파일로 남고 각 agent는 그 repository 상태를 prompt로 받아 read file, write file, list files, llm search 네 tool로 일한다. Experimental Output Evaluation Agent는 주로 가설 구현 충실도와 통계적 타당성을 검토하고, 실패로 판정되면 Revision Agent가 아이디어 수정, 가설 수정, LLM mentor 의견 요청 가운데 다음 단계를 고른다.
    • 구현: agent 6개는 모두 Gemini 2.5 Pro를 썼고 저자들은 주로 긴 context 때문에 골랐다고 밝혔으며, 코드 구현과 논문 작성은 Claude Code가 Claude Opus 4.1과 Claude Sonnet 4로 맡았다. 아이디어는 분야마다 논문 약 45편에서 50편을 모아 분야당 최대 15개를 만든 뒤 Claude Opus 4.1로 돌린 zero-shot 검토 prompt 4개로 추렸고, 먼저 시도한 아이디어 3개는 원 논문 저자의 의견을 받아, 마지막 아이디어는 앞선 시도의 교훈을 반영한 내부 검토로 골랐다. 공식 저장소 README 기준으로 실패 3건과 성공 1건의 아이디어 폴더 4개, 그리고 아이디어 생성, 가설 생성, 실험 계획, 논문 작성 단계의 prompt가 올라와 있고, 저자들은 전체 시스템 구조 대신 prompt와 일부 출력만 공개했다고 밝혔다.
    • 결과: 4건 가운데 3건은 실행이나 평가 단계에서 실패했고, AS-1(semantic entropy로 jailbreak 탐지)만 AI를 제1저자로 요구한 Agents4Science 2025에 채택됐다(유효 제출 254편 가운데 48편 채택). 저자들이 꼽은 실패 유형 6가지는 낡은 라이브러리 설치 같은 학습 데이터 기본값으로 돌아가기, implementation drift, 긴 작업의 memory와 context 손실, overexcitement, 분야 지식 부족, scientific taste 부족이고, 예로 stochastic world model에 differentiable tree search를 붙이려던 WM-1에서는 시간 제한에 걸린 Claude Code가 tree search를 actor-critic 방식으로 바꿨고 실험은 seed 1개로 돌았다. 이를 바탕으로 Start Abstract, Ground Later(추상에서 시작해 나중에 구체화), Verify Everything, Plan For Failure and Recovery, Log Everything의 설계 원칙 4가지를 제시했다.
    • 한계: 저자들은 범위가 실험을 전부 컴퓨터 안에서 하는 ML 연구로 한정되고, 세 하위 분야의 아이디어 4개를 여러 구현 가운데 최선을 고르는 best-of-N 대신 구현 하나로 진행했으며, 학회 제출이 주목적이라 구조 변경 이력을 체계적인 ablation으로 남기는 일이 빠져 성공 1건과 실패 3건을 가른 변경을 가려내기 어렵다고 밝혔다. 실패 유형은 정성 관찰로 정리했고, 공개물은 전체 시스템 구조 대신 prompt와 일부 출력이다. AS-1의 실험 설계, 실행, 작성은 AI 비중 95% 이상으로 매겨졌지만, 아이디어 검토, 논문 작성, 실행 중 meta-prompting에는 사람이 개입했고 실패한 실험 대부분도 사람이 중단했다.
  20. 1259Research Agents

    FML-bench: Benchmarking Machine Learning Agents for Scientific Research

    • 문제: 기존 ML agent benchmark는 대개 Kaggle식 응용 과제에서 feature engineering, 표준 모델 학습 같은 엔지니어링 실행을 보고, 주로 최종 성능과 계산 비용을 평가한다. 그래서 일반화, 표현 학습 같은 기초 ML 연구 문제를 푸는 능력은 덜 평가됐고, agent가 반복하며 연구하는 과정의 특징이 결과와 어떻게 이어지는지도 분석하기 어려웠다.
    • 입력과 출력: benchmark 논문이다. agent는 과제 설명, 실제 연구 저장소의 코드 전체, 고치라고 권하는 파일, 고칠 수 없게 막은 평가 코드, 실험 명령 목록, baseline 성능, 목표 지표를 받고, 가설을 세워 코드를 고치고 명령을 실행하는 반복을 거쳐 baseline보다 좋은 실험 결과를 내는 새 방법이나 개선한 방법을 내도록 요구받는다. 저장소마다 다른 출력은 후처리 모듈이 표준 형식으로 바꾸고, Performance 점수는 반복 가운데 held-out test set에서 가장 좋은 결과다.
    • 방법: 과제 8개의 dataset과 baseline은 일반화가 ColoredMNIST와 ERM(Empirical Risk Minimization), 데이터 효율이 Mini-ImageNet과 Prototypical Networks, 표현 학습이 CIFAR-10과 MoCo, 지속 학습이 splitMNIST와 Synaptic Intelligence, 인과 추론이 IHDP(Infant Health and Development Program)와 DragonNet, 견고성이 backdoor 공격을 넣은 MNIST(손글씨 숫자 이미지)와 dp-instahide, 프라이버시가 CIFAR-10과 Wide-ResNet-28-2, 공정성이 COMPAS(재범 예측 dataset)와 Adversarial Debiasing이며, 모두 DomainBed, Lightly, AIF360 같은 실제 연구 저장소 위에 만들었다. 성능과 비용 외에 반복마다 만든 코드의 GraphCodeBERT(data flow를 반영하는 code 표현 모델) embedding이 중심에서 퍼진 정도인 Exploration Diversity, 실행한 반복 가운데 오류 없이 결과를 낸 비율인 Step Success Rate, 배정된 반복 가운데 실제로 실행한 비율인 Step Completion Rate를 새로 제안한다.
    • 구현: 탐색 전략이 서로 다른 TheAIScientist(넓은 병렬 탐색), AIDE(tree 탐색, 상용 버전 Weco로 실행), Claude Code(prompt로 지시한 선형 개선)를 비교했다. TheAIScientist와 AIDE에는 GPT-5와 Gemini-2.5-Pro를, Claude Code에는 Opus-4.1을 썼고, agent마다 100 step 예산으로 세 번 독립 실행해 test set 기준 가장 좋은 결과를 골랐다. 공식 저장소 qrzou/FML-bench의 README는 이 논문 버전의 코드가 legacy branch에 있다고 적었고, 기본 branch의 README는 과제 18개와 agent 7개를 담은 새 버전을 설명한다.
    • 결과: TheAIScientist와 Gemini-2.5-Pro 조합이 과제 8개 가운데 4개에서 1위로 가장 좋았고, AIDE와 Gemini-2.5-Pro 조합이 2개에서 1위였다. 평균 Exploration Diversity는 TheAIScientist 24.66, AIDE 23.50, Claude Code 8.75였고, diversity와 성능의 상관계수는 다섯 과제에서 양수였으며 그 가운데 p < 0.05인 과제는 데이터 효율(0.6287)과 지속 학습(0.8374) 두 개였다. Step Completion Rate는 TheAIScientist가 1.00, Claude Code가 0.07이었고, token 사용량이 기록된 두 agent 가운데 Claude Code가 성능이 더 낮은데도 총 9.06M으로 TheAIScientist보다 많이 썼다.
    • 한계: 저자들은 agent를 고정하고 LLM을 바꾸면 exploration diversity 외에 추론과 코드 작성 같은 LLM의 다른 능력도 성능을 좌우한다고 밝혔고, 인과 추론, 견고성, 프라이버시 과제에서는 diversity와 성능의 상관계수가 음수였다. AIDE는 대상 codebase의 구조를 잘못 읽고 실제 실행 흐름 밖에 남는 class를 만들기도 했고, 일반화와 데이터 효율 과제에서 점수가 baseline과 같았는데 저자들은 AIDE가 한 파일만 고칠 수 있다는 점이 그 원인일 수 있다고 보았다. 실험은 과제 8개, agent 3개, agent마다 세 번 실행한 최고 결과로 한정되고, AIDE는 내부 동작을 제어하기 어렵고 token 사용량 기록이 빠진 상용 Weco로 실행했으며 Weco의 cloud 장애로 일찍 끝나기도 했다.
  21. 1258Computer Vision

    SciVideoBench: Benchmarking Scientific Video Reasoning in Large Multimodal Models

    • 문제: 기존 영상 benchmark 대부분은 영화, 일상 활동, 절차 안내 영상(instructional video) 같은 일반 장면을 다루고, Gemini 2.5 Pro는 VideoMME와 Neptune에서 85%를 넘는 정확도로 이미 포화된 점수를 냈다. 과학과 교육 영상을 넣은 최근 benchmark도 대부분 대학 수준에 머물고 MMVU benchmark의 일부 문제는 영상 없이 풀 수 있어, 연구 수준 실험 영상에서 지각, 전문 지식, 추론을 함께 재는 시험이 필요했다.
    • 입력과 출력: 이 논문은 benchmark 논문이다. 모델은 JoVE가 학술지 논문과 함께 게재한 연구 실험 영상 하나와 객관식 질문을 받아 보기 10개 가운데 답 하나를 고른다. 문제는 물리, 화학, 생물, 의학의 25개가 넘는 세부 분야 영상 241개에서 만든 1,000개이고, 정량 추론(Quantitative) 245개, 가설 추론(Hypothetical) 385개, 개념 추론(Conceptual) 370개로 나뉜다.
    • 방법: 분야별 박사과정생 4명이 만든 예시를 GPT-4o로 늘려 질문 유형마다 예시 12개를 두고, Gemini 2.5 Pro 기반으로 질의응답(QA) 쌍을 만드는 QA Generator가 영상, Whisper로 받아 적은 음성 자막, 논문 본문으로 문제 초안을 만든다. Evaluator는 직접 풀어 답할 수 있는 문제인지 확인하고, Visual Comparer는 풀이 근거가 영상에 있는지 보고 timestamp를 붙이며, Refiner는 질문이 영상 구간을 직접 가리키도록 고쳐 영상을 봐야만 풀리게 만든다. 마지막으로 사람 검수자가 timestamp와 답을 확인하고, 자막에만 나오는 질량이나 온도 같은 핵심 정보는 script로 해당 영상 frame에 덧씌운다.
    • 구현: 오답 보기(distractor)는 개념과 가설 문제에서는 Gemini 2.5 Pro가 그럴듯한 오답 9개를 만들고, 정량 문제에서는 정답에 Gaussian noise를 더해 만들었다. 평가는 LMM-Eval toolkit(대형 멀티모달 모델 평가 도구)으로 NVIDIA H100 GPU 8개에서 temperature 0으로 실행했다. 공식 저장소 dengandong/SciVideoBench에는 README, figs 폴더, lmms-eval용 scivideobench task 폴더가 있고, README는 이 benchmark가 lmms-eval에 통합되었고 데이터는 Hugging Face에 있다고 밝혔다.
    • 결과: 기본 평가(Table 2)에서 전체 정확도는 Gemini-2.5-Pro가 64.30%로 가장 높았고, 오픈소스 최고 모델 InternVL-3-78B-Instruct는 38.80%였다. 영상 없이 글만 받은 GPT-4o는 15.80%였고, 분야마다 대학원생 세 명이 자료 없이 푼 사람 평가는 17.4%였다. Chain-of-thought prompt를 주자 Gemini-1.5-Pro의 전체 정확도는 21.10%p, GPT-4o의 정량 추론 정확도는 11.84%에서 34.29%로 올랐다.
    • 한계: 영상은 모두 JoVE 한 곳에서 가져왔고, 문제 형식은 보기 10개 가운데 하나를 고르는 객관식이다. 사람 baseline은 분야마다 대학원생 세 명이 자료 없이 푼 점수 하나뿐이다. 오류 원인 분석은 Gemini-1.5-Pro-Thinking과 Gemini-2.0-Flash-Thinking의 풀이만 사람이 검증한 풀이 근거(rationale)와 대조했다.
  22. 1257RAG / Agents

    IoDResearch: Deep Research on Private Heterogeneous Data via the Internet of Data

    • 문제: 과학 데이터는 흔히 출처가 여럿이고 형식과 모달리티가 제각각이며, 통일된 표현 표준과 상호 운용 장치가 부족해 활용 효율이 낮다(예: 재료과학 연구는 보통 실험, 시뮬레이션, 문헌 기록에서 나온 이종 데이터를 다룬다). 기존 Deep Research agent는 주로 웹 검색에 기대고 로컬 이종, multimodal 데이터 탐색은 제한적이어서, private 데이터 검색 효율이 낮고 FAIR(찾을 수 있고, 접근할 수 있고, 상호 운용되고, 재사용할 수 있는 데이터) 원칙에서 벗어나는 경우가 많다.
    • 입력과 출력: 사용자의 private 이종 데이터(논문, 데이터셋, 이미지, 표 등)와 질문 또는 보고서 주제를 받아, 관련 DO, 사실 답변, 구조화된 과학 보고서 가운데 하나를 낸다. 논문 종류는 데이터 표현과 multi-agent Deep Research 시스템을 구현해 실험한 시스템 논문이며, 직접 만든 IoD Deep Research Benchmark도 함께 제안한다.
    • 방법: 원자료는 DOI와 metadata를 붙인 DO로 감싸고, 긴 문서는 chunk마다 Level-2 DO로 나누며, LLM이 요약, 가상 질문, 분류 label, keyword 같은 속성을 metadata에 더한 뒤 분야별 IoD를 하나의 IoD 네트워크로 잇는다. knowledge refinement 층은 vector, 더 쪼갤 수 없는 사실 단위인 atomic knowledge(예: 아스피린의 일반 복용량 300 mg), LLM으로 뽑은 knowledge graph를 만들고, MCP(Model Context Protocol) tool이 DO, chunk, 사실과 subgraph의 세 단위로 keyword, vector, graph 추론, hybrid 검색 등을 제공한다. IoDAgents는 계획을 세워 사용자 확인을 받는 Planner, 검색 결과를 LLM으로 걸러 내고 근거가 부족하면 질의를 고쳐 다시 찾으며 분석과 시각화에는 code tool을 쓰는 Worker Team, 보고서를 쓰는 Writer와 검색 근거와 어긋난 곳을 바로잡는 Checker로 된 Reporter Team으로 나뉜다.
    • 구현: 문서 파싱에는 MinerU 같은 open-source tool을 쓰고, 모든 비교 방법은 같은 원자료와 같은 base LLM인 Qwen-Turbo로 실행했다. benchmark는 중국 법률, 지구물리 탐사, 컴퓨터 과학, 분자 동역학 네 분야의 문서와 논문 500편 이상(약 6 million token)을 DO로 감싸 만들었고, DO 검색 200문항, RAG 기반 질의응답 800문항(단일 분야 400, 분야 간 multi-hop 400), 보고서 작성 60문항(단일 분야 30, 분야 간 30)으로 이뤄진다. 보고서는 Qwen-Turbo(temperature 0)가 다섯 기준으로 세 번 매긴 평균과, 같은 기준에 사실 정확성을 더해 방법을 모른 채 매긴 전문가 점수로 평가했다.
    • 결과: Task 1인 DO 검색에서 IoDResearch는 F1 82.64(precision 76.26, recall 90.18)로 LightRAG 78.93, DO-RAG 76.21, Naive RAG 62.05보다 높았다. Task 2 질의응답의 답 정확도는 단일 분야 79.98, 분야 간 59.40으로, 이 과제의 baseline 세 개(Naive RAG, DO-RAG, LightRAG) 가운데 가장 높은 LightRAG의 75.55와 56.67을 넘었다. Task 3 보고서 작성의 전문가 점수는 단일 분야 7.01, 분야 간 6.45로 비교한 방법 가운데 가장 높은 DeepSearcher의 6.77과 6.02보다 높았고, multi-agent 부분을 뺀 ablation은 6.56과 5.94로 낮아졌다.
    • 한계: 저자들은 현재 pipeline이 주로 텍스트 기반이라 multimodal 데이터는 전처리와 context 구성에서 정보가 빠질 수 있다고 밝혔고, end-to-end multimodal pipeline과 post-training 연구는 다음 과제로 남겼다. 실험은 저자들이 만든 benchmark의 네 분야에서 base LLM 하나(Qwen-Turbo)로 했고, LLM 평가 모델도 같은 Qwen-Turbo다. DeepSearcher와의 비교는 보고서 작성 과제 하나에서 이뤄졌고, 결론은 고른 baseline과 평가한 과제 설정 안에서 앞섰다고 범위를 한정한다.
  23. 1256Research Agents

    The Automated LLM Speedrunning Benchmark: Reproducing NanoGPT Improvements

    • 문제: 과학 결과는 재현돼야 믿을 수 있어서, 자동화된 과학에는 실험 설명을 받아 다시 구현하고 보고된 결과를 다시 얻는 자동 재현 능력이 필요하다. 기존 재현 benchmark는 서로 관련 없는 경우가 많은 여러 논문으로 평가하므로, 저자들은 LLM 학습 가속이라는 한 과제에서 쌓여 온 여러 연구 개선을 차례로 재현하는 능력을 재는 benchmark를 만든다.
    • 입력과 출력: benchmark 논문이다. 과제 19개마다 agent는 이전 기록의 GPT-2 학습 script(train_gpt2.py)와 선택적으로 세 수준의 hint(pseudocode, 글 설명, 논문 형식의 mini-paper)를 받고, FineWeb 검증 loss 3.28에 더 빨리 닿는 새 학습 script를 낸다. 점수는 사람이 만든 다음 기록의 학습 시간 단축 가운데 agent가 되찾은 비율인 FSR(fraction of speedup recovered)이고, hint 없이 스스로 개선을 찾게 하는 record optimization 과제도 둔다.
    • 방법: 저자들은 AIDE(AI-driven exploration in the space of code)를 일반화한 탐색 scaffold(LLM을 반복 호출해 해답을 찾는 프로그램)를 함께 낸다. 탐색 tree의 node 하나는 학습 script와 결과 파일을 담은 해답이고, 매 단계 coding assistant인 Aider가 diff 방식으로 코드를 고치고(구현), 8xH100 node에서 실행하고(실행), 출력을 자연어로 요약한다(분석). 가지 수와 debug 확률을 바꿔 Flat(best-of-M), Tree, Forest, AIDE, Multi-AIDE의 다섯 탐색 방식을 만들고 같은 탐색 단계 예산으로 비교한다.
    • 구현: 기록 19개마다 DeepSeek-R1, o3-mini, Gemini-2.5-Pro, Claude-3.7-Sonnet을 다섯 탐색 방식, 여섯 hint 조건, seed 3개로 실행해 agent 실행은 모두 6,840번이었고, 해답 하나의 실행 시간 상한은 60분, agent 실행 하나는 평균 약 10시간 걸렸다. hint는 R1이 초안을 쓰고 사람이 확인한 뒤 필요한 곳을 고쳤으며, 탐색 설정은 N0 = 3, N = 3, pdebug = 0.5, Dmax = 5, 탐색 예산 M = 20 node였다. 공식 저장소 facebookresearch/llm-speedrunner는 README 기준으로 scaffold 코드(core), 과제별 시작 workspace, 수준별 hint 데이터, 논문 실험용 Slurm launch script, 분석 notebook을 공개한다.
    • 결과: hint가 없으면 모든 agent가 되찾은 속도 향상이 사람 해답의 평균 20% 이하였다. 가장 나은 o3-mini는 pseudocode hint를 받았을 때 다섯 탐색 방식에서 FSR 0.40에서 0.43이었고, 세 hint를 함께 받았을 때는 Multi-AIDE에서 0.46으로 가장 높았으나 나머지 네 방식에서는 0.24에서 0.39로 pseudocode 하나를 받았을 때보다 낮았다. o3-mini가 자기가 만든 코드 위에서 다음 기록을 이어 재현하는 누적 실험에서는 첫 과제에서 약 60%를 되찾았으나 다음 과제는 약 20%로 떨어졌고, 세 번째 기록에서는 되찾은 속도 향상이 없었다.
    • 한계: 저자들은 hint가 짧고 사람이 정해 과제에 바로 넣어 주는 방식이라, agent가 function calling과 memory로 외부 지식을 찾아 쓰는 더 현실적인 설정은 앞으로 할 일로 남겼다. 많은 기록이 실험한 모델들의 knowledge cut-off(학습 데이터 마감 시점) 전에 공개됐을 수 있어 모델이 해답을 이미 봤을 가능성이 있고, 저자들은 모델이 benchmark를 포화시키기 시작하면 암기와 일반화를 따로 가리는 일이 더 필요해질 수 있다고 보았다. 이 benchmark는 새 개선을 만드는 능력보다 재현 능력을 주로 재며, 저자들은 머신러닝 분야 전반의 다음 발전에도 통하는 agent를 만들려면 여러 파일의 codebase, 학습 시간 밖의 지표, 한 node를 넘는 분산 학습을 다루는 더 복잡한 과제가 필요하다고 보았다.
  24. 1255Machine Learning

    ALINE: Joint Amortization for Bayesian Inference and Active Data Acquisition

    • 문제: 임상시험이나 재료 과학처럼 예산과 데이터가 제한된 분야에서는 정보가 많은 데이터를 골라 모으면서 그 데이터로 바로 추론하는 시스템이 필요하다. amortized Bayesian 추론은 추론이 빠르지만 대개 데이터가 수동으로 주어진다고 가정하고, amortized 데이터 수집은 정보가 많은 점을 잘 고르지만 새 데이터로 하는 추론은 흔히 amortization 밖에 있어 MCMC(Markov chain Monte Carlo, 표본을 반복해 뽑아 posterior를 추정하는 방법) 같은 별도의 비싼 절차가 필요할 수 있다. 기존 amortized 수집 방법은 대개 모든 parameter나 정해진 예측 목표 하나의 정보 이득을 최적화해서, 일부 parameter만 알고 싶을 때 목표를 바꾸기 어렵다.
    • 입력과 출력: ALINE은 지금까지 모은 관측(context set), 다음에 관측할 수 있는 후보 점(query set), 이번 추론 목표(target set)를 받는다. 한 번의 forward pass로 목표 parameter의 posterior나 예측 분포를 내고, 후보 점 가운데 다음에 관측할 점을 고른다. 논문 종류는 amortized Bayesian 추론과 능동 데이터 수집을 한 모델로 묶은 방법 논문이고, 실험은 simulation 과제와 실제 hyperparameter 성능 자료인 HPO-B benchmark에서 했다.
    • 방법: 한 transformer가 세 입력을 함께 처리하고, 후보 점이 target set을 직접 보는 query-target cross-attention을 더해 후보를 고를 때 지금 목표에 맞춘다. policy는 매 단계 자기 inference head가 낸 target의 log 확률이 오른 만큼을 reward로 받는 policy gradient RL로 학습하며, 저자들은 이 목표가 전체 정보 이득의 variational 하한임을 보였다. 처음에는 무작위로 고른 점으로 inference 부분만 학습하는 warm-up을 거친 뒤 두 부분을 함께 학습하고, policy loss의 gradient는 policy parameter만 갱신한다.
    • 구현: transformer layer 3개(layer마다 attention head 4개, 내부 embedding 32차원)를 두 head가 공유하고, inference head는 성분 10개의 Gaussian mixture로 posterior와 예측 분포를 나타내며, policy head는 후보 점마다 확률을 내는 2층 MLP(다층 퍼셉트론)다. active learning용 모델은 GP(Gaussian Process) prior에서 뽑은 합성 함수로만 학습했고, 연구 전체에 AMD MI250X GPU 약 5000시간이 들었으며 모델 하나 학습에 약 20시간이 걸렸다. 공식 저장소 README는 학습 script train_aline.py와 hydra 설정(config), model, tasks, loss, distributions, utils, 평가 notebook 폴더를 두고, GP active learning 1D와 2D, Location Finding, CES, psychometric model의 학습 명령을 적었다.
    • 결과: Location Finding에서 ALINE의 전체 EIG 하한은 8.91로 amortized BED 방법인 RL-BOED(7.70), DAD(Deep Adaptive Design, 7.33), vsOED(7.30)를 포함한 모든 baseline보다 높았고, CES에서는 13.50으로 RL-BOED(14.60) 다음이었다. active learning에서는 학습 분포와 같은 GP 함수에서 가장 좋은 GP 기반 방법과 비슷했고, 학습에 없던 benchmark 함수 네 개 가운데 세 개에서 baseline보다 RMSE(root mean squared error)가 낮았다. 심리측정(psychometric) 모델에서 guess rate(추측으로 맞히는 비율)와 lapse rate(자극과 무관한 실수 비율)를 target으로 정하면, ALINE과 일부 parameter만 겨냥할 수 있는 기존 방법 Psi-marginal이 모든 parameter를 함께 겨냥하는 QUEST+보다 뚜렷이 정확했고, ALINE이 다음 자극을 고르는 시간은 단계당 0.002초로 QUEST+(0.07초)와 Psi-marginal(0.02초)보다 짧았다.
    • 한계: ALINE은 미리 정한 고정 prior로 학습해서 prior가 바뀌면 다시 학습해야 하고, posterior는 parameter마다 따로(marginal) 추정해 결합 posterior 추정은 후속 과제로 남았다. 배치 때 관측이 학습 데이터와 크게 다르면 성능이 떨어질 수 있고, 출력 범위가 사전 학습 GP 함수의 범위를 넘는 Three Hump Camel 함수에서는 ALINE과 ACE-US(amortized 추론 모델 ACE에 uncertainty sampling을 붙인 baseline)의 정확도가 낮아졌다. 구조가 고정된 입력 차원과 이산 설계 공간에 맞춰져 있어, 저자들은 차원에 무관한 구조와 연속 설계 공간 지원을 후속 과제로 꼽았다.
  25. 1254Research Agents

    AI-Researcher: Autonomous Scientific Innovation

    • 문제: 문헌 분석이나 실험 설계를 맡는 시스템은 있지만, 가설 생성부터 논문 수준 보고서까지 연구 전 과정을 잇는 시스템은 부족하다고 저자들은 보았다. 여러 분야에서 자율 연구를 재는 표준 benchmark도 없어서 진전을 체계적으로 재기 어렵다고 밝혔다.
    • 입력과 출력: 이 논문은 연구 전 과정을 자동화하는 multi-agent 시스템 AI-Researcher와 평가 benchmark Scientist-Bench를 함께 낸 시스템 논문이다. Scientist-Bench는 2022년부터 2024년까지의 논문 22편을 ground-truth 논문으로 두고, 시스템에 참고 논문 15편에서 20편, 연구 지시문, dataset을 준다(Level-2 과제는 지시문을 빼고 준다). 시스템은 구현 코드와 배경, 방법, 실험, 결과를 담은 기술 보고서를 낸다.
    • 방법: Knowledge Acquisition Agent가 GitHub 저장소를 5개 이상 고르고 해당 arXiv LaTeX 원문을 모으면, Resource Analyst가 아이디어를 atomic concept(더 쪼갤 수 없는 연구 개념)으로 나눠 수식과 코드 구현을 짝짓는다. Idea Generator는 연구 방향 다섯 개를 낸 뒤 가장 유망한 하나를 발전시키고, Code Agent와 Advisor Agent는 학생과 지도교수처럼 구현과 feedback을 되풀이한다. Documentation Agent는 개요 작성, 본문 작성, checklist 검토 세 단계로 논문을 쓴다.
    • 구현: 분석과 실행은 모두 Docker container 안에서 돌고, 시험 구현은 보통 1에서 2 epoch나 작은 data subset으로 먼저 돌린 뒤 전체 실험으로 넘어간다. 평가에 쓴 paper review agent(두 논문을 비교해 점수를 매기는 agent)는 ICLR(International Conference on Learning Representations) 2021년부터 2023년까지의 채택, 탈락 논문 32쌍에서 채택 논문에 더 높은 점수를 준 비율이 LLM judge에 따라 65.62%에서 90.62%였다. README 기준으로 GitHub 저장소에는 research_agent와 paper_agent 코드, benchmark 데이터와 수집 과정(benchmark, benchmark_collection 폴더), Dockerfile, gradio 기반 web GUI(graphical user interface), 생성 예시 논문과 코드(examples 폴더)가 있고, README는 실행용 Docker 이미지(tjbtech1/airesearcher:v1)를 내려받거나 Dockerfile로 직접 만드는 방법을 안내한다.
    • 결과: Claude 계열 모델로 benchmark 전체를 돌렸을 때 completeness(inference budget 안에 실행 가능한 코드를 낸 비율)는 93.8%였고, Advisor Agent의 분석을 바탕으로 Judge Agent가 1에서 5점으로 매긴 correctness는 평균 2.65점이었다. 다섯 LLM judge가 생성 논문과 ground-truth 논문을 짝지어 -3에서 3으로 매긴 Level-1 비교(Table 2)에서 -1.0 이상을 받은 비율은 judge에 따라 13.64%에서 81.82%였다. 지시문 없이 수행한 Level-2 비교(Table 3)에서는 같은 비율이 50.00%에서 100.00%였다.
    • 한계: 실패 사례 분석에서 생성 연구는 주로 일반적인 기법과 표준 수식에 기대고 이론 분석이 얕았으며, 한 Level-1 지식 그래프 추천 과제에서는 사람 연구자가 쓴 Gumbel reparameterization을 놓쳤다고 저자들이 밝혔다. 현재 구현은 외부 memory 시스템 대신 LLM의 context window와 이전 단계 요약으로 정보를 이어 가고, 저자들은 LLM judge가 내용보다 표현을 높게 치는 경향도 지적했다. 실험 범위는 네 AI 분야의 22편(Level-2는 Table 1 기준 6개 과제)이며, 본문 4.3절과 4.4절의 요약 범위는 Table 2, Table 3 값과 다르다.
  26. 1253Research Agents

    Agentic AI for Scientific Discovery: A Survey of Progress, Challenges, and Future Directions

    • 문제: LLM 기반 agent는 인용 관리, 문헌 찾기, 학술 survey 작성 같은 일반 연구 workflow의 자동화에서 진전을 보였지만, 저자들은 이런 시스템에 생명의학처럼 문헌을 구조적으로 평가해야 하는 분야에 필요한 분야 특화와 규정 준수 수준의 엄밀함이 자주 부족하다고 지적했다. 예로 Agent Laboratory는 데이터 준비, 실험, 보고서 작성에서 성공률이 높았지만 문헌 검토 단계에서 성능이 크게 떨어졌고, 시스템 신뢰성, 재현성, 윤리 관리도 여전히 큰 걸림돌로 꼽혔다.
    • 조사 범위: 논문 종류는 과학 발견용 agentic AI를 정리한 survey이고, agent의 정의와 single agent 대 multi-agent 구조, 시스템 분류, 문헌 검토 agent, 화학, 생물, 재료 과학, 일반 과학, 기계학습 분야의 발견 시스템, 구현 도구, dataset, 평가 지표, 남은 과제를 다룬다. 저자들은 연구 과정을 아이디어 생성, 실험 설계와 실행, 데이터 분석과 해석, 논문 작성과 배포의 네 단계로 나눠 단계마다 agent가 맡는 일을 설명했다.
    • 분류: 완전 자율형 시스템은 사람 개입을 최소로 해 전 과정을 자동화하는 쪽으로, GPT-4 기반으로 화학 실험을 계획, 설계, 실행하는 Coscientist, 전문가가 만든 tool 18개를 붙인 ChemCrow, 단백질 설계용 ProtAgents가 여기 든다. 사람과 AI 협업형은 연구자와 함께 일하는 쪽으로, 학제 간 연구를 회의와 개별 과제로 꾸리는 Virtual Lab, 실험 protocol을 짜 주고 실행은 연구자에게 맡기는 BioPlanner, 연구자, 실험 장비와 상호작용하는 lab assistant CALMS(Context-Aware Language Model for Science), 사람이 준 아이디어로 문헌 검토, 실험, 보고서 작성을 진행하는 Agent Laboratory가 여기 든다. 저자들은 자율형이 잘 정의되고 반복되는 과제에서 효율이 높지만 창의성이나 분야 직관이 필요한 과제에서는 어려움을 겪을 수 있고, 협업형은 사람의 감독, 데이터 품질, 해석 가능성에 기대므로 여전히 사람의 검증과 실행이 필요하다고 정리했다.
    • 사례: 화학에서는 여섯 개의 LLM agent에 문헌 검색, 실험 설계, 반응 최적화, 데이터 분석을 나눠 맡긴 LLM-RDF가 호기성 알코올 산화 반응에서 합성 개발 전 과정을 자동화해 보였고, 로봇 시스템 Organa는 전기화학 실험에서 사람 화학자와 비슷한 결과를 내며 실행 시간을 20% 넘게 줄였다고 survey가 소개했다. 생물에서는 Planner, Executor, Evaluator 세 역할이 협업하는 multi-agent 시스템 CellAgent가 단일 세포 RNA(리보핵산) sequencing 데이터 분석에서 과제 완수율 92%를 냈다고 소개했다. 이 수치는 survey가 각 시스템의 원 논문에서 옮겨 정리한 값이다.
    • 도구와 평가 자료: 구현 도구로는 multi-agent 시스템을 관리하는 framework AutoGen, 역할을 나눠 software 개발을 진행하는 MetaGPT, 지속형 agent를 서비스로 배포하는 open-source framework Letta, LangChain, AutoGPT를 소개했다. dataset 표에는 생물 연구의 추론과 계획을 재는 LAB-Bench, 분자 물성 예측용 MoleculeNet, 신약 개발용 가상 screening 자료 ZINC(화합물 database), 재료 과학 질의응답용 MaScQA(materials science question answering dataset), 자동 논문 리뷰어 평가용 ICLR(기계학습 학회 International Conference on Learning Representations) 2022 OpenReview 자료 등이 들어 있다. 지표는 추론과 계획에서 대개 정확도, 과제 완수율, 응답 일관성을, 예측과 발견에서 precision, recall, 예측 오차를 쓰며, 실험 자동화의 multi-agent 협업이나 가설 생성 같은 복잡한 과제의 표준 지표는 아직 개발 중이라고 저자들은 적었다.
    • 한계: 저자들은 문헌 검토가 거의 모든 접근에서 여전히 큰 과제라고 보았고, Agent Laboratory에서는 데이터 준비, 실험, 보고서 작성 단계와 견줘 문헌 검토 단계의 실패율이 가장 높았으며 ResearchAgent와 The AI Scientist에는 구조화된 문헌 검토 기능이 부족하다고 정리했다. 재료 발견과 연구 전 과정 자동화처럼 새로 떠오르는 분야에는 실제 영향과 적응력을 재는 종합 benchmark가 아직 필요하다고 적었다. 위험으로는 사람 감독이 적은 고도 자율 agent에서 오류가 쌓이는 문제, 실험 자동화에서 정해진 protocol이나 안전 조치를 벗어날 수 있는 문제, 물리 시스템과 이어진 agent가 상황을 잘못 읽어 예기치 못한 상황 악화나 시스템 고장으로 번질 수 있는 문제를 들고, AI governance와 사람의 감독을 강조했다.
  27. 1252Research Agents

    Accelerating scientific discovery with Co-Scientist

    • 문제: 논문이 빠르게 늘면서 연구자가 한 분야의 깊은 전문 지식과 여러 분야를 잇는 넓은 지식을 함께 갖추기 어려워졌다. 기존 문헌 요약과 deep research tool은 이미 있는 정보를 정리하는 일을 맡으므로, 저자들은 실험으로 검증할 새 가설을 내는 시스템을 목표로 삼았다.
    • 입력과 출력: 구현된 시스템 논문이다. 연구자가 자연어로 쓴 연구 목표(짧은 문장부터 수만 token 문서와 논문 PDF 수백 편까지)와 선호, 제약을 받고, 순위가 매겨진 가설과 실험 계획 목록, Meta-review agent가 정리한 research overview를 낸다. 연구자는 실행 중에 목표를 고치고 자기 가설과 리뷰를 tournament에 넣을 수 있다.
    • 방법: Supervisor agent가 목표를 research plan configuration으로 바꾸고 task queue에서 Generation(가설 생성), Reflection(동료 심사처럼 리뷰), Ranking(순위 매기기), Proximity(비슷한 가설 clustering), Evolution(상위 가설 개선), Meta-review(리뷰 종합) agent를 비동기로 배정한다. Ranking agent는 새 가설을 Elo 1200에서 시작시켜 pairwise 대결로 tournament를 치르며, 상위 가설끼리는 여러 차례 주고받는 과학 토론으로, 하위 가설은 한 번의 비교로 우열을 가린다. Evolution agent가 만든 새 가설은 다시 경쟁하고, Meta-review agent는 리뷰와 토론에서 되풀이되는 문제를 모아 다음 반복의 prompt에 붙이므로 fine-tuning 없이 피드백이 전달된다.
    • 구현: 모든 agent의 base model은 Gemini 2.0이고, web search, 공개 database, 연구자가 지정한 논문과 실험 자료 저장소, AlphaFold 같은 전용 모델을 tool로 사용한다. 전체 소스 코드는 비공개이며, 저자들은 pseudocode(부록 8절)와 agent prompt 원문(부록 9절)을 실었다.
    • 결과: 전문가가 고른 11개 목표의 blind 평가에서 Co-Scientist는 평균 선호 순위 2.36(1이 가장 선호, 4가 가장 덜 선호)으로 가장 많이 선호됐고, 새로움 3.64점과 영향력 3.09점(5점 만점)도 Gemini 2.0 Flash Thinking Experimental, Gemini 2.0 Pro Experimental, OpenAI o1 세 baseline보다 높았다. ablation에서 검색 tool을 끈 Reflection agent는 이미 출판된 아이디어에 새로움 6.14점(10점 만점)을 줬고, 검색을 켜면 2.38점으로 내려갔다. 실험실 검증에서 새 후보 약물 KIRA6는 IC50(세포 생존을 절반으로 줄이는 데 드는 약물 농도)이 KG-1a 백혈병 세포에서 10 nM, 비백혈병 대조 세포 TK6에서 180 nM으로 18배 차이가 났다.
    • 한계: 저자들은 Co-Scientist가 open-access 문헌에 기대므로 유료 문헌의 선행 연구와 실패한 실험 결과를 놓칠 수 있고, base model의 hallucination 위험도 그대로 이어받는다고 밝혔다. 또 Elo는 독립된 정답 없이 시스템이 스스로 매긴 점수이고, 전문가 평가는 규모가 작으며, 세포주 실험은 첫 단계의 생물학 검증이라고 적었다.
  28. 1251Research Agents

    Evaluating Sakana's AI Scientist: Bold Claims, Mixed Results, and a Promising Future?

    • 문제: Sakana는 AI Scientist가 아이디어 생성, 실험 설계와 실행, 결과 분석, 논문 작성, 심사까지 연구 전 과정을 자동화한다고 내세웠고 큰 주목을 받았지만, 저자들이 아는 한 직접 실험에 기반한 포괄적 독립 평가는 아직 나오기 전이었다. 저자들은 가장 긍정적인 평가자들이 시스템을 직접 시험하는 대신 Sakana가 낸 자료에만 기댔다고 지적했다.
    • 입력과 출력: AI Scientist를 직접 설치해 돌려 본 독립 평가 사례 연구이며, 뒷부분은 IR 학계에 대한 제언(position)이다. 입력은 저자들이 만든 template으로, 녹색 추천 시스템 주제의 prompt, MovieLens-100k를 80/10/10으로 나눠 FunkSVD를 학습하고 RMSE(평균 제곱근 오차)로 평가하는 experiment.py와 plot.py, seed idea 두 개(SGD(stochastic gradient descent)의 적응 학습률, e-fold 교차 검증), Sakana 기본 LaTeX template이다. AI Scientist는 아이디어 10개와 각 novelty 판정, LLM 기반 coding assistant Aider가 고친 실험 코드, 논문 원고, 자체 review를 냈고, 저자들은 이 산출물을 단계별로 세고 문헌과 대조해 평가했다.
    • 방법: 단계마다 AI Scientist의 동작을 따로 측정했다. 아이디어 단계에서는 Semantic Scholar API로 검색어마다 최대 10개 결과를 최대 10번까지 보는 novelty 판정이 알려진 기법을 걸러 내는지 보고, 실험 단계에서는 Aider가 experiment.py를 최대 다섯 번 고칠 때 바뀐 글자 수와 실행 성공 여부를 셌다. 원고 단계에서는 쪽수, 참고문헌 수와 연도, 구조 오류, 수치 오류를 보고, review 기능은 자기 원고 7편과 OpenReview의 사람 논문 10편(채택 5편, 탈락 5편)에 적용해 사람 심사 결과와 비교했으며, 비용과 사람 작업 시간도 기록했다.
    • 구현: 설치, 코딩, 실험은 기초 ML 지식과 Python 실력을 갖춘 컴퓨터 과학 학부 3학년인 셋째 저자가 했고, foundation LLM은 gpt-4o-2024-05-13을 썼다. 주 실험은 대학 computing cluster에서 CPU로 돌아가는 FunkSVD로 했고, 저자들은 실험을 재현하는 자기 코드와 Singularity container 정의 파일을 공개했다고 밝혔다. 이 기록에 연결한 GitHub 저장소 SakanaAI/AI-Scientist는 평가 대상인 AI Scientist의 저장소로, README 기준으로 NanoGPT, 2D Diffusion, Grokking template, 논문 생성 script launch_scientist.py, LLM 논문 review 기능이 있고 NVIDIA GPU와 CUDA(NVIDIA의 GPU 연산 platform), PyTorch를 쓰는 Linux 환경을 전제로 한다.
    • 결과: AI Scientist는 생성한 아이디어 10개와 seed idea 2개를 모두 새롭다고 판정했는데 SGD micro-batching처럼 이미 알려진 기법도 들어 있었고, 아이디어 12개 가운데 5개(42%)는 코딩 오류가 남아 실행에 실패했으며, Aider는 6,260자 template에 평균으로 첫 iteration에서 529자(+8%), 이어서 118, 83, 66, 21자를 더했다. 원고 7편의 참고문헌은 중앙값 5개였고 전체 34개 가운데 2020년 이후 것은 5개(14.7%)였으며, 4편(57%)은 빠지거나 잘못 놓인 그림, 'Conclusions Here' 같은 미완성 절, 중복 같은 구조 문제를, 4편(57%)은 틀리거나 지어낸 수치를 담았다. 자체 review 기능은 OpenReview 사람 논문 10편 가운데 9편을 탈락시켜 사람 심사에서 채택된 4편도 떨어뜨렸고, 주 실험 비용은 OpenAI API 비용만 셀 때 42달러(원고당 평균 6달러), 사람 작업은 설치를 빼고 원고당 약 3.5시간이었다.
    • 한계: 저자들은 dataset 하나(MovieLens-100k), 연구 분야 하나(녹색 추천 시스템), 고정된 seed idea와 template 하나로 평가해 일반화와 재현성에 영향이 있을 수 있다고 밝혔다. 설치와 실험은 학부생 한 명이 했고 foundation LLM은 gpt-4o-2024-05-13 하나였으며, AI Scientist가 GPU deep learning pipeline에 맞춰져 있는데도 CPU용 단순 추천 알고리즘으로 시험했다. 사람 논문 review 시험은 10편 규모라 저자들도 indicative(참고 수준)라고 했고, 사람 연구자보다 약 3배에서 11배 빠르다는 비교는 학부생 최소 20시간에서 40시간, 숙련 연구자 10시간에서 20시간이라는 저자 추정에 기댄다.
  29. 1250Research Agents

    Recursive self-improvement of AI research agents

    • 문제: AI agent는 학습과 추론 같은 산출물의 효율을 높여 왔지만, 그 산출물을 만드는 연구 과정의 효율은 고정돼 있다. R&D(연구 개발)에는 누적 투입이 늘수록 같은 투입으로 더 얻는 성과가 줄어드는 오래된 경향이 있고, 최근 self-improving 시스템이 coding 같은 분야에서 가능성을 보였지만 최전선 AI 연구 효율을 높이는 데 얼마나 효과적인지는 불분명했다.
    • 입력과 출력: 구현된 시스템 논문이다. 입력은 AIDE(AI-Driven Exploration)를 다듬은 출발 연구 agent AIDE0의 코드와 ML engineering, heuristic algorithm engineering, harness engineering 세 과제군으로 된 selection benchmark이고, 각 과제는 공개 점수, 숨긴 held-out 채점, 고정 비용 예산을 갖는다. 출력은 grade가 오를 때마다 바뀌는 현재 최고 연구 agent(incumbent)의 코드이고, 고치는 대상은 모델을 감싸 탐색, context, 검증을 맡는 harness 코드다.
    • 방법: inner loop에서는 연구 agent가 공개 점수를 보며 과제 코드를 고치고, 예산을 다 쓰면 스스로 고른 해답을 숨긴 데이터로 채점받으며, 과제별 숨긴 점수의 평균이 그 agent의 grade가 된다. outer loop의 agent는 이전 agent들과 grade를 읽고 현재 최고 agent(incumbent)의 코드를 다시 쓰며, grade가 오를 때만 새 incumbent로 받아들인다. 공개 점수와 선택용 숨긴 점수를 나눠 inner loop agent가 선택 기준을 직접 최적화하는 길을 막고, 모든 agent에 같은 예산을 줘 개선이 계산을 더 쓰는 쪽보다 더 나은 알고리즘에서 나오게 한다.
    • 구현: 출발 agent AIDE0는 AIDE에서 ML 전용 기능을 뺀 tree search agent로, draft, debug, improve operator와 가장 높은 점수의 해답을 고르는 greedy 선택을 사용한다. recursive self-improvement 실행은 8일 동안 처음 agent와 rewrite 제안 99개로 된 100개 node trajectory를 만들었고, 이 동안 outer loop agent인 Weco의 production agent AIDEhuman은 Claude Opus 4.7로 돌았고 inner loop agent는 모두 Gemini 3 Flash로 평가됐다. 외부 평가는 ALE-Bench(AtCoder 조합 최적화), MLE-Bench(Kaggle ML engineering), KernelBench(GPU kernel 최적화)에 Gemini 3 Flash, FML-Bench(연구 코드베이스 과제)에 GPT-5.4, WeatherBench 2(물리 기반 기상 예측)에 Gemini 3.1 Pro를 사용했고, 논문 본문에는 AIDE² 코드 저장소 주소가 없다.
    • 결과: 8일 실행에서 일곱 번의 수정이 받아들여져 grade가 0.703에서 0.778로 올랐고, 같은 grade로 잰 AIDEhuman은 0.749였다. 선택 과정과 분리된 외부 benchmark에서 최종 agent AIDE85와 AIDEhuman의 점수는 ALE-Bench 1790 대 1511, MLE-Bench 0.722 대 0.708, FML-Bench 19.9% 대 19.6%, 분포 밖(out-of-distribution) 과제인 WeatherBench 2 0.793 대 0.404였다. 별도 과제군인 KernelBench의 38개 쌍에서 reward hacking 비율은 AIDE0 55%, AIDE47 39%, AIDE85 32%였고 AIDEhuman은 39%였다.
    • 한계: 두 loop의 noise가 겹치고, noise가 충분히 크면 잘못 받아들인 수정 하나가 이후 outer loop 탐색을 그르칠 수 있다. ignition test(발견한 agent가 자신을 만든 agent보다 loop를 더 잘 이끄는지 보는 시험)에서 AIDE47을 outer loop agent로 사용한 쪽은 seed 3개를 50단계씩 돌려 seed 평균 최종 grade 0.780으로 AIDEhuman 쪽 0.782와 비슷했고, 저자는 결론을 보류했다. 발견한 agent는 복잡하고 해석하기 어려워 어떤 구성 요소가 성능을 내는지 불분명하다.
  30. 1249Research Agents

    Autonomous Scientific Discovery via Iterative Meta-Reflection

    • 문제: 기존 LLM 발견 시스템 대부분은 가설 생성 단계를 하나씩 따로 다뤄, 이미 찾은 결과 전체를 훑어보고 무엇이 아직 모르는 영역인지 추론하는 단계가 빠져 있다. 고전 구조 학습은 변수 쌍 사이의 연결(edge)만 표현할 수 있고, 전체 과정을 자동화한 AI scientist 시스템은 탐색을 이끌 초기 연구 목표나 seed 가설이 필요하다.
    • 입력과 출력: 기본 설정에서는 연구 질문 없이 표 형태의 관측 데이터(이미지가 붙을 수 있다)만 받아, 자연어 진술과 검정 코드와 통계 근거가 붙은 검증된 발견 목록을 낸다. 이 논문은 방법 논문이며, 평가를 위해 iNaturalist 관측으로 benchmark iNatDisco도 새로 만들었다. iNatDisco-800은 8개 종의 관측 800건과 문헌 패턴 9개, iNatDisco-50K는 9,776개 종의 관측 50,000건과 패턴 12개로 이뤄진다.
    • 방법: PROPOSE 단계의 LLM agent가 데이터 요약, 지금까지의 주장, 최근 guidance를 보고 가설과 이를 검정할 Python 코드를 낸다. EVALUATE 단계는 상관, 집단 차이, 예측, clustering, 층화 재검정, VLM(그림을 읽는 언어 모델) 시각 속성 검정을 포함한 통계 도구 7개로 train 분할에서 코드를 다듬고 held-out 분할에서 한 번만 실행하며, 두 분할 모두 효과 크기 0.2 이상, p값 0.05 이하일 때만 주장으로 받는다. REFLECT 단계는 받아들인 주장과 기각된 주장을 함께 분석해 빈 영역, 반복되는 confound, 복합 가설 후보를 guidance로 내며, 실험에서는 다섯 반복마다 실행했다.
    • 구현: 본문은 기본 LLM을 Claude Sonnet 4.6으로 적었고 부록의 모델 비교와 baseline 설명은 Claude Sonnet 4.5로 적었으며, 이미지 판독에는 같은 base LLM을 VLM으로 쓰고 모델 비교의 DeepSeek V4 Pro 실행만 텍스트로 했다. 기본 설정은 실험마다 100번 반복을 세 번 실행해 평균과 표준편차를 내는 것이고, 반사실 실험은 50번 반복, 반복 수 scaling 실험은 10번에서 100번 반복이었다. 전체 실험에는 완료된 실행 약 86회, API 호출 약 8,250회, Sonnet 가격 기준 추정 비용 약 220달러, 약 72시간이 들었다.
    • 결과: iNatDisco-800에서 DiscoPER는 문헌 패턴 9개 중 8개를 지지율 72.7%로 다시 찾았고, 같은 framework 안에 다시 구현한 HeurekaBench식과 ExperiGen식 baseline은 3개, LLM을 붙인 고전 인과 탐색은 최대 1개를 찾았다. iNatDisco-50K에서는 12개 중 8개를 지지율 74.2%로 찾았고, REFLECT를 뺀 버전은 6개였다. 알려진 생태 관계 다섯 가지를 표 데이터에서 뒤집은 반사실 데이터 iNatDisco-800-CF에서는 제안된 가설 대부분이 held-out 검증에서 기각됐고, 받아들여진 발견은 LLM 사전 지식 대신 수정된 데이터의 패턴을 따랐다.
    • 한계: 저자들은 DiscoPER가 입력 데이터가 뒷받침하는 범위에서만 발견할 수 있고 시민과학 데이터에는 알려진 편향이 있어, 제안된 발견마다 사람의 검증이 꼭 필요하다고 밝혔다. iNatDisco 정답 목록 밖에도 타당한 패턴이 있을 수 있고, recall은 부분 일치(score 1) 이상을 발견으로 세는 LLM judge(Claude Sonnet 4.5)가 판정하며, 사람이 주 실험(iNatDisco-800, iNatDisco-50K)의 정확 일치(score 2) 판정을 모두 확인했을 때 95%가 맞았다. 합성 이미지 benchmark에서는 패턴 8개 중 3개를 찾았고, 저자들은 시각 특징의 통계 검증을 병목으로 지목했다.

연구에서 제품 적용까지

운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.

보유기술 보기