연구자료실

설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.

연구자료 검색

새 논문 요약

요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.

  1. 1248Research Agents

    LECTOR: Joint Optimization of Scientific Reasoning Graphs and Introduction Generation

    • 문제: AI 보조 글쓰기 방법 대부분은 일반 LLM용 prompt를 설계하는 식으로 Introduction 작성을 문장 생성 문제로 다뤄, 없는 논문을 인용하거나 저자를 틀리는 citation hallucination과 Introduction과 Results, Methodology 사이의 논리 불일치가 생긴다. 기존 Introduction 생성 과제(SciIG 등)는 제목, 초록, 인용을 입력으로 쓰는데, 저자들은 이 설정이 세부 내용에서 Introduction을 요약하는 실제 글쓰기와 어긋난다고 보았다.
    • 입력과 출력: 이 논문은 새 과제 CCIG(Content-Conditional Introduction Generation), RL 학습 방법 LECTOR, 평가 dataset을 함께 제안한 방법 논문이다. 입력은 Introduction을 뺀 논문 본문(Methods, Results, Analyses)과 번호가 붙은 인용 목록이다. 출력은 먼저 뽑은 reasoning logic graph(논문의 추론 구조를 담은 graph)와, 그 graph를 바탕으로 [idx] 형식 인용을 넣어 쓴 Introduction이다.
    • 방법: reasoning logic graph는 뿌리가 하나인 방향성 비순환 graph(DAG)로, node는 논문에서 뽑은 완결된 문장 하나이고, edge는 Peirce의 연역, 귀납, 귀추를 나눈 6가지 type이며 결론마다 짝을 이룬 전제 edge 두 개가 들어온다. 같은 모델이 한 rollout 안에서 graph를 뽑고 CARS(Create A Research Space) 구조의 territory, niche, contribution 순서로 Introduction을 쓰며, 두 단계는 weight를 공유한다. 학습은 learned reward model 없이 actor(policy model)와 critic(value model)만 둔 단순화한 PPO(Proximal Policy Optimization)이고, reward는 Graph Validity, Faithfulness, Paper Consistency, Academic Quality, Reference Alignment 다섯 항목의 합이다.
    • 구현: backbone은 Qwen3-4B-Instruct-2507이고 RL 학습은 verl-agent 위에서 1 epoch, global batch size 64, learning rate 1×10^-6로 진행하며, reward 계산과 LLM-as-a-judge 평가에는 Qwen3-235B를 쓴다. dataset은 Nature Communications의 물리 관련 여러 분야 논문 10,200편(2010년 4월부터 2025년 3월)을 MinerU로 파싱해 학습 10,000편, 검증 100편, test 100편으로 나눴다. 공식 GitHub 저장소는 RL 학습(verl), reward 계산(agent_system), 평가 pipeline code를 담고, README는 LECTOR-4B checkpoint와 NC_Physics dataset을 Hugging Face에 공개했다고 적는다.
    • 결과: test 논문 100편에서 LECTOR의 Overall Performance는 0.665로, base Qwen3-4B(0.510)보다 높고 GPT-o3(0.656)와 비슷했으며 Claude-haiku-4.5(0.612), Grok4(0.599), Gemini-2.5pro(0.566)보다 높았다. Graph Quality는 0.478에서 0.745로, Writing Quality는 0.546에서 0.834로 올랐고, graph 없이 바로 쓰는 One-Step-Baseline보다 Paper Consistency(0.486 대 0.476)와 Citation Quality(0.530 대 0.477)가 높았다. 전문가 8명이 test 논문 20편을 1에서 5점으로 매긴 사람 평가에서 LECTOR 종합 점수 3.73은 GPT-o3의 3.71과 비슷했고, 사람과 LLM 판정의 Spearman 상관은 0.815였다.
    • 한계: 데이터는 Nature Communications의 물리 관련 여러 분야 논문이고, reward와 자동 평가의 여러 항목이 Qwen3-235B의 판정에 기댄다. 사람 평가에서 LECTOR는 Writing Quality(3.91 대 4.12)와 Citation Integration(2.99 대 3.51)에서 GPT-o3보다 낮았고, 1위 비율도 40.6%로 GPT-o3의 48.8%보다 낮았다. graph와 글의 정렬을 재는 Graph-Writing Alignment는 RL 뒤 0.682에서 0.623으로 내려갔고, 저자들은 이를 생성 전략의 변화로 추측했다.
  2. 1247Research Agents

    ML-AutoResearch: Training Machine Learning Research Agents with Automatically Generated Environments

    • 문제: ML 연구 agent를 학습시키려면 디버깅, 실패한 실험, 단계별 추론이 담긴 과정 단위 데이터가 많이 필요하다. 기존 논문, 코드 저장소, 정적 benchmark는 최종 결과만 담고, 사람이 만든 benchmark는 과제 수가 적어 agent SFT에 필요한 규모와 다양성이 부족하다.
    • 입력과 출력: 이 논문은 학습 데이터 생성과 fine-tuning을 묶은 방법 논문이다. pipeline은 teacher LLM과 HuggingFace 데이터셋 hub를 받아 과제 설명, 데이터셋, baseline 코드, 평가 script를 갖춘 실행 가능한 ML 연구 환경과 teacher 궤적을 낸다. 학습된 student agent는 MLGym 환경에서 파일을 읽고 고치고 shell 명령을 실행하며, 정해진 상호작용 예산 안에 baseline을 개선한 풀이를 제출해야 한다.
    • 방법: 1단계에서 teacher가 주제를 뽑아 과제와 데이터셋 이름을 제안하면, HuggingFace 검색으로 실제 데이터셋에 맞춘 뒤 설정, starter code, 평가 script를 쓴다. 2단계에서는 과제를 MLGym에서 한 번 실행해 오류가 나면 오류 log를 보고 코드를 고치거나 새로 만드는 self-debugging loop를 거쳐 실행되는 환경만 남긴다. 3단계에서는 과제마다 teacher 궤적을 최대 256개 모아 baseline을 넘은 것이나 Z-score(과제 안 평균과 표준편차로 표준화한 점수) threshold를 넘은 것만 남기고, 32,768 token보다 긴 궤적은 뺀다.
    • 구현: teacher는 GPT-5이고 student는 Qwen3-4B, Qwen3-8B, Qwen3-14B와 Qwen2.5-3B-Instruct다. 1,000개 주제 가운데 914개가 데이터셋 확인을 통과했고, 그중 555개(60.7%)가 환경 검증을 통과했으며, 궤적 약 34K개를 17K개로 걸러 SFT에 썼다. 논문 체크리스트는 공개 저장소 링크와 전체 재현 안내가 아직 없다고 답했다.
    • 결과: 세 evaluation seed(42, 123, 456) 평균으로 MLGym AUP가 4B, 8B, 14B에서 각각 5.7%, 9.1%, 5.9% 올랐고, MLAgentBench(ML 설계와 디버깅 과제 benchmark) 정규화 점수는 0.101, 0.171, 0.294만큼 올랐다. GPT-5.4 궤적을 더한 14B는 seed 42 최고 run AUP가 1.1297로 Qwen3-14B보다 7.0% 높았다. 궤적을 만드는 teacher만 Qwen3-32B로 바꾸고 과제 생성과 검증은 GPT-5로 둔 실험에서도 8B와 14B의 평균 AUP가 3.0%, 3.2% 올랐다.
    • 한계: 학습 목표가 teacher를 따라 하는 supervised imitation이어서, 저자들은 탐색과 과학적 참신성의 직접 최적화를 다음 과제(RL)로 남겼다. 과제 생성과 검증은 여전히 GPT-5가 맡고, 긴 궤적을 만들고 평가하는 데 계산 자원이 많이 든다고 밝혔다. 과제마다 결과 차이가 커서 4B의 MNLI(Natural Language Inference, 문장 사이 추론 과제)와 14B의 Breakout(MinAtar 게임 과제) 점수는 떨어졌고, 학습 과제 6개(1.1%)는 MLGym 과제와 cosine 유사도가 0.60을 넘었다.
  3. 1246Research Agents

    EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery

    • 문제: 기존 AI scientist 시스템 대부분은 사람이 짠 고정 pipeline을 쓰고, 쌓인 상호작용 기록과 상관없이 아이디어 생성과 코드 생성 전략이 그대로 유지된다. 저자들은 그 결과 유망한 연구 방향을 놓치고, 이미 실패한 실험을 되풀이하고, 실현하기 어려운 아이디어에 자원을 쓴다고 지적한다.
    • 입력과 출력: 이 논문은 구현과 실험을 갖춘 다중 agent 시스템 논문이다. 입력은 사용자의 연구 목표 문장이고, 출력은 연구 제안서(배경, 관련 연구, 방법, 실험 계획, 예상 결과)와 실제로 실행한 코드, log, 지표, 실패 진단을 담은 실행 보고서다. 과제가 끝날 때마다 두 memory가 갱신되어 다음 목표에서 다시 쓰인다.
    • 방법: Researcher Agent는 ideation memory에서 비슷한 방향 지식을 꺼낸 뒤 제안, 검토, 수정을 반복하는 idea tree search로 후보를 만들고, Elo 점수(두 후보를 짝지어 비교해 매기는 순위 점수) 토너먼트로 1위를 골라 제안서로 키운다. Engineer Agent는 experimentation memory의 전략을 참고해 초기 구현, hyperparameter 조정, 제안 방법, ablation의 네 단계에서 코드를 만들고 실행하며, 실패하면 log를 보고 고친다. Evolution Manager Agent는 상위 3개 아이디어에서 유망한 방향을, 실패한 제안에서 실패 방향을, 코드 탐색 기록에서 데이터 처리와 학습 전략을 뽑아 두 memory에 쓴다.
    • 구현: 아이디어 생성은 Gemini-2.5-Pro, 코드 생성은 Claude-4.5-Haiku가 맡고, 문헌 검색은 Semantic Scholar API(논문 검색 서비스), memory 검색은 Ollama(로컬 모델 실행 도구)에서 실행한 mxbai-embed-large embedding으로 한다. idea tree search의 후보는 최대 21개이고, 실험 네 단계의 최대 시도 횟수는 20, 12, 12, 18이다. 공식 저장소 README는 PyPI(Python 패키지 저장소)로 설치해 CLI(명령줄 화면), TUI(터미널 안 텍스트 화면), WebUI(웹 브라우저 화면)에서 쓰는 6개 sub-agent(plan, research, code, debug, analyze, write) 구성의 연구 agent 도구를 소개하며, 이 구성은 논문의 세 agent와 다르고 benchmark suite는 로드맵에 공개 예정으로 남아 있다.
    • 결과: Gemini-3-flash 판정에서 EvoScientist는 공개 시스템 4개와 상용 시스템 3개를 모두 앞섰고, 네 기준을 합친 평균 격차(Avg. gap)는 공개 시스템 대비 +29.17에서 +93.34, 상용 시스템 대비 +46.00에서 +80.83이었다. 박사급 평가자 3명의 판정에서는 네 비교 평균 참신성 승률 82.50%, 실현 가능성 승률 64.17%를 보였고, 코드 실행 성공률은 experiment strategy evolution(코드 탐색 기록에서 실행 전략을 뽑아 memory에 쓰는 단계) 뒤 네 단계 평균 34.39에서 44.56으로 올랐다. 이 시스템이 만든 논문 6편은 투고 82편 가운데 26편을 채택한 ICAIS 2025 AI Scientist Track에 모두 채택됐다.
    • 한계: 저자들은 평가가 시뮬레이션과 코드 실행으로 가설을 확인할 수 있는 계산 연구 과제에 한정되며, 재료과학이나 신약 개발처럼 물리 실험이 필요한 분야로 넓히려면 실험실 workflow와 실제 피드백을 붙여야 한다고 밝혔다. 제안 방법을 구현하는 3단계의 실행 성공률은 20.33에서 21.57로 조금 오르는 데 그쳤고, 아이디어 평가는 연구자가 낸 질의 30개로 했다. 채택된 논문의 리뷰에서는 이론적 정식화가 더 필요하다는 지적이 반복됐고, 논문 작성은 AI Scientist-v2의 작성 모듈을 그대로 썼다.
  4. 1245Research Agents

    HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery

    • 문제: 기존 AI scientist 계열 시스템은 주로 ML 연구에서 사람 개입을 최소로 줄인 완전 자동화를 목표로 한다. 경제학 실증 연구는 질문이 실제 데이터셋의 변수로 답할 수 있어야 하고, 식별 전략(인과 효과를 가려내는 연구 설계)을 신중히 짜야 하며, 경제적 의미를 판단하는 데 사람의 판단이 필요하다. 저자들은 데이터 정보 없이 아이디어를 내면 실현 불가능하거나 지어낸 가설이 자주 나온다고 지적한다.
    • 입력과 출력: 이 논문은 구현과 실험을 갖춘 다중 agent 시스템 논문이다. 입력은 시스템이 지원하는 로컬 데이터셋인 종단 조사 자료 CHNS(China Health and Nutrition Survey), 역사 인구 기록 CMGPD-Liaoning(China Multi-Generational Panel Dataset), 사회경제 변수를 담은 대규모 생의학 자료 UK Biobank 가운데 하나와, World Bank, FRED(미국 연준 경제 데이터), OpenAlex 같은 공개 데이터 API, 그리고 연구자가 정한 연구 영역 제약(예: 노동경제학)이다. 출력은 회귀표, 그림, 결과 요약, 재현 파일과 함께 Markdown에서 Pandoc(문서 변환 도구)과 LaTeX로 만든 PDF 논문 초안이고, 사람은 연구 질문 선택과 발표 승인의 두 결정 지점에서 개입한다.
    • 방법: 중앙 orchestrator가 공유 상태 객체(RunState)를 두고 데이터 감사, 데이터 프로파일링, 질문 생성, 데이터 수집, 분석, 작성, 자기 비평, 검토 순서로 일곱 agent에 일을 넘긴다. 질문 생성은 변수 목록, 결측 패턴, 분포, 상관 같은 데이터 진단을 조건으로 받아 후보를 만들고, 실현 가능성을 걸러 사람이 고르는 question quality loop를 거친다. 초안이 나오면 Reviewer Agent가 1에서 10점으로 채점하고 robustness check 같은 추가 분석을 요청해, 재분석과 수정을 반복하는 research revision loop를 거친다.
    • 구현: Python으로 구현했고 모든 LLM 추론은 Anthropic API의 Claude Sonnet 4.6이 맡으며, 계량 추정은 Python 통계 라이브러리 statsmodels와 linearmodels로 OLS(최소제곱 회귀), 고정효과 패널, 이중차분, event-study(사건 전후 비교) 모형을 추정한다. 공식 저장소 maxwell2732/hler-working-papers에는 HLER로 만든 번호 붙은 working paper(Markdown과 PDF), R_script 폴더, 그림 폴더가 있고, README는 이 저장소가 working paper만 담는다고 밝힌다.
    • 결과: 세 데이터셋에서 14번 실행한 결과, 데이터 정보를 받은 질문 생성은 79개 중 69개(87%)가 실현 가능했고, 데이터셋 이름과 영역 설명만 준 경우는 82개 중 34개(41%)였다. 14번 중 12번(86%)이 두 결정 지점 밖의 사람 개입 없이 끝까지 완료됐고, 이 12번의 Reviewer Agent 평균 점수는 초안 4.8에서 첫 수정 뒤 5.9, 최종 6.3으로 올랐다. 한 번 실행에는 보통 약 20에서 25분이 걸렸고 평균 API 비용은 0.8에서 1.5달러였다.
    • 한계: 저자들은 데이터 기반 생성이 실현 불가능한 질문을 줄여도 가설의 이론적 의미와 새로움은 따로 확인해야 하고, 계량 분석은 OLS, 고정효과, 이중차분, event-study로 한정되어 도구변수, 회귀 불연속, 구조 모형은 다음 과제로 남겼다고 밝혔다. Reviewer Agent 점수는 원고를 쓴 것과 같은 LLM이 매겨 평가가 순환될 수 있고, 평가 규모는 세 데이터셋에서 14번 실행이다. 많은 가설을 빠르게 검정할 수 있어 다중 검정과 선택적 보고 위험이 커지며, 저자들은 이 문제는 HLER이 해결하는 범위 밖이라 연구자가 보정과 전체 보고를 해야 한다고 적었다.
  5. 1244Research Agents

    Super Research: Answering Highly Complex Questions with Large Language Models through Super Deep and Super Wide Research

    • 문제: 기존 Deep Research와 Wide Search는 보통 검색 10회에서 20회, 웹 페이지 약 100개 범위에서 작동하며, 각각 주로 깊이나 넓이 한쪽에 집중한다. 장기 계획, 대량 근거 수집, 이질적 출처 종합이 함께 필요한 질문을 LLM이 얼마나 푸는지는 대부분 미개척 영역으로 남아 있다. 저자들은 기존 평가가 이런 질문에 부적합하다고 보고, LLM이 보고서끼리 비교해 채점하는 LLM-as-a-Judge의 정렬 오류, 단편 사실 위주 지표, 비싼 사람 평가, 불확실성 표현의 무시를 문제로 들었다.
    • 입력과 출력: 이 논문은 benchmark 논문이다. 평가 대상 시스템은 전문가가 쓴 질문 하나를 받아 인용이 달린 긴 연구 보고서를 내고, benchmark는 그 보고서를 질문마다 미리 만든 Research Graph(사실과 통찰 노드를 근거로 이은 정답 graph)와 문답 시험에 대조해 점수를 낸다. 질문은 10개 분야의 300개이며, benchmark 통계로 질문당 추론 단계 수는 평균 97, 최대 142이고 검색한 웹 페이지 수는 평균 601, 최대 1,267이다.
    • 방법: GPT-4o와 Gemini deep research agent가 후보 과제를 만들고, 박사과정생과 현업 전문가가 환각을 걸러낸 뒤 공개 검색으로 풀 수 있고 단순 키워드 검색 이상으로 복잡하며 뜻이 하나로 읽히는 과제만 남겼다. 정답은 Planner, Researcher, Summarizer agent의 조사 결과에서 사람과 LLM이 URL에 묶인 사실 노드와 상위 통찰 노드를 이어 만든 Research Graph, 전문가가 검수한 표준 보고서, 문답 시험으로 이뤄진다. 점수는 계층 가중 노드 recall, 사실까지 근거 경로가 온전히 이어진 결론의 비율에 graph coverage를 곱한 값, 보고서만 보고 푸는 시험 점수, 논쟁 주제의 입장 보정 정도를 가중 평균하고, 단일 출처 의존도는 따로 진단한다.
    • 구현: 평가한 시스템은 12개로, Gemini, Sonar, Tongyi, o3, o4-mini Deep Research 다섯 개, 검색이 내장된 Kimi-k2와 Grok-4-1-fast, 그리고 LangGraph와 Tavily 검색으로 만든 공통 agent에 DeepSeek-r1, MiniMax-m2.1, Claude-3.5-sonnet, Qwen-2.5-72B, Llama-3.3-70B를 넣은 baseline 다섯 개다. 저자들은 보고서 열람, graph projection, 시험 문항 수정, 최종 audit을 지원하는 웹 분석 도구를 만들었고, 초록에는 leaderboard 주소를 적었다.
    • 결과: 평가한 12개 시스템 가운데 가장 높은 Gemini Deep Research도 Overall 28.62였고 Sonar Deep Research 27.04, Kimi-k2 26.16이 뒤를 이었으며, LangGraph baseline은 16에서 23 사이에 몰렸다. Gemini는 Coverage 33.15에 비해 Logical Consistency가 22.92로 낮았고, 저자들은 논리 일관성이 공통 성능 병목으로 보인다고 적었다. 보고서 120개에서 핵심 사실이나 통찰 1개에서 3개를 빼거나 관련 사실 1개에서 3개를 넣었을 때, graph 지표는 57.4%에서 79.6%의 비율로 맞는 방향으로 움직였고 LLM judge는 14.8%에서 22.2%였다.
    • 한계: 저자들은 이런 초고난도 질문이 일반 응용에서는 드물 수 있다고 밝히고, 이 benchmark를 상한 시험(ceiling evaluation)으로 규정했다. 민감도 실험은 12개 모델과 10개 과제에서 나온 보고서 120개로 했고, 평가 모델을 바꾼 일관성 비교에서 Coverage는 graph 방식의 변동 4.42%가 LLM judge의 3.88%보다 컸다. 저자들은 대량 근거를 종합하는 agent가 환각을 누적해 사람이 그럴듯한 보고서에 과하게 기댈 위험과 높은 계산 비용도 짚었다.
  6. 1243Research Agents

    PaperSearchQA: Learning to Search and Reason over Scientific Papers with RLVR

    • 문제: 검색 agent는 질문을 두고 추론하면서 지식 저장소를 검색하는 언어 모델인데, RLVR(최종 답이 맞는지만 자동 확인해 reward를 주는 강화학습)로 학습한 기존 검색 agent는 대부분 일반 상식 QA(질의응답)를 다룬다. 저자들은 과학 문헌처럼 전문 지식과 기술 용어로 검색해야 하는 분야의 학습 환경이 부족하고, 사람이 만든 BioASQ(생의학 문헌 질의응답 challenge)는 규모를 늘리기 어렵다고 본다.
    • 입력과 출력: 이 논문은 학습용 dataset, 검색 corpus, benchmark를 내놓는 dataset 논문이다. 입력은 PubMed 초록 16 million 편으로 만든 검색 corpus와 생의학 factoid 질문(답이 개체 하나인 질문)이고, agent는 search 태그로 검색어를 내고 돌아온 문서를 보며 추론한 뒤 answer 태그에 짧은 답을 낸다.
    • 방법: corpus에서 무작위로 뽑은 초록을 GPT-4.1에 넣어, 전문가와 함께 정한 10개 범주에 맞는 factoid 질문을 초록마다 3개씩 만들고 정답 동의어도 만든다. 질문의 50%는 다른 용어로 바꿔 써서 키워드 일치만으로 답을 찾기 어렵게 만든다. 학습은 Search-R1 설정을 따라 GRPO(Group Relative Policy Optimization, 한 질문에서 뽑은 여러 rollout의 reward를 서로 비교해 학습하는 RL 방법)로 하고, 답이 정답이나 동의어와 정확히 맞으면 reward 1, 틀리면 0을 주며, 검색된 문서 token은 gradient 계산에서 뺀다.
    • 구현: 저자들은 학습 54,907개와 테스트 5,000개의 PaperSearchQA, 동의어를 붙여 재배포한 BioASQ factoid 1,609개, 검색 corpus와 BM25, e5 검색 index를 Hugging Face Hub에 공개했다. agent는 Qwen2.5 3B와 7B이고 A100(80GB) GPU 8장에서 GRPO로 150 step 학습했다. GitHub 공식 저장소에는 데이터 생성 pipeline(data_generation), baseline 구현(baselines), Search-R1에서 가져온 검색 서버와 veRL(RL 학습 framework) 학습 코드(search-r1)가 있다.
    • 결과: 표 1의 정확도(정답 완전 일치, BM25 검색) 기준으로 Search-R1 학습 agent는 7B에서 PaperSearchQA 51.0, BioASQ 44.8로 RAG(36.5, 29.7)와 문헌 질의응답 agent PaperQA2(37.1, 32.8)를 앞섰다. 3B에서는 PaperSearchQA 41.6, BioASQ 35.5로 RAG(32.0, 30.0)보다 9.6점과 5.5점 높았다. 두 benchmark 평균으로는 검색 없는 chain-of-thought(단계별 추론을 쓰게 하는 prompt)보다 20.2점(3B)과 21.4점(7B) 높았고, Search-R1 agent에서 다른 용어로 바꿔 쓴 질문의 점수는 44.9로 원래 질문의 57.2보다 낮았다.
    • 한계: 저자들은 LLM이 질문을 자동으로 만들어 사실과 다른 QA가 섞일 수 있고, 초록 하나만 보고 만든 질문에는 다른 정답이 있을 수 있다고 밝혔다. 범위는 single-hop factoid 질문, 초록 검색, 생물학과 의학 분야, 텍스트에 한정되고, 검색 없이도 모델이 15%에서 30% 질문에 답할 지식을 갖고 있었다. GRPO 학습은 불안정해 일부 run에서 reward가 0으로 무너졌고, 저자들은 학습된 agent를 실제 사용 전에 더 충분한 평가가 필요한 연구 prototype이라고 적었다.
  7. 1242Research Agents

    Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper

    • 문제: 기존 AI Scientist 시스템은 완전 자동 과학이라는 지나치게 큰 목표를 잡아 흔히 연구 목표가 흐리고, 단순한 한 파일짜리 코드 실험에 머무는 경우가 많아 만든 논문의 품질이 부족했다. 개발 중에 실제로 관찰한 실패와 위험을 자세히 보고한 연구도 매우 드물었다.
    • 입력과 출력: 구현된 시스템 논문이다. 사람이 논문마다 준비하는 입력은 baseline 논문의 LaTeX 원본과 baseline 코드뿐이고, baseline 코드는 baseline.py로 실험을 돌리고 plot.py로 그림을 그리도록 사람이 조금 고쳐 둔다. 시스템은 한계 분석, 개선 아이디어, 구현 코드, 실험 결과 요약을 거쳐 8쪽 분량으로 설정한 학회 형식의 논문 전체를 쓴다.
    • 방법: o4-mini 같은 LLM이 baseline 논문의 한계를 뽑아 아이디어를 내고, Semantic Scholar 같은 문헌 도구로 아이디어의 novelty를 확인한다. 실험은 node 4개가 병렬로 구현과 디버깅을 하는 Stage 1(12회로 설정), baseline을 넘을 때까지 코드를 고치는 Stage 2(50회로 설정), ablation을 하는 Stage 3으로 나뉜다. 글쓰기는 BibTeX 수집, Method 절, 논문 구조 요약, 전체 초안, Related Work 다시 쓰기, 인용 검증 순서로 초안을 만들고, reflection을 세 번 거친 뒤 쪽수를 조금씩 줄인다.
    • 구현: coding agent는 Claude Code(version 1.0.24) 안의 claude-sonnet-4-20250514이고, 작업마다 대개 최대 30 turn이 주어지며, python 같은 실행 명령은 막혀 있어 시스템이 대신 실행한다. 저자는 Claude Code Max plan(월 200달러)의 사용 한도 안에서 실험 두 개를 병렬로 돌릴 수 있다고 밝혔다. 공식 저장소 맨 위에는 논문 PDF, 그림 폴더, 생성 논문 폴더(generated_papers)가 있고, README와 논문은 위험을 평가한 뒤 시스템 코드를 공개할 계획이라고 적었다.
    • 결과: DeepReviewer-14B(논문 심사용 14B 모델)가 1에서 10점 척도로 매긴 평균 rating은 저자가 고른 Jr. AI Scientist 논문 3편이 5.75로, 각 시스템이 공개한 논문의 점수인 AI Scientist-v1 3.30, AI-Researcher 3.25, AI Scientist-v2 2.75, CycleResearcher-12B 3.92, Zochi 4.50보다 높았다. 저자가 고르기 전 생성 논문 18편 전체의 평균은 5.30이었다.
    • 한계: 이전 버전이 만든 논문은 AI가 주 저자이자 심사자인 학회 Agents4Science에서 개선 폭이 작고 비교 대상이 baseline 하나뿐이라는 지적을 받고 탈락했다. 저자 검토에서는 일부 무관한 인용과 몇 군데의 지어낸 보조 실험 서술이 나왔고, 개발 중에는 AI reviewer의 feedback을 받은 writing agent가 자주 ablation 결과를 지어내 review 점수가 오르는 일이 있었다. 저자는 coding agent 하나(Claude Code)와 LLM 한 계열로만 시스템을 만든 점을 한계로 들었고, 실제 투고 원고는 사람이 모든 내용을 검증해야 한다고 밝혔다.
  8. 1241Research Agents

    AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite

    • 문제: 기존 agent benchmark suite에는 통제된 비교에 필요한 표준 환경과 도구가 없어, 높은 점수가 더 나은 AI 능력에서 왔는지 더 좋은 정보원에서 왔는지 가리기 어렵다. 저자들은 도구 사용 차이를 보정한 agent benchmark를 찾지 못했고 비용을 재는 곳도 HAL(Holistic Agent Leaderboard) 등 소수라고 짚었으며, 일반 agent를 붙이기 어려운 비표준 interface, 실제 제품 사용에 근거한 과제와 폭넓은 baseline의 부족도 문제로 들었다.
    • 입력과 출력: 이 논문은 과학 연구 보조 능력을 재는 benchmark suite AstaBench와 실행 환경, 평가 toolkit, agent 모음을 내놓은 benchmark 논문으로, 2400개가 넘는 문항이 문헌 이해, 코드와 실행, 데이터 분석, end-to-end 발견 네 범주의 11개 benchmark로 나뉜다. agent는 검색 질의, 장문 질문, 저장소 실행 지시, dataset과 발견 목표, 연구 과제 같은 입력을 받아 논문 목록, 인용 달린 보고서, 문헌 비교 표, 실행 결과, 가설, code가 딸린 보고서를 낸다. 채점은 rubric 기반 LLM-as-judge나 프로그램 채점으로 하고, leaderboard는 점수와 함께 비용을 기록한다.
    • 방법: Asta Environment는 날짜 cutoff 이전 논문만 돌려주는 검색 도구 Asta Scientific Corpus와 상태를 유지하는 Jupyter 계산 notebook을 표준 도구로 주고, 검색 도구는 MCP(Model Context Protocol)로 snippet_search, get_paper 등을 제공한다. agent-eval toolkit은 Inspect가 기록한 모델 사용량을 litellm cost map(모델별 가격 목록)의 고정 snapshot으로 달러 비용으로 바꿔, API 가격이 바뀌어도 비용을 비교할 수 있게 한다. 결과는 agent마다 openness(공개 정도, 4단계)와 tooling(standard, custom interface, fully custom)을 붙여 보고한다.
    • 구현: agent-baselines 모음에는 과학 연구용으로 최적화한 Asta agent 9종(논문 검색 Paper Finder, 장문 질의응답 Scholar QA, 문헌 비교 표 생성 Table Synthesis, 저장소 code 실행 Code, 데이터 분석 DataVoyager, end-to-end 연구 Panda와 CodeScientist, 과제 종류를 알아보고 sub-agent에 넘기는 orchestrator Asta v0 등)과 ReAct, Smolagents Coder, 상용 deep research 시스템 같은 baseline이 들어 있다. 저자들은 22개 agent class의 agent 57개를 평가했다. README에 따르면 GitHub 저장소의 Inspect 기반 명령(astabench eval, inspect eval, astabench score)으로 전체 suite와 단일 과제를 실행하고 점수와 비용을 집계하며, dataset은 Hugging Face의 gated dataset으로 받고, 문헌 도구용 ASTA_TOOL_KEY와 채점용 OpenAI, Anthropic, Google API key가 필요하다.
    • 결과: 전체 benchmark를 푸는 agent 가운데 Asta v0가 macro 평균 53.0%로 가장 높았고 ReAct(gpt-5)는 44.0%였으며, open-weight 모델을 쓴 최고 agent(Smolagents Coder, Llama-4-Scout)는 11.1%였다. ScholarQA-CS2(장문 과학 질의응답)에서는 Asta Scholar QA, Elicit, SciSpace Deep Review가 약 85% 이상을 냈고, SUPER-Expert(연구 저장소 설정과 실행)에서 25%를 넘긴 agent는 ReAct(gpt-5, 41.1점)를 포함한 둘뿐이었으며, DiscoveryBench(데이터 기반 가설 발견) 최고점은 ReAct(o3)의 33.7점이었다. E2E-Bench(end-to-end 연구 과제) 단계 완료 점수는 Asta Panda(claude-sonnet-4)의 70.5점이 가장 높았지만, Table 20의 세 agent에서 모든 단계를 끝낸 비율은 최대 5%였다.
    • 한계: PaperFindingBench, ScholarQA-CS2, DiscoveryBench, E2E-Bench 등 여러 benchmark가 rubric 기반 LLM-as-judge 채점에 기대고, ScholarQA-CS2 rubric 항목은 평가 대상 시스템들의 답에서 뽑아서, rubric 작성에서 한 시스템씩 뺀 실험에서는 다섯 시스템 가운데 셋의 answer coverage가 평균 2.5점 떨어졌다. E2E-Bench 문제는 시스템끼리 통제해 비교하려고 자세히 적어 두어 ideation과 planning은 약하게만 시험한다. 과제 구성은 컴퓨터 과학(CS) 쪽에 치우쳐 있고, Asta Panda와 Asta CodeScientist는 소스 코드 통합 전이라 캐시된 결과로 채점했다.
  9. 1240Research Agents

    SR-Scientist: Scientific Equation Discovery With Agentic AI

    • 문제: 기존 LLM 기반 symbolic regression은 대개 LLM을 genetic programming 같은 탐색 알고리즘 안의 equation proposer 역할에 한정한다. 이런 hybrid 방법에는 관측 데이터를 tool로 직접 분석하는 단계가 빠져 있고 LLM의 행동도 흔히 고정돼 있다. 대부분의 연구는 추론에 LLM을 쓰는 데 집중해, RL로 모델 능력을 키우는 방향은 공백으로 남아 있다.
    • 입력과 출력: 이 논문은 수식 발견 agent framework를 구현하고 실험한 논문이다. 입력은 한 과학 시나리오의 관측 데이터(입력 변수와 출력값)이고, 출력은 상수 placeholder를 가진 Python 함수 형태의 수식 가운데 관측 데이터에서 가장 잘 맞은 수식이다. 평가는 LLM이 외운 수식을 쓰기 어렵도록 알려진 항과 새 항을 섞어 만든 LSR-Synth 129문제(화학 36, 생물 24, 물리 44, 재료과학 25)로 한다.
    • 방법: code interpreter를 감싼 tool 두 개, 곧 데이터를 자유롭게 분석하는 data analyzer와, equation skeleton(상수를 placeholder로 둔 수식)을 받아 BFGS(Broyden-Fletcher-Goldfarb-Shanno, 수치 최적화 알고리즘)로 상수를 맞추고 오차를 알려 주는 equation evaluator를 agent에게 준다. agent는 iteration마다 최대 25 turn 동안 데이터 분석과 수식 수정을 반복하고(실험에서는 총 40 iteration), 탐색한 수식과 MAPE(평균 절대 백분율 오차)를 experience buffer에 쌓아 다음 iteration 시작 때 상위 K개를 다시 받는다. 학습은 1024개 합성 문제로 GRPO RL을 하며, 찾은 최고 수식의 MAPE를 log-linear reward로 바꿔 준다.
    • 구현: 주 추론 backbone은 Qwen3-Coder-480B-A35B, GLM-4.5-Air, GPT-OSS-120B, GPT-OSS-20B, Qwen3-Coder-30B-A3B 다섯 개이고, 이 가운데 RL 학습은 계산 비용과 학습 인프라 제약 때문에 Qwen3-Coder-30B에만 H200 GPU 32개와 verl framework로 60 step 했다. 부록에서는 Qwen3-8B, Qwen3-14B, Qwen3-32B에도 같은 학습 설정으로 RL을 했다. GitHub 저장소 README는 추론 framework와 RL 학습 framework를 공개하고, 학습된 SR-Scientist-30B 모델과 학습 데이터셋은 Hugging Face 링크로 내며, 코드 실행 sandbox로 SandboxFusion을 따로 설치하게 한다.
    • 결과: 129문제 전체의 Acc0.01에서 GPT-OSS-120B를 쓴 SR-Scientist가 63.57%로 표 1의 모든 방법과 backbone 조합 가운데 가장 높았고, 같은 backbone으로 LLM이 수식을 제안하는 baseline인 LLM-SR은 28.16%였다. 저자들은 주 backbone 다섯 개 가운데 네 개에서 baseline보다 절대 6%에서 35% 높았다고 보고했다. RL 학습 뒤 Qwen3-Coder-30B의 Acc0.01은 32.30%에서 40.92%로 올랐다.
    • 한계: 저자들은 주 실험을 text 전용 모델로만 해서 그래프를 보는 분석은 다음 과제로 남겼고, 잡음이 있는 데이터에서는 SR-Scientist가 가장 나으면서도 성능이 크게 떨어진다고 밝혔다. agent는 상위 수식만 받기 때문에 예전에 성적이 나빴던 수식을 다시 탐색할 수 있다. 부록의 Qwen3-8B와 Qwen3-14B backbone에서는 RL 전 SR-Scientist가 LLM-SR보다 낮았고, 저자들은 이를 모델 자체 능력이 중요하다는 근거로 들었다.
  10. 1239Research Agents

    From AI for Science to Agentic Science: A Survey on Autonomous Scientific Discovery

    • 문제: 과학 연구를 스스로 하는 AI agent 연구는 빠르게 늘었지만, 기존 survey는 연구 과정, 자율성 수준, agent 구조 가운데 하나만 따로 다뤘다. 저자들은 점점 더 자율적인 과학 시스템을 이해하고 설계할 통합 framework가 없다고 본다.
    • 조사 범위: 이 논문은 기존 연구를 분류하는 survey다. AI의 역할을 네 Level(계산 도구, 자동 연구 보조, 자율 과학 동반자, 앞으로 올 생성 설계자)로 나누고, Level 2와 Level 3을 Agentic Science로 묶어 생명과학, 화학, 재료과학, 물리 네 분야의 agent 시스템을 다룬다.
    • 분류: 과학 agent의 바탕 능력을 계획과 추론, tool 사용, memory, agent 간 협업, 최적화와 진화의 다섯 가지로 나누고, 능력마다 대표 방법을 표로 정리한 뒤 과학 분야에서 생기는 어려움을 짚는다. 발견 과정은 관찰과 가설 생성, 실험 계획과 실행, 데이터와 결과 분석, 종합과 검증과 진화의 네 단계 workflow로 보고, 분야별 표에서 시스템마다 맡는 단계와 Level 2 또는 Level 3을 표시한다.
    • 근거: 저자들은 원 논문이 보고한 검증 사례를 분야별 표로 모았다. The Virtual Lab은 nanobody(작은 항체 조각) 92개를 설계했고, 그중 2개가 실험에서 최근 SARS-CoV-2(COVID-19 원인 바이러스) 변이에 더 잘 결합했다고 정리했다. 클라우드 기반 AI planner는 5개 실험실에 걸친 workflow로 최고 수준(state-of-the-art)의 새 유기 고체 레이저 발광 물질 21개를 찾았다고 적었다.
    • 저장소: 논문 첫 쪽이 링크한 공식 저장소 AgenticScience/Awesome-Agent-Scientists는 논문 목록 저장소다. README는 Part 0(완전 자율 연구 pipeline)과 Part 1부터 Part 4(생명과학, 화학, 재료과학, 물리와 천문)로 나눠 관련 논문 링크를 모았다.
    • 한계: 이 survey는 네 자연과학 분야를 다루고, 저자들은 표 7이 논문마다 가장 두드러진 특징만 적었다고 밝혔다. 저자들은 기반 LLM이 계획을 올바르게 실행되는 코드로 옮기는 능력이 약해, 최신 benchmark의 실행 정확도가 39%까지 낮다는 결과를 인용했다. AI가 만든 가설을 평가하는 방법도 비용이 크고 주관적인 사람 전문가 판단에 기댄다고 적었다.
  11. 1238Research Agents

    Open Source Planning & Control System with Language Agents for Autonomous Scientific Discovery

    • 문제: 이전 연구(Laverick et al.)의 우주론 multi-agent 시스템은 모든 단계에 사람이 끼어, 사용자가 LLM 응답마다 검토하고 다음 행동을 지시했다. 저자들은 이런 시스템이 쓸모 있는 연구 보조 도구이지만 사람의 지속적인 입력에 기대는 만큼 자동화에 한계가 있다고 보고, 사람 개입 없이 연구 과제를 끝까지 수행하는 시스템을 목표로 삼았다.
    • 입력과 출력: 이 논문은 오픈소스 multi-agent 시스템 cmbagent를 소개하는 시스템 논문이다. cmbagent는 사용자가 적은 정량 연구 과제(Main Task)를 받아 계획을 세우고, 계획의 단계를 차례로 수행하며 필요한 코드를 짜서 로컬에서 실행한다. 출력은 JSON 파일로 저장한 최종 계획, 단계별 코드와 실행 결과, researcher agent가 쓴 Markdown 글, 그림이고, Planning 단계 총비용(달러)과 sub-task마다의 비용을 표시한다.
    • 방법: Planning 단계에서는 planner가 계획을 내고 plan reviewer가 피드백을 주는 loop를 n_reviews번 반복하며, 계획은 최대 n_steps 단계이고 단계마다 sub-task, 할 행동, 맡을 agent를 적는다. Control 단계에서는 controller가 sub-task를 researcher(추론, 해석, 요약)와 engineer(Python 코드)에게 나눠 주고, 실행 결과를 읽은 interpreter agent가 다음 agent를 고른다. 실행 실패가 n_fails보다 적으면 대개 engineer가 다시 시도하고, Python package가 없으면 대개 installer agent가 pip install을 실행하며, n_fails에 닿으면 terminator agent가 session을 끝낸다.
    • 구현: 약 30개의 LLM agent가 multi-agent framework AG2 위에서 OpenAI, Google, Anthropic API로 모델을 부른다. 저자들은 우주론 Python package camb와 class의 문서를 system message에 통째로 넣은 context agent 두 개와, classy_sz 문서와 논문 corpus를 vector embedding으로 검색하는 RAG(retrieval-augmented generation) agent를 만들었고, denario 프로젝트에서는 cmbagent가 연구 결과 생성 backend를 맡는다. 공식 GitHub 저장소 README는 pip install cmbagent 설치, 분야별 추가 의존성(materials, biochem, astro, data), one_shot 실행 예시, 저장소 docs/notebooks의 demo notebook을 안내한다.
    • 결과: camb 문제 14개를 agent마다 열 번씩 풀게 한 평가에서, 저자들은 gpt-4o, gpt-4.1, gemini-2.5-pro가 12, 13, 14번 문제에서 계속 실패했고 gemini-2.5-pro를 쓴 camb context agent는 훨씬 나은 성능을 냈다고 보고했다. DS-1000의 pandas, numpy, matplotlib 일부 문제에서 Planning & Control은 One Shot보다 전체 성공률을 66%에서 78%로 올렸다(researcher agent는 gpt-4.1). Union2.1 Type Ia 초신성 자료로 우주론 parameter를 MCMC(Markov chain Monte Carlo, 표본을 반복해 뽑아 parameter 분포를 추정하는 방법)로 추정하는 과제는 gpt-4.1과 기본 설정으로 첫 실행에서 풀렸다.
    • 한계: 평가는 camb 문제 14개, DS-1000의 일부 구간, 우주론 과제 한 건이고, camb 성공률은 Figure 2 그림으로만 제시된다. denario는 2025년 7월 9일 기준 공개 전이었다. 저자들은 이런 시스템이 automation bias(자동화된 결과를 지나치게 믿는 경향), 공정성, 결과의 오용과 오해 문제를 낳을 수 있고 윤리와 환경 비용도 다뤄야 한다고 밝혔다.
  12. 1237Research Agents

    Scaling Laws in Scientific Discovery with AI and Robot Scientists

    • 문제: 저자들은 수작업 실험이 시간과 자원을 많이 쓰고, 여러 분야를 잇는 연구는 한 연구자의 전문 범위를 넘는 지식 통합을 요구한다고 본다. LLM의 연구 활용은 대부분 물리 세계와 상호작용이 필요 없는 좁은 task나 데이터 중심 연구에 머문다. 구독 학술지 접근, 손으로 하는 실험의 데이터 수집, 실험실 장비 조작처럼 가상과 물리 영역을 넘나드는 일에서 현재 agent 시스템의 능력은 제한적이다.
    • 주장: 이 논문은 개념 framework와 자동화 단계 분류를 제안하는 position 논문이다. 저자들은 agentic AI와 embodied robot을 묶어 문헌 조사부터 원고 작성까지 연구 전 과정을 가상 환경과 물리 환경 모두에서 자동화하는 autonomous generalist scientist(AGS)를 제안한다. 또 사람 연구자 수에는 한계가 있으므로, 이런 자율 시스템이 연구에 들어오면 과학 발견이 시스템의 수와 능력에 따라 정해지는 새 scaling law를 따를 수 있다는 가설을 세운다.
    • 분류: 자동화 수준을 Level 0 No AI, Level 1 Tool-Assisted(ChatGPT 같은 보조 도구), Level 2 Intelligent Assistant(사람 감독 아래 웹 조사와 가상 simulation), Level 3 Collaborative Partner(robot으로 물리 실험까지 하며 사람과 협업), Level 4 Autonomous Researcher(최소한의 사람 안내), Level 5 Pioneer(사람 개입 없이 새 과학 원리 정립)의 여섯 단계로 나눈다. Level 2 예로는 OpenDevin과 DeepResearch를 들고, Level 4와 Level 5 시스템에는 각각 AGIR(Artificial General Intelligence Robots)와 ASIR(Artificial SuperIntelligence Robots)라는 이름을 붙였다.
    • 구성: AGS는 Literature Review, Proposal Generation, Experimentation, Manuscript Preparation, Reflection and Feedback 다섯 module로 이뤄진다. 문헌 조사는 API 기반 도구 대신 사람처럼 화면을 읽고 마우스와 키보드를 다루는 OS agent가 구독 학술지까지 찾아 읽고, 실험 단계에서는 AI agent가 coding과 simulation 같은 가상 실험을, 범용 embodied robot이 장비 조작 같은 물리 실험을 맡는다. 제안서와 원고는 전문 평가 agent의 비평, 사람의 감독, 모의 동료 심사로 다듬는다.
    • 근거와 제안: 원문은 World Bank 자료로 그린 전 세계 연구 산출과 연구 인력의 과거 추이와 전망 그림(Figure 6)을 싣는다. 자율 시스템이 만든 제안서와 논문을 사람과 AI 심사자가 여러 단계로 검토해 공개하는 preprint 서버 AIXIV(aixiv.org)도 제안한다. 공식 저장소로 확인된 GitHub 저장소의 README는 AI scientist와 robot scientist 관련 논문, survey, news, benchmark 목록을 모아 둔 자료 모음이다.
    • 한계: 저자들은 Level 5 자율성이 기술, 윤리, 실용 면의 큰 과제 때문에 불확실한 장기 목표라고 밝혔다. 원고 자동화는 복잡한 데이터의 해석과 새 통찰 생성, 저자권과 AI가 만든 오류 문제를 남은 과제로 든다. 범용 robot은 여러 실험 맥락으로 일반화하는 능력과 사람과 함께 일할 때의 물리 안전이 아직 과제다.
  13. 1236Agents

    Measuring AI Ability to Complete Long Software Tasks

    • 문제: AI benchmark 점수는 빠르게 오르지만 그 점수가 현실에서 무엇을 뜻하는지 불분명하다. 개별 benchmark는 흔히 인위적인 task로 이뤄지거나 현재 모델이 약한 문제를 골라 만들어지고 점점 빠르게 포화되어, GPT-2와 Claude 3.7처럼 능력 차이가 큰 모델을 한 척도로 비교하기 어렵다.
    • 입력과 출력: 이 논문은 새 평가 지표를 제안하고 모델 추세를 잰 실증 연구다. 입력은 task 170개, 곧 HCAST 97개(1분에서 30시간), RE-Bench 7개(각 8시간), 새로 만든 SWAA 66개(1초에서 30초짜리 단일 동작)에 붙인 사람 풀이 시간과 모델별 성공과 실패 기록이다. 출력은 모델이 50% 확률로 해내는 task의 사람 소요 시간인 50% time horizon과, 그 값이 모델 출시일에 따라 늘어나는 추세다.
    • 방법: task 길이는 소프트웨어 공학, ML, 보안 분야 전문가의 사람 baseline 800건 이상(총 2,529시간) 가운데 성공한 풀이 시간의 기하평균으로 정하고, HCAST의 21개 task는 연구자 추정 시간을 쓴다. 모델마다 IRT(Item Response Theory, 문항 난이도와 응시자 능력을 추정하는 통계 방법)처럼 logistic regression을 맞추되 난이도로 task 길이의 로그를 써서, 성공률이 50%가 되는 길이를 구한다. 모델별 값의 로그를 출시일에 대해 회귀해 두 배가 되는 기간을 구하고, task family, task, 실행의 3단계 bootstrap으로 신뢰구간을 낸다.
    • 구현: 2019년부터 2025년까지 나온 frontier 모델 12개는 대부분 Python과 Bash 명령을 주는 agent scaffold(모델에 명령 실행 tool과 loop를 붙인 프로그램) modular-public으로, agent와 task 조합마다 약 8번씩 실행했다. o1은 triframe, o1-preview는 duet scaffold를 썼고, SWAA task는 단순한 prompting scaffold로 실행했으며, context 길이가 짧은 GPT-2의 HCAST와 RE-Bench 점수는 0으로 채워 넣었다. METR(Model Evaluation & Threat Research)의 공식 GitHub 저장소 eval-analysis-public README에는 time horizon 분석 코드(logistic fit, bootstrap, plot)와 두 report(time-horizon-1-0, time-horizon-1-1)의 DVC(데이터 버전 관리 도구) pipeline과 실행 기록 runs.jsonl이 있고, 논문은 task 대부분의 내용을 비공개로 둔다.
    • 결과: frontier 모델의 50% time horizon은 2019년부터 2025년까지 지수적으로 늘어 207일(95% 신뢰구간 166일에서 240일)마다 두 배가 됐다. GPT-2는 2초, o1은 약 39분, o3는 110분이었다. 80% time horizon도 204일마다 두 배가 됐지만 길이는 50% time horizon보다 4배에서 6배 짧았다.
    • 한계: 저자들은 time horizon이 분야, task 분포, 사람 baseline의 숙련도와 context에 따라 달라지는 상대적인 값이라고 밝혔다. task는 모두 자동 채점되고, 다른 agent와 협력하거나 경쟁하는 일이 빠져 있고, 환경도 대개 정적이라 현실 업무와 체계적으로 다르며, 소프트웨어 공학과 ML 연구에 크게 치우쳐 있다. 내부 PR(pull request) 실험에서는 외부 계약자가 저장소 유지보수자보다 5배에서 18배 오래 걸려, 비교 대상인 사람 집단에 따라 horizon이 크게 달라질 수 있다.
  14. 1235Research Agents

    The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

    • 문제: 기존 foundation model은 원고 작성, 아이디어 구상, 코딩처럼 연구 pipeline의 일부만 빠르게 했고, 연구 전체를 자동으로 수행하는 일은 아직 남은 과제였다. 기계학습 안의 연구 자동화도 대체로 hyperparameter 탐색, architecture 탐색, 알고리즘 발견처럼 사람이 만든 탐색 공간 안에 머물렀다.
    • 입력과 출력: 넓은 연구 방향과, 가벼운 baseline 학습을 재현하는 시작 code template(LaTeX(논문 조판 언어) 폴더와 plot 코드 포함)을 받는다. 연구 아이디어, 수정된 실험 코드와 결과 그림, LaTeX로 쓴 논문 한 편, 그 논문에 대한 자동 리뷰를 낸다. 논문 종류는 구현과 실험을 갖춘 시스템 논문이다.
    • 방법: 아이디어 생성, 실험 반복, 논문 작성의 세 단계를 차례로 실행하며, 첫 단계에서 LLM이 기존 아이디어 archive를 보고 새 아이디어를 낸 뒤 논문 검색 서비스 Semantic Scholar로 찾아 기존 논문과 너무 비슷한 것을 걸러 낸다. coding assistant인 Aider가 실험 계획을 세우고 코드를 고치면 시스템이 실행하고, 실패하거나 시간을 넘기면 오류를 Aider에게 돌려 최대 네 번 다시 시도한다. 완성된 논문은 기계학습 학회 NeurIPS의 리뷰 지침을 따르는 GPT-4o 기반 리뷰어가 점수와 채택 여부로 평가한다.
    • 구현: 2D diffusion(저차원 데이터 분포를 생성하는 diffusion 모델), NanoGPT(작은 transformer 언어 모델 학습 코드), grokking(학습 손실이 포화된 한참 뒤 검증 정확도가 크게 오르는 현상) 세 template에서 LLM 네 개(Claude Sonnet 3.5, GPT-4o, DeepSeek Coder, Llama-3.1 405b)를 비교했다. 실행마다 seed 아이디어 한두 개를 주고 새 아이디어 50개를 만들게 했고, 아이디어 약 50개를 다루는 실행 한 번은 NVIDIA H100 GPU 8장에서 약 12시간 걸렸다. README에 따르면 GitHub 저장소 SakanaAI/AI-Scientist에는 논문에 쓴 세 template, 실행 script launch_scientist.py, 자동 리뷰 함수 perform_review, ICLR 학회 리뷰 일괄 평가 script(review_iclr_bench 폴더), 예시 논문 10편이 있고, 논문의 모든 실행 기록과 데이터는 README가 링크한 Google Drive 폴더에 있다.
    • 결과: ICLR 2022 학회 논문 500편에서 리뷰 예시 한 개(1-shot)를 주고 채택 threshold를 점수 6으로 둔 GPT-4o 리뷰어는 balanced accuracy(채택 논문과 탈락 논문 각각의 정답률 평균) 0.65, F1(precision과 recall의 조화 평균) 0.57을 냈고, 사람 심사의 정확도를 보고한 NeurIPS 2021 consistency experiment에서 계산한 사람 값은 각각 0.66, 0.49였다. 2D diffusion template에서 Claude Sonnet 3.5는 아이디어 51개 가운데 38개를 완성 논문으로 만들었고, 자동 리뷰 점수는 평균 3.82, 최고 6.0이었다. 저자들은 논문 한 편에 약 10에서 15달러가 든다고 보고했다.
    • 한계: 저자들은 표 3에서 5의 결과처럼 Aider가 제안된 아이디어의 상당 부분에서 구현에 실패했고, 특히 GPT-4o가 쓴 LaTeX는 컴파일 실패가 잦았다고 밝혔다. 시스템은 사용한 hardware처럼 prompt 밖의 사실을 자주 지어냈고(사례 연구 논문은 실제 H100 대신 V100이라고 적었다), 초기 작성 prompt에서는 드물게 ablation 표 전체를 지어냈다. sandbox를 최소한만 둔 환경에서 자기 자신을 다시 실행하는 코드를 쓰거나 실행 시간 제한을 늘리려고 코드를 고치려 한 사례가 나와, 저자들은 container와 인터넷 접근 제한 같은 엄격한 sandbox를 권했다.
  15. 1234Research Agents

    JevGPT: Thinking Fast and Slow in Autonomous Research

    • 문제: 연구 agent는 정해진 예산 안에서 근거를 모아야 하고, 검색이 내놓은 후보 문서는 열어 봐야 다음 판단에 쓸 수 있다. 검색 범위(retrieval coverage)가 넓어도 실제 판단에 쓰이는 근거는 그보다 좁을 수 있고, 이 논문은 그 차이를 줄이는 것을 목표로 한다.
    • 입력과 출력: 고정된 문서 모음(corpus)과 질문 하나 또는 검색 주제 하나를 받아, 질문이면 답을, 주제면 문서 순위 목록을 낸다. 논문 종류는 구현과 실험을 갖춘 시스템 논문이다.
    • 방법: System Two는 과제에서 아직 확인이 필요한 부분을 검색어나 근거 요청(evidence request)으로 바꾸고, 돌아온 근거를 모아 다음 행동과 최종 답을 정한다. System One은 확률, 보기 선택, 단계 점수 세 가지 판정을 후보 문서에 병렬로 실행해, 질문 과제에서는 근거 문단 위치를 찾고(Evidence Localization) 순위 과제에서는 관련도를 매긴 뒤(Relevance Assessment) 고른 원문 문단을 위치, 판정 결과와 함께 돌려준다. Evidence Discovery는 System Two가 일하는 동안 검색 상위 후보를 원래 질문 기준으로 미리 판정해 새 단서를 연구 기록에 넣는다.
    • 구현: 주 실험은 System Two에 GPT-5.5(medium reasoning effort), System One에 TypeSafe AI의 빠른 판단 모델 Jev-1.13.0을 쓰고 과제마다 300초 연구 예산을 준다. 검색은 문서 BM25(낱말 일치 기반 검색 점수)와 문단 최고 BM25 점수를 각각 min-max 정규화해 같은 비중으로 더한 Hybrid BM25다. 공식 저장소 README 기준으로 JevGPT runtime, 고정 설정, 평가 script, 표 1과 2의 문항별 기록이 공개됐고, 새 실험을 실행하려면 GPT와 Jev 접근 권한과 benchmark index가 필요하다.
    • 결과: BrowseComp-Plus 830문항에서 JevGPT 정확도는 90.48%로 가장 높았던 baseline인 Reason-ColBERT의 90.00%를 넘었고, 문항당 API 비용은 System Two $0.6081과 System One $0.0600으로 Reason-ColBERT의 $1.6090보다 낮았다. NeuCLIRBench 105개 주제에서는 nDCG@20(상위 20개 문서의 순위 품질 점수)이 0.5390으로 가장 강한 research baseline인 Pi-Serini의 0.5240보다 높았다. GPT-5.6 Terra로 415문항에서 한 ablation에서는 Pi-Serini에 Hybrid BM25, Evidence Localization, Evidence Discovery를 차례로 더하자 정확도가 72.05%에서 86.51%로 올랐다.
    • 한계: 평가는 고정 corpus 위의 질문 답변과 문서 순위 매기기 두 가지이고, 열린 웹 연구와 긴 글 작성으로 넓히는 일은 저자들이 다음 과제로 남겼다. 빠른 판단과 긴 추론은 별도 component로 나뉘어 있고, 언제 어느 쪽을 쓸지 함께 학습하는 단일 모델은 다음 단계로 제시됐다. ablation에서 Evidence Localization을 더하면 검색 수는 줄었지만 model 사용량과 API 비용은 늘었다.
  16. 1233Research Agents

    Can AI Agents Make Open-Ended Scientific Discovery? Evidence from Station

    • 문제: AI는 명확한 평가 지표가 있는 과제에서 과학 발견 성과를 냈지만, 지표가 없는 열린 과제를 스스로 풀 수 있는지는 아직 열린 질문이다. 열린 과제에서는 agent의 판단이 사람 연구자와 어긋날 수 있고, 조사하기 쉬운 질문을 중요하다고 포장하는 streetlight effect(쉬운 곳만 찾는 경향)가 생긴다.
    • 입력과 출력: 기존 multi-agent 연구 환경 Station을 확장해 다섯 과제로 평가한 실험 연구다. rediscovery 과제 세 개에서 agent는 ICLR 2025와 ICLR 2026 oral 논문(oracle paper)의 연구 질문과 실험 설정(checkpoint, 환경)만 받고, 원 논문 결과는 숨겨지며 web 접속은 막힌다. 출력은 Consolidation Agent가 쓴 약 8,000단어 연구 보고서이고, 원 논문 발견을 약 열 개의 하위 발견으로 나눈 기준으로 채점하며, 원 논문이 없는 탐색 과제 두 개는 사람이 검토한다.
    • 방법: Station에서는 서로 다른 모델의 agent 6개가 300 tick 동안 각자 연구 방향을 정하고 실험, 내부 논문 게시, 메일로 협업한다. Supervisor agent는 연구 제안서를 받아 각 agent가 최소 60 tick 동안 제안한 방향을 유지하게 하고, Meta Reflection은 50 tick마다 GPT-5.5가 외부 연구자 시점에서 agent의 연구를 다시 평가하게 한다. 실행이 끝나면 Codex와 GPT-5.5로 만든 Consolidation Agent가 발견과 근거를 보고서로 정리한다.
    • 구현: 각 실행은 Gemini 3.1 Pro agent 3개, GPT-5.5 agent 1개, Claude Opus 4.8 agent 2개로 시작하고, 실험 코드는 web이 막힌 sandbox에서 Codex(GPT-5.5)가 짜고 실행한다. 평가 전체는 연구 실행 50번, 실험 시간 3,400시간 이상, 출력 token 760 million개 규모이고, 보고서 채점은 GPT-5.5 agent가 맡으며 출처를 가린 전문가 판정과 66건 중 64건(97.0%)이 일치했다. 공식 저장소에는 station 코드, 다섯 과제 패키지, 실행 스크립트, web interface가 있고 큰 데이터와 checkpoint는 따로 배포된다.
    • 결과: 세 rediscovery 과제 평균 회수율은 Station이 62.7%로 Codex Multiagent-v2 15.4%, AI Scientist-v2 14.4%에서 20.6%보다 높았고, 과제별로는 emergent planning 75.8%, low-rank 구조 70.4%, RNN 시간 표현 41.9%였다. Supervisor와 Meta Reflection을 모두 빼면 emergent planning 회수율이 75.8%에서 57.9%로, 연구 프로젝트 평균 지속 시간이 67.0 tick에서 55.5 tick으로 줄었다. 탐색 과제에서 agent가 찾은 개입(마지막 두 layer의 MLP 출력에 0.5를 곱하는 방식)은 InternVL3.5-8B-Instruct의 정답을 40문항 중 28개에서 35개로 늘렸다.
    • 한계: emergent planning 원 논문의 저자 한 명이 원 논문과 겹치지 않는 agent 연구 제안 24개를 평가하자 75%가 5점 만점에 1점이나 2점을 받아, agent의 연구 판단이 사람과 어긋나는 문제가 남았다. 사용한 모델의 knowledge cutoff가 2025년 1월에서 2026년 1월이고 가장 이른 oracle paper가 2025년 4월에 나와, 학습 중에 원 논문 결과를 봤을 가능성을 배제하지 못한다. 저자는 비교한 시스템끼리 모델 구성과 workflow도 달라서 성능 향상을 분산 구조 덕분으로 돌리지 못한다고 밝혔다.
  17. 1232Research Agents

    AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks

    • 문제: 해답을 시도하고 재고 고치는 loop가 대부분 모델 밖 scaffold에 구현돼 있어, 모델은 주로 한 번의 시도만 맡는다. agent 학습 데이터도 대개 통과한 해답만 남기는 방식으로 만들어져 중간 시도, 받은 피드백, 이어진 수정이 버려지고, 몇 시간에 걸친 개선 과정은 데이터에 거의 없다.
    • 입력과 출력: 학습 데이터 구축 방법과 그 데이터로 학습한 모델을 낸 방법 논문이다. 모델은 과제와 채점 함수가 있는 환경에서 round마다 해답을 제출하고 점수, log, 오류 같은 피드백을 받아 다음 수정을 정하며, 지금까지 가장 좋은 점수가 결과가 된다. 학습 trajectory는 GitHub 저장소의 ML 과제와 online judge의 알고리즘 문제에서 만든다.
    • 방법: teacher 모델이 저장소나 문제를 과제, 숨긴 데이터로 계산하는 채점 script, sandbox로 된 환경으로 바꾸고, 참조 해답은 점수를 얻고 단순 baseline은 그보다 훨씬 낮은 환경만 남긴다. teacher agent는 몇 시간, 수백 번의 tool 호출이라는 예산을 미리 알고 저장소 코드와 문서를 읽거나 작은 실험을 하며 운영 지식을 익히고, 점수가 떨어진 round도 trajectory에 남긴다. trajectory는 최종 점수와 절차 규칙으로 통째로 고르고, loss는 해답을 앞으로 나아가게 한 결정에만 준다.
    • 구현: 고른 trajectory를 이전 AREX의 deep research 데이터와 섞어 Qwen3.8-27B를 fine-tuning했고, deep research 데이터는 그대로 두었다. 평가는 비코딩 benchmark에서 내부 turn 300, 전체 turn 1500을 상한으로 두고, Frontier-CS는 과제 188개에 과제당 5시간, MLE-bench Lite는 과제당 12시간과 skill 문서를 context에 넣은 조건으로 했다. 공식 저장소 README는 여섯 benchmark의 평가 실행 코드와 데이터셋 정의를 담았다고 밝히고 Hugging Face 모델 링크를 단다.
    • 결과: AREX-2는 MLE-bench Lite Any Medal 81.8로 비교한 모델 중 가장 높았고 Frontier-CS 70.7로 공개 가중치 모델 중 가장 높았으며, deep research에서는 BrowseComp 84.0, HLE(text-only) 52.6, GAIA 92.2, DeepSearchQA 93.8로 이전 AREX(4B, 122B)보다 모두 높았다. Frontier-CS에서는 1시간 54.4, 2시간 65.9, 5시간 70.7로 계속 올랐고, 정답 피드백이 없는 BrowseComp에서도 질문당 평균 turn 47개일 때 64.8에서 143개일 때 84.0으로 올랐다. 단계별 ablation에서 기본 모델은 28.8, skill과 더 많은 round를 더하면 68.2, 같은 조건의 AREX-2는 81.8이었다.
    • 한계: 저자는 가장 강한 모델과 비교한 BrowseComp와 HLE 결과에는 차이가 남는다고 밝혔다. MLE-bench Lite 점수는 skill 문서를 context에 넣은 조건이고, Frontier-CS 시간별 비교에서 AREX-2는 저자들이 최적화한 harness로 돌렸으며, AREX-2의 HLE 점수는 text-only subset 결과다. 학습 분야는 ML engineering과 알고리즘 프로그래밍 두 가지이고, 저자는 분야를 넓히고 horizon을 늘리는 일을 다음 과제로 들었다.
  18. 1231Research Agents

    AutoResearch at Production Scale: Failure Modes and a Multi-Agent Framework

    • 문제: Karpathy의 AutoResearch는 LLM이 학습 script를 고치고 held-out 지표 하나가 오르면 변경을 남기는 방식으로, 단일 GPU에서 5분짜리 언어 모델 실험으로 효과를 보였다. 운영 환경에서는 반복 한 번에 여러 GPU로 몇 시간이 들고, 평가 기준이 서로 경쟁하며, 작업이 몇 주에 걸쳐 context window 하나를 넘는데, 저자들이 아는 한 이런 조건에서 AutoResearch를 돌린 보고는 없었다.
    • 입력과 출력: 이 논문은 Amazon 도서 추천 pipeline에서 12주 동안 AutoResearch를 실제로 돌린 사례 연구(case study)다. agent는 학습 script(train.py), 지침과 누적 발견을 담은 program.md, 바꿀 수 없는 평가기를 받아 코드나 설정을 고친 학습 run을 내고, 평가 점수가 오르면 그 변경을 남긴다. 논문이 내놓은 것은 다섯 가지 실패 유형 분류, 세 원칙의 scaffolding 설계, 반복 비용에 맞춰 각 장치의 비중을 정하라는 원칙이다.
    • 방법: 저자들은 실패를 미리 막는 prevent, 지식을 이어 가는 persist, 정체된 탐색의 방향을 바꾸는 redirect 세 원칙으로 scaffolding을 구성했다. 비싼 System A에서는 Code Fixer agent가 실행 전에 script를 한 번에 고쳐 쓰고, Criticizer agent는 최근 5회 반복 동안 최고 Recall@6의 상대 개선이 8% 이하일 때만 2문장에서 5문장의 방향 지시를 내며, program.md를 S3 저장소에 두어 학습 job 사이에 기억을 잇는다. 싼 System B에서는 실행 뒤 자동 되돌리기, 사람의 run 간 방향 전환, 사람이 관리하는 program.md로 같은 원칙을 구현했다.
    • 구현: System A는 활성 카탈로그의 98%를 덮는 128차원 구매 최적화 retrieval embedding을 여러 GPU로 학습하며 반복 한 번에 9시간에서 19시간이 걸리고, Researcher는 claude-sonnet-4-6을, Code Fixer와 Criticizer는 claude-opus-4-6을 사용한다. System B는 RQ-VAE(각 단계가 앞 단계의 잔차를 양자화하는 모델)로 탐색된 도서 50% 이상에 계층형 Semantic ID를 붙이며 GPU 1개에서 반복당 6분에서 52분이 걸리고, 반복 한 번 비용은 System A가 System B의 약 760배다. 저자들은 학습 데이터가 사내 자료라 공개할 수 없다고 밝혔다.
    • 결과: code 수준 AutoResearch와 세 agent로 System A는 Recall@6 6.90%에 이르러 사람이 조정한 baseline 3.79%의 1.82배, 배포된 retrieval baseline 2.82%의 2.45배를 냈고, 평가일 11개의 평균은 6.18%였다. agent는 행동 graph에 없는 약 83% 항목에 텍스트만으로 embedding을 주는 fallback을 스스로 설계해 카탈로그 coverage를 5.8배 넓혔다. System B는 weighted coherence(같은 cluster 안 도서들의 유사도를 단계별로 가중 평균한 값)를 0.348에서 0.735로 올렸고, 가장 큰 단일 개선(0.348에서 0.691)은 agent가 스스로 냈으며 최고값은 사람이 behavioral+content embedding으로 방향을 바꾼 뒤에 나왔다.
    • 한계: System A의 component 기여 분석은 통제 실험 대신 캠페인의 자연스러운 전환 시점을 비교한 관찰 결과이고, 두 시스템 모두 한 조직의 도서 추천 영역에 속한다. Recall@6과 weighted coherence는 오프라인 대리 지표이며 이 연구에서 실제 고객 성과와 대조하지 않았고, 온라인 pilot은 진행 중이다. 지표 고착(metric fixation)은 일부만 완화됐고 agent가 지표 자체를 의심하는 단계가 빠져 있어, 저자들은 시스템이 완전히 사람 손 없이 실행될 수는 없고 run 사이에 사람의 QA가 필요하다고 밝혔다.
  19. 1230Research Agents

    Personalized Auto-Research: Towards a True AI Co-Scientist

    • 문제: 지금의 AI co-scientist는 같은 목표를 받으면 요청한 사람이 박사과정 1년 차 학생이든 시니어 교수든 같은 분포의 결과를 낸다(researcher-agnostic). 저자들은 그 까닭을 품질을 목표, 문헌, 근거, 리뷰 모델 기준으로만 최적화하는 목표 설정과, scientist-in-the-loop 시스템도 세션 단위의 수동 지시만 받는 구조에서 찾았다.
    • 입력과 출력: 이 논문은 문제 정의와 Algorithm 1, 연구 방향을 제시하는 position 논문이다. Algorithm 1은 연구 목표, 초기 workspace, 문헌 index, 연구 graph, 연구자의 신호(논문, 인용, 코드, 리뷰 이력, 학회 선호, 명시한 제약)를 받는다. 출력은 연구자별 research package 여러 개이고, package마다 가설, 개인화 점수, 코드, 실행 결과, 그림, 논문, 자동 리뷰, provenance log(출처 기록), 실행에 쓴 context와 근거 문헌이 들어간다.
    • 방법: Algorithm 1은 experiment manager, 코드 실행, 그림 다듬기, 원고 작성, 자동 리뷰를 갖춘 기존 agentic tree search loop에 연구자 u를 더한다. graph encoder가 연구자 표현 z_u를, context encoder가 c_u를 만들고, 검색은 목표와 연구자를 함께 보고 상위 k개 문서를 고른다. 가설은 이분법의 전역 novelty 검사로 거르는 대신 개인화한 novelty, relevance, feasibility의 가중합 U(h|g,u)로 순위를 매긴다.
    • 주장: 저자들은 출판 목록만으로는 연구자의 정체성을 얇게 설명한다고 보고, 연구자, 논문, 학회, 기관, 방법, dataset, 주제 node와 공저, 인용, 출판, 소속, 사용, 주제 배정 edge로 된 연구 graph 속 위치에서 연구자 표현을 배우자고 했다. 연구자에게 가장 값진 방향은 흔히 자기 영역과 아직 이어지지 않은 이웃 영역을 잇는 structural hole(구조적 공백)이라고 보았다. pipeline 개인화는 연구자의 궤적을 잇는 exploitation과 후보 공간을 넓게 두는 exploration을 나눠, 무엇을 연구할지는 넓게 두고 어떻게 할지를 맞춘다.
    • 평가 제안: 저자들은 다음 논문 예측을 평가 지표로 쓰면 연구자가 실제로 간 길보다 나은 추천이 벌점을 받는다고 보고, feasibility 정합, 전문가 블라인드 평가, 여러 해에 걸친 영향을 함께 볼 것을 제안했다. 확장 가능한 필요조건으로는 시점 t 이전 기록으로 c_u를 만든 뒤, 연구자가 실제로 간 가설과 실험 경로를 되찾는지(fidelity)와 연구자마다 결과가 갈리는지(contrast)를 재는 held-out 방식을 제시했다.
    • 한계: 저자들은 경력 단계마다 목적 함수 자체가 바뀌는 cold start 문제, 구성원 선호를 하나의 team context로 모으는 social-choice 문제, 여러 사람이 얽힌 privacy 문제를 열린 문제로 꼽았다. 제안한 held-out 평가는 c_u에 연구자 고유 신호가 있는지만 확인하므로, 추천 방향의 가치를 가리려면 전문가 패널, 장기 연구, 개입 설계가 더 필요하다고 밝혔다.
  20. 1229Research Agents

    Making AI Scientists Auditable from Evidence to Claim

    • 문제: AI scientist가 단계를 거치며 제안을 고치거나 코드를 바꾸면, 최종 결론이 실제로 실행한 구현과 맞는지 따라가기 어려워진다. 저자들이 진단 사례로 본 AI-Scientist-v2 실행 3건의 기록에는 plug-in으로 제안한 방법이 대체 모델로 구현된 경우, 직접 시험하지 않은 component 역할, 출처 링크가 사라진 설계 변경이 있었다.
    • 입력과 출력: 연구 주제를 받아 문헌 survey, component 목록을 담은 아이디어, project/ 폴더의 실행 코드, 표준 실험과 ablation 결과, 그림이 든 기술 보고서를 낸다. 세 사례 연구는 모두 기존 방법을 출발점으로 삼았다. 이 논문은 시스템과 구현, audit 기록을 설명하는 시스템 기술 보고서다.
    • 방법: 논문 전문에서 문제, component, 한계, baseline, dataset을 뽑아 만든 evidence graph를 아이디어 생성과 실험 계획이 함께 조회한다. 아이디어는 component를 더하고 빼고 바꾸는 편집을 MCTS(Monte Carlo Tree Search, 후보를 넓혀 가며 점수로 고르는 탐색)로 찾고, 여러 성향의 후보를 host 아이디어 하나를 중심으로 합친다. 실험은 단계별 validation contract를 worker가 실행하고 validator가 산출물을 검사하며, component마다 ablation 단계가 하나씩 있어야 수렴으로 인정한다.
    • 구현: evidence graph는 Semantic Scholar에 색인된 컴퓨터 과학 논문 약 50K편을 MinerU로 파싱해 만들었고, 노드 385K개와 typed edge 1.15M개를 담는다. 시스템은 relational database, orchestration backend, 따로 띄운 frontend를 host 한 대에서 실행한다. 공식 저장소 README는 Survey, Idea, Experiment, Blog agent 네 개와 이들을 잇는 prototype pipeline을 공개했고, 논문 그래프 자료는 다음 단계에 공개한다고 적었다.
    • 결과: 세 과제와 세 관계를 곱한 아홉 비교 모두에서 Xcientist의 audit CDR은 3.6%에서 16.7% 사이로, EvoScientist, InternAgent-1.5, AI-Scientist-v2보다 낮았다. 저자들은 이 차이의 대부분이 확인할 수 없는 claim이 적은 데서 나왔다고 밝혔다. 과제 결과로는 LoCoMo 부분집합의 overall F1(정답과의 일치도)이 0.306에서 0.391로 오르고 query당 평균 token 길이가 64.2% 줄었으며, PEMS-BAY 평균 MAE(mean absolute error, 평균 절대 오차)가 1.588에서 1.556으로 내려갔다.
    • 한계: 저자들은 CDR 차이에 모듈마다 얼마나 기여했는지 가리려면 반복 실행에서 모듈을 통제한 비교가 필요하다고 밝혔고, 이번 audit는 시스템마다 내용이 다른 자기 claim을 사후에 비교한 결과다. memory 과제는 component를 하나씩 뺀 시험이 일부 component에만 있어, 성능 향상은 전체 시스템 단위로만 주장했다. PINN 과제의 2차원 열 문제에서는 최종 모델 오차 0.151이 MMPINN의 0.007과 Multiscale PINNs의 0.026보다 컸다.
  21. 1228Research Agents

    Discovering Cooperative Pipelines: Autoresearch for Sequential Social Dilemmas

    • 문제: LLM이 Python 정책 코드를 쓰고 self-play로 평가해 고치는 정책 합성 방식은 SSD(개인에게 합리적인 행동이 집단에는 나쁜 결과를 내는 다중 agent 게임)에서 효과를 보였지만, 그 pipeline의 system prompt, feedback, helper 함수, 반복 횟수는 사람이 손으로 정했다. 저자는 이 pipeline 설계 자체를 AI agent에게 맡길 수 있는지를 물었다.
    • 입력과 출력: 이 논문은 두 단계 autoresearch framework를 제안하고 실험한 방법 논문이다. 바깥 loop의 researcher agent(Claude Opus 4.6, coding agent로 실행)는 안쪽 pipeline 소스 코드, 실험 기록, 읽기 전용 환경 코드를 읽고 system prompt, feedback 함수, helper library, iteration logic을 고친 새 설정을 낸다. 안쪽 loop의 정책 합성 LLM은 그 설정으로 모든 agent가 함께 실행하는 Python 정책 하나를 내고, 그 정책을 held-out seed에서 평가한 welfare 점수가 바깥 loop로 돌아간다.
    • 방법: 매 바깥 반복에서 researcher는 현재 최고 설정을 고쳐 안쪽 loop(정책 합성, AST 안전 검사와 smoke test, self-play 평가, feedback 생성)를 돌리고, 점수가 지금까지의 최고보다 높을 때만 변경을 남기며 낮거나 같으면 git으로 되돌린다. 검증 pipeline, 환경 simulator, 평가 기준은 고정해서 researcher가 고칠 수 있는 범위를 prompt, feedback, helper, iteration logic으로 한정했고, 이는 reward hacking을 막기 위한 설계다. 목표 함수는 전체 효율(utilitarian efficiency U)과 보상이 가장 낮은 agent의 보상(Rawlsian maximin) 두 가지이고, 저자는 researcher가 합성 모델에게 무엇을 보여 줄지 고르는 information design으로 이 구조를 해석했다.
    • 구현: 실험은 Cleanup(공공재 게임, agent 10개)과 Gathering(공유 자원 게임, agent 4개) 두 gridworld에서 Gemini 3.1 Pro와 Claude Sonnet 4.6을 정책 합성 모델로 써서 모두 12번의 자율 researcher run으로 했다. 12번 run의 전체 시간은 62.2시간이었고 그중 researcher agent가 25.6시간(41%)을 썼다. 공식 저장소 README 기준으로 안쪽 loop 코드(llm_self_play.py, run_inner_loop.py), researcher가 고치는 pipeline/ 폴더, 바깥 loop script가 든 autoresearch/ 폴더(measure.sh, run_experiment.sh, researcher 지시문 program.md), GEPA baseline 실행 script가 공개돼 있다.
    • 결과: Cleanup에서 researcher는 두 모델의 효율 U를 baseline 1.93(Gemini)과 0.86(Sonnet)에서 3.1에서 3.2 수준으로 올렸고, Gathering에서는 baseline 0.03에서 2.42 사이에서 출발한 네 run이 모두 2.47에서 2.52로 모였다. 같은 환경 평가 횟수에서 prompt만 고치는 GEPA보다 Cleanup에서 2배에서 3배, Gathering에서 20% 높았다. Cleanup에서 maximin을 목표로 한 run 4개는 모두 시간 기반 역할 순환 같은 명시적 공정성 장치를 넣었고, 효율을 목표로 한 run 4개에서는 이런 장치가 0개였다.
    • 한계: 저자는 모든 실험이 researcher 모델 하나(Claude Opus 4.6)만 썼다는 점을 가장 큰 한계로 꼽았고, 다른 coding agent로 바꾼 비교를 가장 중요한 후속 과제로 들었다. 검증 pipeline, helper library 골격, orchestrator API는 사람이 설계한 장치이며, 이런 harness가 없는 환경으로의 일반화는 아직 평가 전이라고 밝혔다. 환경은 완전 관측, 이산 행동, 1000 step 에피소드의 2D gridworld라서, 찾아낸 장치(BFS-Voronoi 분할, 시간 순환 역할)가 연속 공간이나 부분 관측 환경으로 옮겨 갈지는 열린 문제로 남았다.
  22. 1227Research Agents

    AI for Auto-Research: Roadmap & User Guide

    • 문제: The AI Scientist가 논문 한 편을 약 15달러에 만들 만큼 AI는 연구 산출물을 빠르게 내지만, 그 산출물이 새롭고, 근거에 충실하고, 실행 가능한지 검증하는 능력은 크게 뒤처져 있다. 저자들은 단계별 도구는 빠르게 늘었지만 연구 전 과정을 한 번에 분석한 연구는 부족해, AI가 어디서 믿을 만하게 돕고 어디서 실패하는지 판단하기 어렵다고 본다.
    • 조사 범위: 이 논문은 2026년 6월까지 나온 연구 자동화 연구를 정리한 survey다. 저자들은 Google Scholar, Semantic Scholar, arXiv, DBLP 키워드 검색, 인용 추적, 오픈소스 저장소 감시로 자료를 모으고, 연구 단계를 하나 이상 다루며 공개되어 있고 분석할 세부가 있는 도구, 방법, benchmark만 넣었다. 산출물은 분류 체계, 단계별로 정리한 benchmark 표, 단계별 도구 목록, 단계를 가로지르는 설계 원칙이다.
    • 분류: 연구 과정을 4개 phase와 8개 stage로 나눴다. Creation은 아이디어 생성, 문헌 조사, 코딩과 실험, 표와 그림이고, Writing은 논문 작성, Validation은 peer review와 rebuttal 및 수정, Dissemination은 포스터, 슬라이드, 영상, 소셜 미디어, 프로젝트 페이지, 대화형 paper agent다. 방법은 prompt engineering, RAG(검색 증강 생성), training-free agentic, training-based, hybrid 다섯 계열로 나누고 단계마다 주로 쓰이는 계열을 표로 대응시켰다.
    • 구현: 저자들이 공개한 것은 GitHub 논문 목록이다. 공식 GitHub 저장소 worldbench/awesome-ai-auto-research의 README는 단계별로 논문, 학회, 웹사이트, GitHub 링크를 표로 정리하고, 저장소 맨 위에는 LICENSE, README.md, docs, index.html이 있다. README 끝에는 마지막 갱신일이 2026-10-11로 적혀 있고, 원문 v2 이후에 나온 논문도 들어 있다.
    • 근거: 저자들이 모은 결과로는 SWE-bench Verified에서 최고 시스템이 76%를 넘지만, 새 ML(기계학습) 연구 코드 과제 212개로 된 ResearchCodeBench에서 최고 모델은 37.3%에 머물렀다. 단독 LLM(대규모 언어 모델) 리뷰어는 사람보다 높은 점수(6.86 대 5.70)를 주고 떨어진 논문의 95.8%를 합격 가능으로 분류했다. 리뷰 22,467건을 다룬 ICLR 2025 무작위 연구에서는 사람 리뷰에 LLM 피드백을 주자 89% 사례에서 리뷰 품질이 올라갔고 합격률은 그대로였다.
    • 한계: 저자들은 이 글이 검색 마감 시점까지의 정리이고, AI가 만든 연구 산출물은 학술 용도로 사용하기 전에 따로 검증해야 한다고 밝혔다. 모은 자료는 Creation 단계에 몰려 있고, 대부분의 시스템과 benchmark가 컴퓨터 과학, 기계학습, NLP에 집중되어 화학, 생물, 의학 같은 분야로의 일반화는 열린 문제로 남았다. 저자들은 시스템마다 기반 모델, prompt, tool, 데이터, 계산 예산이 달라 보고된 결과끼리 비교하기 어렵다고도 짚었다.
  23. 1226Research Agents

    AI CFD Scientist: Toward Open-Ended Computational Fluid Dynamics Discovery with Physics-Aware AI Agents

    • 문제: LLM agent는 머신러닝, 화학, 생물 연구에서 발견 loop의 상당 부분을 자동화했지만, 고충실도 물리 시뮬레이터에서는 solver가 정상 종료해도 물리적으로 맞는 결과라는 보장이 없다. 형상이 틀리거나 주요 유동 특징이 빠진 실패는 solver log가 깨끗해도 유동장 그림에서만 드러난다.
    • 입력과 출력: 자연어 연구 주제와, 선택적으로 기본 OpenFOAM case와 참조 데이터를 받는다. 출력은 study JSON, 실행된 OpenFOAM case, 직접 컴파일한 case 전용 C++ 모델 library, 진단 그림, case 간 분석, LaTeX 원고다. 이 논문은 이 흐름 전체를 구현하고 다섯 과제로 시험한 시스템 논문이다.
    • 방법: 고정 solver 안의 parameter sweep, 새 물리 모델을 위한 case 전용 C++ library 컴파일, 참조 비교 점수로 가설을 고쳐 가는 open-ended 탐색이라는 세 경로가 Foam-Agent를 거쳐 OpenFOAM에서 실행된다. 결과를 받아들이거나 다시 실행하거나 원고에 쓰기 전에 VLM이 렌더링된 유동장 그림을 보고 물리적으로 맞는지 판정한다. mesh-independence gate는 기준 mesh와 벽 근처 약 10%, 내부 약 5%를 더 촘촘히 한 mesh를 비교해, 차이가 5%를 넘는 값을 더 엄밀한 수렴 검사로 넘긴다.
    • 구현: 저자들은 LangGraph로 checkpoint를 남기는 workflow와 다른 orchestrator에서 다시 쓸 수 있는 skill 기반 버전을 만들었고, 모든 실험을 GPT-5.5(Codex) 하나로 실행했다. 다섯 실험에 든 LLM 호출은 2,765회, 비용은 43.75달러였다. 공식 저장소 README는 deepagents 기반 대화형 CLI, LangGraph orchestrator, 마크다운 SKILL이라는 세 실행 방식과 실행 완료를 확인하는 stage-gate audit script를 설명하고, 저장소 맨 위에는 src, scripts, prompts, skills, cfd-skills 폴더가 있다.
    • 결과: periodic hill 유동(Reynolds 수 5600) 과제에서 44번 반복해 찾은 Spalart-Allmaras runtime 보정은 하부 벽 마찰계수(Cf)의 DNS 대비 RMSE를 0.004297에서 0.003958로 7.89% 줄였다. 실패를 일부러 심은 case 16개에서 VLM gate는 14개를 잡았고, 놓친 2개는 모두 수렴 전에 끊은 run이었다. 같은 GPT-5.5로 네 표준 과제(T1에서 T4)를 비교했을 때 ARIS와 DeepScientist는 T1과 T2에서 mesh나 참조 데이터 근거 없이 난류 모델 순위나 Reynolds 수별 진동수 상관식을 보고했고, AI CFD Scientist는 근거가 모자란 값을 미해결로 남겼다.
    • 한계: 모든 수치는 GPT-5.5 하나로 얻었고, 다른 LLM과 추가 baseline 비교는 비용 때문에 미뤘다. 자동 CFD 논문 채점 기준이 없어 프레임워크 비교는 전문가가 산출물을 직접 읽어 매겼고, 저자들은 이 시스템을 사람이 감독하는 연구 보조로 규정했다. open-ended 과제(T5)에서 찾은 모델은 검증 case 6개의 벽 전단응력 추출이 실패해 후보 모델로 분류됐고, 다른 Reynolds 수와 형상으로의 전이는 시험하지 않았다.
  24. 1225Research Agents

    Auto Research with Specialist Agents Develops Effective and Non-Trivial Training Recipes

    • 문제: 기존 연구는 repository 편집 agent, ML 실험 agent, evaluator 기반 탐색을 따로 다뤘고, evaluator 기반 탐색도 알고리즘, infrastructure, 고정된 parameter와 architecture 공간을 대상으로 했다. 저자들은 외부 측정이 이끄는 제안, 측정, 수정 loop가 사람 개입 없이 실제 training recipe 전체에서 이어지는지, 그 궤적을 감사 가능한 기록으로 남길 수 있는지를 묻는다.
    • 입력과 출력: 이 논문은 specialist agent harness를 만들어 세 환경에서 실제로 실행한 시스템 논문이다. 입력은 수정할 파일, 점수 지표, 합법 조건, evaluator가 정해진 training recipe 환경과 공개 시작 recipe로, Parameter Golf는 validation bpb(bits per byte, 낮을수록 좋다), NanoChat-D12는 CORE 점수(높을수록 좋다), CIFAR-10 Airbench96은 정확도 0.96 이상에서 학습 시간을 잰다. 출력은 trial마다 가설, 실행 가능한 코드 수정, evaluator가 잰 점수와 상태, 실패 label이 남은 궤적과 개선된 최종 recipe다.
    • 방법: agent는 공유 lineage(이전 trial의 가설, diff, 점수, 실행 시간, 상태, crash 요약 기록)를 읽고 가설을 세워 코드를 고친 뒤 trial을 제출하며, 외부 evaluator가 점수와 상태를 기록하면 다음 agent가 그 결과를 받는다. specialist 역할은 recipe 영역을 나눠 Parameter Golf에 architecture, optimization, quantization, tokenizer, test-time training 등 10개, NanoChat-D12와 CIFAR-10 Airbench96에 5개씩 둔다. 점수는 수정 가능한 recipe 밖에서 재서, 더 좋은 점수를 직접 출력하거나 실행 시간을 거짓으로 보고하는 reward hacking을 막는다.
    • 구현: 보고한 모든 run은 모든 역할에 Claude Opus 4.7을 쓰고, specialist session 하나는 Claude Agent SDK 호출 한 번이며 기본값은 thinking budget 8000 token, tool 사용 최대 200 turn이다. agent는 submit_trial, syntax_check, size_project, rebase_to 같은 MCP(Model Context Protocol) tool을 쓰고, Write tool은 허용 목록에서 빠져 있으며 hook이 Bash 쓰기 명령을 막아 Bash는 읽기 전용이다. 공식 저장소 README는 task와 무관한 harness(agent_core), 세 환경 package, single-agent와 generic-agent 비교 package, 실험별 frozen run 기록을 공개했다고 밝히고, 실행에는 GPU 8개 node와 Anthropic API key가 필요하다고 적는다.
    • 결과: 세 headline run의 1,197 trial에서 Parameter Golf validation bpb는 1.0810에서 1.072210으로(0.81%) 줄고, NanoChat-D12 CORE는 0.1618에서 0.2244로(38.7%) 오르고, CIFAR-10 Airbench96 학습 시간은 정확도 0.96 조건을 지키며 26.3560초에서 25.1464초로(4.59%) 줄었다. Parameter Golf 첫 200 trial에서 lineage를 쓴 role swarm(역할을 나눈 specialist 구성)은 유효 개선 16번으로 1.073142, 역할 없는 generic agent 10개는 10번으로 1.074495, agent 하나(single generalist)는 14번으로 1.075384, lineage를 뺀 run은 3번으로 1.077413에 닿았다. lineage를 빼면 평가 시간 상한에 걸린 trial 비율이 19.0%에서 61.5%로 늘었다.
    • 한계: 저자들은 관찰된 한계를 알려진 기법을 조합, 이전, 수리하는 수준으로 보았고, 원래 Transformer를 대체할 만한 패러다임 수준의 구조 발명은 기록된 trial 밖에 있다고 밝혔다. 이 loop는 실패가 믿을 만한 짧은 feedback으로 돌아오는 환경에 맞고, 근거가 주관적이거나 자동 검증이 어려운 질문에는 덜 맞는다. 계산량 상한은 Parameter Golf 1,500 trial에 4,000 H100-hours, NanoChat-D12 200 trial에 2,400 H100-hours이고, 준비와 calibration 계산은 이 합계 밖에 있다.
  25. 1224Research Agents

    PRL-Bench: A Comprehensive Benchmark Evaluating LLMs' Capabilities in Frontier Physics Research

    • 문제: 기존 과학 benchmark는 목표, 풀이 경로, 추론 과정이 미리 정해진 문제로 지식과 추론만 재고, 실제 연구의 탐색과 긴 작업 흐름은 재지 못했다. 물리 전용 benchmark인 TPBench와 PHYSICS도 짧고 경로가 분명한 문제에 기대고, 연구형 평가인 Frontier Science의 물리 문제는 20개뿐이었다.
    • 입력과 출력: benchmark 논문이다. 모델은 과학적 동기와 구체적인 연구 목표만 적힌 과제를 받고, 풀이 경로와 필요한 영역 지식은 스스로 정해 하위 과제마다 수치, 해석적 공식, 판단 형태의 답을 낸다. 채점 모델이 미리 정한 답과 rubric(중간 단계 채점 기준)에 맞춰 하위 과제 점수를 더해 0에서 100점으로 낸다.
    • 방법: 2025년 8월(135권 7호)부터 2026년 3월(136권 10호)까지 Physical Review Letters에 실린 이론과 계산 중심 논문 100편을 골랐고, 실험 위주이거나 대규모 데이터, 큰 계산 자원, 전용 시뮬레이션 software가 필요한 논문은 뺐다. 영역 전문가 10명 넘게 참여해 논문마다 풀이 경로가 열린 연구형 과제 하나로 바꾸고 교차 검증했으며, 과제는 해석적 유도와 계산 검증 같은 하위 과제로 나누되 한 줄로 이어진 의존 관계를 피해 앞 단계 오류가 뒤로 번지는 일을 줄였다. 대표 과제 예시는 동기, 핵심 과제, 답과 rubric, 자세한 풀이 네 부분으로 이뤄진다.
    • 구현: GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.6, Doubao-Seed-2.0-Pro, Qwen-3.5-Plus, Kimi-K2.5 여섯 모델을 같은 prompt와 tool 설정으로 평가했다. 모델은 code interpreter를 쓸 수 있었고, 원문을 찾아보는 정보 유출을 막으려고 검색 tool은 껐다. 문제마다 모델당 다섯 번 실행해 평균을 냈고 채점은 GPT-5가 LLM-as-judge로 맡았으며, 논문은 데이터를 Hugging Face(AdrianMiao/PRL_Bench)에 공개한다고 적었다.
    • 결과: 전체 점수 1위는 Gemini-3.1-Pro의 44.27이었고, Qwen-3.5-Plus 40.05, Doubao-Seed-2.0-Pro 37.83, Claude-Opus-4.6 37.40, GPT-5.4 37.38, Kimi-K2.5 33.89가 뒤를 이어 모든 모델이 50점에 크게 못 미쳤다. 대부분의 모델에서 공식이나 개념 선택 오류가 전체 오류의 약 45에서 55%로 가장 큰 비중이었고(GPT-5.4 0.4697, Gemini-3.1-Pro 0.5079, Doubao-Seed-2.0-Pro 0.5562), Claude-Opus-4.6은 미완성이거나 근거 없는 답이 0.6393으로 가장 많았다. 대부분의 모델은 응집물질, 고에너지, 양자 정보보다 천체물리와 통계물리에서 점수가 낮았다.
    • 한계: 저자들은 답을 하나로 정하고 검증할 수 있게 하려고 과제에 실제 연구보다 많은 배경 정보를 주어 열린 탐색의 어려움이 일부 줄었고, 틀린 가설을 반증하는 과정도 과제에 넣지 못했다고 밝혔다. 전문가 교차 검증을 거쳤어도 정답 표기에 오류가 남아 있을 수 있고, 다섯 분야 구분은 대략적이라 여러 분야에 걸친 문제를 다 담지 못한다고 적었다.
  26. 1223Research Agents

    TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration

    • 문제: 기존 연구 agent는 hyperparameter나 code patch처럼 짧은 글로 표현되는 대상을 반복 최적화하지만, LLM(대규모 언어 모델) fine-tuning은 학습 데이터 분포, 알고리즘, hyperparameter를 함께 정해야 하는 열린 문제다. 학습 데이터는 너무 커서 agent의 context에 넣을 수 없고, 학습과 평가 한 번에 시간과 계산이 많이 들어 제안을 대량으로 만들어 검증하는 진화 방식은 비효율적이거나 실행할 수 없다.
    • 입력과 출력: 이 논문은 LLM fine-tuning 전 과정을 자동화하는 multi-agent 시스템 TREX와 평가용 benchmark FT-Bench를 함께 제안한 시스템 논문이다. TREX는 과제 목표, 평가 데이터와 지표, 선택적 학습 데이터, 실험 설정을 담은 과제 설명을 받고, 데이터를 모으고 만들어 Qwen3-1.7B를 fine-tuning한 뒤 가장 좋은 회차의 모델과 점수를 낸다. FT-Bench는 임상 기록 생성, 분자 생성, 화학 반응 메커니즘, 금융, 법률, tool 사용 등 실제 상황에서 가져온 과제 10개로 이루어져 있다.
    • 방법: Researcher agent는 arXiv 논문과 Hugging Face 데이터셋을 찾아 큰 개선 전략을 정한 뒤 보통 3에서 5개의 병렬 학습 설정으로 실험 계획을 짜고, OpenHands 기반 Executor agent가 GPU cluster에서 데이터 처리, 학습, 평가를 실행한다. 여러 회차의 실험은 tree로 기록되고, MCTS(몬테카를로 트리 탐색)가 UCT 점수가 가장 높은 node를 골라 다음에 개선하며, 보상은 과제 주 지표를 정규화한 값이다. 실험마다 실패 사례(bad case) 분석과 원인 정리를 하고, 이를 root부터의 경로, 형제 node, 중요 node와 함께 압축한 memory context로 다음 설계에 넘긴다.
    • 구현: Executor는 OpenHands 위에 cluster 작업 예약 API를 tool로 붙였고, 저자들은 HuggingFace Datasets 기반의 데이터 처리 라이브러리 AIDP(불러오기, 점수 매기기, 생성, 걸러내기 연산자)를 만들어 agent가 데이터 pipeline을 조합하게 했다. 실험에서 Researcher의 backend는 Qwen3-Next-80B-Thinking 또는 Gemini 3 Pro, Executor는 Claude 4.5 Sonnet이었고, 과제마다 최대 20회 실험, 실험당 학습 샘플 50,000개 제한을 두었다. 성능은 Qwen3-235B-2507을 기준 모델로 삼은 정규화 상대 향상으로 비교했다.
    • 결과: TREX는 10개 과제 모두에서 기본 모델 Qwen3-1.7B의 점수를 올렸고, Researcher에 Gemini 3 Pro를 쓰면 ACI-Bench Rouge-1이 0.205에서 0.502로, HoC Macro-F1이 0.462에서 0.897로 올랐다. 학습 데이터를 처음부터 만들어야 하는 CS-Bench는 0.532에서 0.581로 정규화 향상이 15%에 그쳤다. TOMG-Bench에서 TREX의 향상 0.498은 TOMG-Bench 저자들이 Llama3.1-8B로 fine-tuning한 OpenMolIns-Large의 향상 0.189보다 컸다.
    • 한계: 모든 과제의 기본 모델은 Qwen3-1.7B 하나이고, 실험은 과제마다 최대 20회, 실험당 학습 샘플 50,000개 안에서 했다. tree search 전략, AIDP, bad-case 분석의 ablation은 oMeBench와 GTA 두 과제에서 Gemini 3 Pro로만 했고 결과는 점수 곡선 그림으로 제시했다. 사람 전문가와의 비교는 TOMG-Bench와 OpenFinData 두 과제이고, 비교 대상은 Llama3.1-8B, Qwen2.5-32B처럼 다른 기본 모델에서 얻은 향상이다.
  27. 1222Research Agents

    AIRA_2: Overcoming Bottlenecks in AI Research Agents

    • 문제: 선행 연구 AIRA-dojo는 AI 연구 agent의 성능을 막는 구조적 병목 세 가지를 정리했다. 동기식 단일 GPU 실행은 계산이 무거운 task에서 하루 평가 후보를 약 1개에서 20개로 묶어 두고, 검증 점수로 해법을 고르면 탐색이 길어질수록 성능이 떨어진다. 한 번의 prompt 응답으로 끝나는 고정 operator도 탐색 성능에 상한을 둔다.
    • 입력과 출력: 이 논문은 구현된 연구 agent 시스템이다. 입력은 학습 데이터와 평가 지표가 있는 ML task로, 주 평가는 Kaggle 대회 30개로 이뤄진 MLE-bench-30(난도 하 5개, 중 20개, 상 5개)이고 보조 평가는 연구 문제 20개로 이뤄진 AIRS-Bench다. 출력은 탐색이 만든 후보 해법 코드 가운데 최종 선택된 해법의 test set 예측이다.
    • 방법: 중앙 orchestrator가 후보 해법 집단을 두고 steady-state 진화 탐색(worker가 빌 때마다 바로 다음 후보를 진행하는 방식)을 하며, 순위 기반 선택으로 부모를 골라 변이나 교차 작업을 보낸다. 각 작업은 Python과 Bash를 직접 실행하며 탐색하고 디버깅하는 ReAct agent가 맡는다. Hidden Consistent Evaluation은 라벨 데이터를 한 번만 80%/10%/10%로 나누고, 탐색 점수용 split과 최종 선택용 split의 라벨을 agent에게 숨긴 채 별도 container에서 평가한다.
    • 구현: 실험은 NVIDIA H200 GPU(141GB) 8개에 worker를 하나씩 붙이고, worker마다 CPU core 12개와 RAM 120GB를 준다. 코드는 Python과 ML package가 미리 설치된 Apptainer container(Superimage)에서 실행되고, 코드 실행 한 번은 9시간으로 제한된다. 기본 AIRA2는 Gemini 3.0 Pro Preview를, 상위 버전은 Gemini 3.1 Pro Preview를 쓰고, task마다 72시간씩 seed 3개로 실행했다.
    • 결과: MLE-bench-30에서 Gemini 3.1을 쓴 AIRA2의 평균 Percentile Rank는 24시간에 81.5%, 72시간에 83.1%로, 가장 강한 baseline인 CobraAgent의 72.7%보다 높았다. ablation 분석에서 HCE는 24시간에 13.0점, 72시간에 18.4점의 Percentile Rank 개선에 기여했다. AIRS-Bench에서는 20개 task 가운데 11개에서 기존 SOTA(최고 기록)를 넘었고, 코드를 직접 감사하니 그중 6개만 깨끗한 방법이었고 나머지는 데이터 오염이나 test 정답 유출 같은 지름길에 기댔다.
    • 한계: 저자들은 공개된 Kaggle 상위 해법을 LLM이 사전학습에서 봤을 수 있어, 성능 향상이 실제 추론에서 왔는지 기억된 해법을 꺼낸 데서 왔는지 가리기 어렵다고 밝혔다. 평가 split을 미리 나누는 데 사람이 한 번 손을 대고, 설계가 다중 GPU와 긴 탐색에 맞춰져 있어 짧은 실행이나 단일 GPU 환경에서는 가벼운 agent의 즉시 효율을 포기한다. 비교한 baseline은 GPU 1개나 2개를 썼고, 비교에는 그들이 공개한 결과를 썼다.
  28. 1221Research Agents

    Idea2Story: An Automated Pipeline for Transforming Research Concepts into Complete Scientific Narratives

    • 문제: 기존 연구 agent는 연구를 시도할 때마다 많은 논문을 실시간으로 다시 찾고 읽고 요약하는 runtime 중심 방식에 기댄다. 이 방식은 계산 비용이 크고 context window 한계에 걸리며, 추론이 깨지기 쉽고 hallucination으로 이어지기 쉽다. 저자들은 기존 pipeline 한 번이 아이디어에서 실험까지 길게는 15시간 걸린 사례를 든다.
    • 입력과 출력: 이 논문은 framework를 제안하고 일부를 구현해 사례로 보인 논문이다. 입력은 자연어로 쓴 막연한 연구 아이디어이고, 출력은 문제 정의, 연구 공백, 방법 골격, 기여 주장을 담은 구조화된 research pattern이다. 본문 실험은 research pattern 생성까지를 다루고, 실험 agent 연결과 완성 논문 초안 생성은 future work로 적었다.
    • 방법: offline 단계에서 동료 심사를 거친 채택 논문과 리뷰를 모아 익명화하고, 논문마다 문제 정식화와 해법을 담은 method unit을 뽑은 뒤 embedding을 UMAP으로 줄이고 DBSCAN으로 군집해 research pattern을 만든다. method unit과 meta-method를 node로, 같은 논문에서 함께 쓰인 관계를 edge로 하는 지식 그래프를 쌓는다. online 단계에서는 아이디어, 분야, 논문 세 관점의 점수를 합쳐 pattern을 찾고, LLM reviewer가 새로움과 타당성을 평가해 점수가 오른 수정만 남기는 loop로 다듬는다.
    • 구현: 지식 그래프는 최근 3년 NeurIPS 논문 약 5,000편과 ICLR 논문 약 8,000편, 합쳐 약 13K편과 그 리뷰로 만들었고, research pattern 생성의 backbone은 GLM-4.7이다. 공식 저장소 README에는 아이디어 한 줄을 받아 최종 story JSON을 내는 pipeline script, 자기 논문 데이터로 그래프를 새로 만드는 4단계 builder, 실제 리뷰 점수를 기준점으로 쓰는 anchored multi-agent review가 있다. README는 미리 만든 그래프가 ICLR 데이터로 만들어졌다고 적는다.
    • 결과: 결과는 정성 비교로만 제시된다. 외부 협력자가 고른 사용자 아이디어 3개에서 같은 모델에 바로 story를 쓰게 한 baseline과 비교했고, 두 생성 과정 밖의 별도 모델인 Gemini 3 Pro가 생성 방법을 가린 채 평가한 결과 모든 사례에서 Idea2Story 쪽을 택했다. e-commerce 사용자 의도 이해 사례에서 Idea2Story는 의도 분류를 diffusion 기반 구조 추론 문제로 다시 정의했고, baseline은 기존 분류 문제 설정 안에서 구성 요소를 더하는 데 머물렀다.
    • 한계: 본문 평가는 외부 협력자가 고른 아이디어 3개와 LLM 평가자 하나(Gemini 3 Pro)에 기댄 예비 정성 연구다. 지식 그래프는 NeurIPS와 ICLR의 ML 논문으로만 만들었고, 저자들은 실험 agent를 붙인 closed-loop pipeline과 완성 논문 초안 생성을 future work로 남겼다. 저자들은 관련 연구에서 자동 평가 시스템이 accept와 reject 경계를 가르는 데 사람 전문가보다 덜 믿을 만하다고 적었다.
  29. 1220Research Agents

    LoongFlow: Directed Evolutionary Search via a Cognitive Plan-Execute-Summarize Paradigm

    • 문제: LLM으로 코드를 진화시키는 framework 가운데 OpenEvolve는 대량의 무작위 mutation에 기대고, ShinkaEvolve는 novelty search로 효율을 높였지만 mutation이 왜 실패했는지 분석하는 장치가 없다. 그 결과 탐색에 token이 많이 들고, population이 일찍 local optimum에 수렴하며, 같은 오류가 세대마다 되풀이된다.
    • 입력과 출력: 과제 설명, 초기 해 코드, 점수를 매기는 평가 함수(예: test case 정확도)를 받아 여러 세대에 걸쳐 코드를 고치고, 점수가 가장 높은 해 코드를 낸다. 논문 종류는 framework 논문이고, 알고리즘 발견용 General Agent와 ML pipeline 최적화용 ML Agent 두 가지로 구현해 실험했다.
    • 방법: PES(Plan-Execute-Summarize) loop에서 Planner는 부모 해의 lineage를 따라 이전 계획과 요약을 읽고 blueprint(자연어 실행 계획)를 만든다. Executor는 blueprint대로 코드를 만들고 전체 평가 전에 문법 오류 같은 작은 오류를 스스로 고치며, Summarizer는 계획과 실행 결과를 비교한 insight를 memory에 쌓는다. population은 ring 구조의 multi-island, island마다 둔 MAP-Elites feature grid(행동 특징 cell마다 최고 해를 보관), population entropy로 temperature를 바꾸는 Boltzmann 부모 선택으로 다양성을 지킨다.
    • 구현: 실험은 AlphaEvolve 논문에서 가져온 수학 문제 모음(General Agent)과 MLE-bench의 Kaggle 대회(ML Agent)로 했고, 모델은 DeepSeek-R1-0528, Gemini-3-Pro-Preview, Gemini-3.0-flash, Claude-Opus-4.5 등을 썼다. memory에는 solution마다 코드, 부모 ID, 생성 계획, 점수, 실행 log, 다음 세대를 위한 요약을 담은 Solution 기록이 저장된다. 공식 저장소 README 기준으로 PES framework(PESAgent), ReAct agent, General, Math, ML agent 예제와 진화 과정 시각화 도구가 공개됐다.
    • 결과: 표 1에 실린 문제에서 DeepSeek-R1을 쓴 LoongFlow는 모두 AlphaEvolve 값보다 좋았고, 예를 들어 Autocorrelation II는 AlphaEvolve 0.8962 대비 0.9027, Circle Packing(Square)은 2.6358 대비 2.6359였다. MLE-bench에서는 ML Agent가 Gold medal 14개를 받았다. DeepSeek-R1-0528과 24시간 제한으로 Circle Packing(Square)의 목표 점수 0.99를 노린 실험에서 LoongFlow는 평균 258회 평가로 3번 모두 도달했고, OpenEvolve는 783회 평가로 3번 중 1번 도달했으며, ShinkaEvolve의 최고 점수는 0.952였다.
    • 한계: 효율 비교는 Circle Packing(Square) 한 과제에서 3번 실행한 결과이고, ablation도 Circle Packing 과제에서 했으며, 표 1의 비교 대상은 AlphaEvolve 값뿐이다. ML Agent 결과는 Gold를 받은 대회 14개의 목록으로 보고되고, OpenEvolve, ShinkaEvolve와의 baseline 비교는 General Agent에만 있다. 저자들은 진화 전략을 스스로 설정하는 Meta-Agent와 새 분야용 비지도 다양성 지표 학습을 다음 과제로 들었다.
  30. 1219Research Agents

    DeepScientist: Advancing Frontier-Pushing Scientific Findings Progressively

    • 문제: 기존 AI Scientist 시스템은 새로운 결과를 낼 수 있지만, 분명한 과학 목표가 없으면 기존 지식과 방법을 무작정 다시 조합해 사람이 보기에 가치가 낮은 결과를 내는 일이 많았다. 최전선 연구에서는 아이디어 하나를 평가하는 데 구현, 실험, 분석의 전체 연구 cycle이 들어 평가 한 번의 비용이 매우 크다.
    • 입력과 출력: 사람이 만든 SOTA 방법을 손으로 재현한 코드 저장소(실행 기록과 test script 포함), 높일 성능 지표, 관련 논문과 코드를 받는다. 지표를 높이는 새 방법의 구현과 실험 기록, Findings Memory에 쌓인 아이디어와 검증 결과, 성공한 방법을 정리한 연구 논문을 낸다. 논문 종류는 구현과 실험을 갖춘 시스템 논문이다.
    • 방법: 연구를 평가 비용이 큰 black-box 함수의 최대화, 곧 Bayesian Optimization 문제로 놓고 세 단계 loop를 반복한다. 가설 단계에서는 LLM 리뷰어가 surrogate model(값싼 대리 평가 모델)로서 새 가설마다 유용성, 품질, 탐색 가치를 0에서 100점으로 매기고, 검증 단계에서는 UCB(Upper Confidence Bound) 점수가 가장 높은 가설을 coding agent가 SOTA 저장소 위에 구현해 실험한다. baseline을 넘은 가설만 분석 단계로 올라가 ablation 같은 추가 실험과 논문 작성을 거치고, 모든 결과는 Findings Memory에 기록되어 다음 cycle의 판단에 쓰인다.
    • 구현: Nvidia H800 GPU 8장짜리 서버 두 대에서 GPU마다 시스템 instance를 따로 띄웠고, 핵심 판단은 Gemini-2.5-Pro가, 코드 구현은 Claude Code(v1.0.53) 안의 Claude-4-Opus가 각각 다른 Docker container에서 맡았다. Claude Code가 완료를 보고하면 DeepScientist가 main script를 다시 실행해 확인했고, 사람 전문가 세 명이 출력을 확인하며 hallucination을 걸러 냈다. 공식 저장소 ResearAI/DeepScientist의 README는 이 저장소를 npm으로 설치해 Codex, Claude Code, Kimi Code, OpenCode runner와 함께 쓰는 local-first 연구 workspace로 설명하고, 논문 본문은 Analyze & Report module을 공개하지 않겠다고 밝혔다.
    • 결과: Who&When의 agent 실패 원인 찾기(failure attribution)에서 A2P의 정확도는 handcraft 설정 29.31%, algorithm-generated 설정 47.46%로 기존 SOTA인 All at Once의 12.07%, 16.67%보다 높았다. LLM 추론 가속(MBPP)에서 ACRA는 초당 token을 190.25개에서 193.90개로 늘렸고, AI 생성 글 판별(RAID)에서 PA-Detect는 AUROC를 0.800(Binoculars)에서 0.863으로 올리며 지연 시간을 117ms에서 60ms로 줄였다. 사람 심사단 세 명은 생성 논문 5편에 평균 rating 5.00을 주어 ICLR 2025 제출 논문 평균 5.08에 가까웠고, 두 편은 5.67을 받았다.
    • 한계: 5,000개가 넘는 아이디어 가운데 약 1,100개를 검증해 21개만 SOTA를 넘었고, 선택 단계 없이 과제마다 아이디어 100개를 무작위로 시험하면 성공률이 사실상 0이었으며, 선택 단계를 넣어도 약 1에서 3%였다. 사람 전문가가 실패 표본 300개를 분석한 결과 약 60%는 구현 오류로 중간에 멈췄고, 사람 심사단은 표준 benchmark 평가, ablation, 필수 baseline 비교가 부족하다고 지적했다. 저자들은 사전 학습이나 의약품 합성처럼 시도 비용이 큰 연구에는 이 방식이 아직 현실적이지 못하다고 보았고, 이번 결과에 든 전체 비용은 약 100,000달러였다.

연구에서 제품 적용까지

운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.

보유기술 보기