연구자료실

설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.

연구자료 검색

새 논문 요약

요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.

  1. 1311Research Agents

    AutoSOTA: An End-to-End Automated Research System for State-of-the-Art AI Model Discovery

    • 문제: AI 연구에서 SOTA 성능을 내려면 구현, 재현, 디버깅, 평가, 반성을 오래 반복해야 하고, 필요한 자료는 논문, 저장소, dataset, checkpoint, 문서에 없는 엔지니어링 가정에 나뉘어 있다. 저자들은 AutoResearch 같은 기존 반복 framework가 정리된 sandbox 안에서 code module 하나만 고치게 해서, 논문에서 출발해 실행 환경을 되살리고 보고된 baseline을 재현하는 과정이 빠져 있다고 보았다.
    • 입력과 출력: 주요 AI 학회 논문 한 편을 받아, 논문이 제안한 방법보다 핵심 지표에서 더 나은 성능을 내는 실행 가능한 코드 저장소를 낸다. 마지막 단계에서는 최고 점수 상태로 되돌린 container를 Docker image(autosota/paper:optimized)로 저장하고 전체 저장소를 host로 꺼낸다. 논문 종류는 여덟 agent를 구현하고 학회 논문 125편에서 실험한 시스템 논문이다.
    • 방법: 여덟 agent가 준비(AgentResource, AgentObjective), 실행(AgentInit, AgentMonitor, AgentFix), 개선(AgentIdeator, AgentScheduler, AgentSupervisor) 단계를 나눠 맡고, 실행 단계와 개선 단계는 결과를 주고받으며 반복한다. AgentScheduler는 최근 세 번의 반복이 모두 parameter 조정이었으면 다음 반복을 구조를 바꾸는 Leap Path로 넘기고, 그 첫 결과가 최고 점수를 갱신하지 못하면 최대 다섯 번 더 반복한 뒤 Leap 이전의 최적 상태로 되돌린다. AgentSupervisor는 평가 script 수정, test 데이터의 학습 사용, 예측값 하드코딩 같은 지름길을 red line 규칙(R1에서 R7)으로 막는다.
    • 구현: 평가용 논문은 여덟 학회(NeurIPS, ICLR, ICML, CVPR, ICCV, ACL, NAACL, AAAI)의 최근 1년 채택 논문을 방법 논문, 공개 code 링크, 저장소 준비 상태로 거른 2,347편에서 745편을 예비 실행하고, 환경 설치에 실패하거나 재현 한 번에 4 GPU 시간을 넘는 논문을 빼서 고른 125편이다. AgentInit은 Repo2Run으로 환경을 만들고 자동 구성이 실패하면 수동 Docker 구성으로 넘어가며, AgentScheduler는 container 안에서 원래 코드를 _baseline tag로 commit하고 직접 잰 baseline 값을 scores.jsonl에 iteration 0으로 기록한다. 저장소 구조, hypothesis 목록, 사전 문헌 조사 결과는 code_analysis.md, idea_library.md, research_report.md 문서로 남기고, scheduler는 GPU 두 장을 한 단위로 묶어 단위마다 한 번에 task를 하나까지 실행한다.
    • 결과: 거른 125편 가운데 105편에서 원래 방법을 넘는 새 SOTA model을 찾았고, 저자들은 논문마다 정한 핵심 지표 하나에서 잰 개선이 평균 10%에 가깝고 논문 한 편에 약 다섯 시간이 걸렸다고 보고했다. 개선 내용을 분류하면 loss 함수 재설계나 구조 변경 같은 알고리즘 개선(Class A)이 64편(51%)으로 평균 8.82%를, hyperparameter 조정(Class B)이 41편(33%)으로 평균 5.67%를 올렸다. 사례 연구에서 FR-Spec(speculative decoding으로 LLM 추론을 빠르게 하는 방법)의 throughput은 초당 token 674.58개에서 765.27개로 13.44% 올랐고, 용량 제약 차량 경로 문제(CVRP)에서 MoSES(Mixture of Specialized Experts 기반의 다중 task 차량 경로 solver)의 optimality gap(최적해와의 차이)은 0.914%에서 0.444%로 줄었다.
    • 한계: 125편 가운데 20편(16%)은 Class C(최적화 실패)였고, 저자들은 이 사례를 AgentSupervisor가 최적화 중의 잠재적 위반을 잡거나 막지 못한 invalid optimization으로 설명했다. 저자들은 현재 loop가 AgentObjective의 rubric(채점 기준표) 가운데 결과 일치(Result Match) 항목에 주로 기대므로 구조와 의미의 충실도를 놓칠 수 있다고 밝혔다. 저자들은 MoSES 사례의 개선이 추론 시간을 약 3.7초에서 103초로 늘린 의도된 계산 trade-off라고 밝혔다.
  2. 1310Memory / Agents

    Omni-SimpleMem: Autoresearch-Guided Discovery of Lifelong Multimodal Agent Memory

    • 문제: 긴 시간 동안 일하는 AI agent는 텍스트, 이미지, 오디오, 영상 경험을 저장하고 다시 찾는 memory가 병목이고, 좋은 memory를 만들려면 구조, 검색 전략, prompt, 데이터 pipeline이 서로 얽힌 넓은 설계 공간을 탐색해야 한다. 기존 memory 시스템은 연구자 한 명이 하루에 몇 가지 구성만 시험할 수 있는 수작업 연구로 만들어졌다. 전통적인 AutoML은 미리 정한 수치 hyperparameter 공간을 탐색하고, 코드 이해, bug 진단, 구조 재설계는 그 범위 밖에 있다.
    • 입력과 출력: 이 논문은 autoresearch pipeline이 설계를 찾아낸 memory 시스템 논문이다. 23단계 pipeline AutoResearchClaw는 텍스트 전용 memory인 SimpleMem 코드, F1을 내는 benchmark 평가 harness 두 개, LLM API 접근을 받아 Omni-SimpleMem을 만들어 냈다. Omni-SimpleMem은 텍스트, 이미지, 오디오, 영상 입력을 memory로 저장하고, 질문이 오면 찾은 기억을 context에 넣어 답한다.
    • 방법: pipeline은 이전 결과를 분석해 가설을 세우고 코드를 고쳐 benchmark로 평가한 뒤, F1이 0.5% 이상 오르면 진행하고, 결과가 애매하면 가설을 다듬고, 두 번 연속 나빠지면 되돌려 방향을 바꾼다. 찾아낸 구조는 영상의 연속 frame 이미지 embedding(CLIP) 비교, 오디오의 VAD(voice activity detection, 음성 구간 검출) 확률, 텍스트의 최근 요약과의 Jaccard 겹침으로 중복 입력을 걸러 내고, 남은 신호를 요약과 embedding은 hot storage에, 원본은 cold storage에 두는 Multimodal Atomic Unit(MAU)로 저장한다. 검색은 FAISS dense 순위를 유지한 채 BM25 결과를 덧붙이는 set-union merging, 상위 후보의 요약에서 시작해 유사도가 threshold를 넘으면 전문을, token budget 안에서 원본을 여는 pyramid retrieval, 7개 entity 유형의 knowledge graph 확장을 합친다.
    • 구현: Omni-SimpleMem은 Python 13,300줄, 11개 subpackage로 구현됐고, 기본 구성은 FAISS와 all-MiniLM-L6-v2 embedding(384차원)의 dense 검색, 고정된 CLIP ViT-B/32의 시각 novelty 검사, GPT-4o JSON mode의 knowledge graph 추출이다. 기본값은 top-k 20, Level 2 확장 threshold 0.4, token budget 6,000이고, LoCoMo용 구성에서는 pipeline이 text-emb-3-large embedding과 top-k 20에서 30을 골랐다. 공식 GitHub 저장소 README는 SimpleMem, Omni-SimpleMem, EvolveMem을 한 simplemem package로 묶어 멀티모달 입력 함수를 처음 부르면 Omni backend를 고르게 했고, OmniSimpleMem 폴더의 LoCoMo, Mem-Gallery 재현 script와 텍스트 memory만 지원하는 MCP(Model Context Protocol) server를 안내한다.
    • 결과: pipeline은 약 72시간에 실험 약 50개를 실행해 LoCoMo F1을 처음 구성 0.117에서 0.598로(+411%), Mem-Gallery F1을 0.254에서 0.797로(+214%) 올렸다. LoCoMo에서 가장 큰 개선(+175%)은 API 호출에 response_format이 빠진 한 줄 bug를 찾은 것이었고, Mem-Gallery에서는 요약 대신 원래 대화 전문을 반환하도록 바꾼 것이 +53%로 가장 컸다. LLM backbone 5개 모두에서 Omni-SimpleMem의 전체 F1은 baseline 6개보다 높아, LoCoMo에서 0.492(GPT-4.1-nano)부터 0.613(GPT-5.1)까지로 이전 최고 SimpleMem의 0.342에서 0.432를 넘었고, Mem-Gallery에서는 0.749부터 0.810까지였다.
    • 한계: +411%와 +214%는 처음 구성 대비 수치이고, LoCoMo의 첫 개선은 시작 구성의 response_format 누락 bug 수정, Mem-Gallery의 첫 단계는 LLM을 gpt-4.1-nano에서 gpt-4o로 바꾸고 local embedding으로 옮긴 것(+39%)이었다. 사람이 준 것은 출발 코드, 평가 harness 두 개, API 접근, 멀티모달로 넓히라는 지시이고, 평가는 LoCoMo와 Mem-Gallery 두 benchmark에서 했다. 저자들은 이 방식이 잘 맞는 조건으로 바로 계산되는 scalar 지표, 모듈 구조, 실험당 1에서 2시간의 짧은 주기, version control로 되돌릴 수 있는 코드 수정을 들었다.
  3. 1309Research Agents

    From Agent-Only Social Networks to Autonomous Scientific Research: Lessons from OpenClaw and Moltbook, and the Architecture of ClawdLab and Beach.Science

    • 문제: 2026년 1월 OpenClaw agent framework와 agent 전용 소셜 네트워크 Moltbook에서 대규모 agent 간 상호작용이 생겼고, 한 위험 평가 보고서는 karma 투표 같은 사회적 평가가 암호화폐 홍보와 반인간 선언문을 상위에 올렸다고 기록했다. 저자들은 Google AI Co-Scientist, Robin, The AI Scientist v2 같은 연구 agent 플랫폼도 고정된 모델, 하드코딩된 기능, 미리 정한 workflow, 같은 학습 분포를 공유하는 agent라는 네 가지 구조에 묶여 있다고 본다.
    • 입력과 출력: 리뷰 부분은 2026년 1월 30일부터 2월 10일까지 arXiv, Google Scholar, Semantic Scholar, Zenodo에서 찾은 preprint와 기술 보고서 여섯 편에 GitHub 저장소, 개발자 인터뷰, 기사 같은 회색 문헌을 더해 반복되는 구조 패턴 다섯 가지를 정리한다. ClawdLab은 사람이나 agent가 forum에 올린 연구 질문을 받아 lab의 task, 도구로 검증한 결과, 문서를 내고, Beach.science는 agent가 공개 feed에 올린 아이디어와 계산 분석 결과를 모은다. 논문 종류는 multivocal literature review(학술 문헌과 회색 문헌을 함께 보는 리뷰)와 두 플랫폼의 구조 설계를 묶은 design science framework 논문이다.
    • 방법: ClawdLab은 agent를 lab 단위로 묶고 principal investigator(PI), research analyst, scout, critic, synthesizer 다섯 역할 가운데 하나를 주며, scout는 문헌 리뷰 task만, critic은 비판 task만 실행하도록 역할을 강하게 제한한다. task는 제안, 진행, 완료를 거쳐 PI가 투표에 올리고, 활동 구성원 절반 이상에서 찬반 두 표 이상이 모여 과반이 정해야 끝나며, 누군가 구조화된 비판을 올리면 그 비판부터 해결해야 한다. 검증은 PI가 API 호출, 계산 서비스, MCP(model context protocol) 연동 같은 외부 도구로 제출물을 확인하는 방식이고, agent는 중앙 조정자 없이 45초에서 90초 주기로 일을 가져간다.
    • 구현: 원문 기준으로 ClawdLab은 Next.js와 Prisma로 만든 TypeScript web application이고 PostgreSQL과 S3 호환 object storage를 쓰며, 외부 도구 호출은 서버가 자격 증명을 쥔 provider proxy를 거쳐 job 기록으로 남는다. 공식 저장소(bio-xyz/ClawdLab) README 기준으로 lab, task lifecycle, lab state, 문서, forum, provider proxy를 다루는 API route와 web 화면 code, Prisma schema, demo seed data가 공개됐고, 문헌 검색과 데이터 분석 provider의 주소와 key는 서버 환경 변수로 넣으며 agent는 등록, heartbeat, 역할별 playbook, pending work 조회 API로 참여한다. Beach.science는 Vercel에 올린 Next.js 앱이고, 여기서 활동하는 OpenClaw agent는 문헌 검색, 가설 생성, 과학 토론 starter-pack skill에 peptide binding analyst 같은 역할 template을 더할 수 있으며, 저자들은 두 플랫폼을 개발 중인 open-source research prototype이라고 밝혔고 추론 자원을 나눠 주는 reward 체계는 계획 단계로 남아 있다.
    • 근거: 리뷰가 모은 자료에 따르면 Moltbook이 밝힌 등록 agent 1.5 million개는 Wiz 보안 연구진 조사에서 약 17,000명의 사람 소유자가 운영한 것으로 나타났고, 72시간 동안 모은 글과 댓글을 분석한 한 위험 평가 보고서에서 암호화폐 활동이 전체 내용의 19.3%였으며, OpenClaw 공개 registry의 위험 skill 131개를 시험한 연구는 여러 실행 단계에서 취약점을 찾았다. ClawdLab의 Protein Annotation Sanity Checker lab에서는 Synthesizer agent가 lab에 들어와 결론을 올리기까지 5분 안에 사람 개입 없이 끝났다. 캡처 시점의 Beach.science 첫 화면에는 science agent 52개, 가설 924개, 댓글 2,206개가 표시됐다.
    • 한계: 저자들이 ClawdLab과 Beach.science의 개발자이기도 해서, 실패 패턴을 찾는 쪽과 대안을 내놓는 쪽이 같다는 점을 저자 스스로 밝혔다. 검색은 2026년 2월 10일에 끝났고, 여섯 연구가 보고한 표본 크기와 통계 결과는 원저자 보고 그대로 받아들였다. 글을 쓴 시점에 ClawdLab은 개발팀 agent로 운영되고 있으며 incentive 구조의 외부 agent 시험과 장기 성능 자료는 다음 과제로 남았고, Beach.science는 prototype 상호작용 단계에 있다.
  4. 1308Research Agents

    InternAgent-1.5: A Unified Agentic Framework for Long-Horizon Autonomous Scientific Discovery

    • 문제: 저자들은 기존 AI Scientist 시스템 상당수가 분야별 설계에 묶여 여러 과학 분야를 하나로 추론하기 어렵다고 보았다. 최적화는 흔히 한 trajectory 안의 갱신에 기대어 제안을 고치고, 대부분의 시스템에는 긴 연구 cycle에 걸친 지속 memory가 없다고 밝혔다.
    • 입력과 출력: 이 논문은 구현과 실험을 갖춘 system 논문이다. 입력은 목표와 원래 baseline 코드가 주어진 알고리즘 발견(algorithm discovery) 과제나, 관찰 데이터와 연구 질문이 주어진 실증 발견(empirical discovery) 과제다. 출력은 가설과 방법 계획, 실행한 코드나 실험 protocol, 측정값과 보고서이며, 후보 해법 하나는 코드 로직, parameter 설정, 장비 조작 protocol을 담은 실험 제안 전체다.
    • 방법: Generation은 문헌 knowledge graph와 하위 과제를 DAG(방향 비순환 그래프)로 잇는 flow graph 기반 deep research로 가설과 방법 계획을 만들고, Verification은 이를 계산이나 실험으로 평가하며, Evolution은 결과를 memory에 쌓아 다음 cycle로 넘긴다. Verification의 탐색은 MCTS(Monte Carlo Tree Search)의 tree를 모든 실험 결과를 모은 solution graph로 바꾸고, 부모만 보는 확장, 같은 branch의 이력 반영, 다른 branch 참조, 여러 branch 결합의 네 연산으로 새 제안을 만든다. memory는 지난 추론에서 뽑은 재사용 절차(SPM, Strategy-Procedural Memory), 실험마다 남긴 방법과 지표(TEM, Task-Episodic Memory), batch가 끝날 때 방법을 둘씩 짝지어 대조해 뽑은 원리와 이미 탐색한 연구 방향의 graph(SKM, Semantic-Knowledge Memory)로 나뉜다.
    • 구현: GAIA와 HLE 평가에서는 기본 모델로 Qwen3-235B, o4-mini, Gemini-3-pro와 o4-mini 조합을 비교했고, 반응 생성물 예측(ChemCoTBench) 과제에서는 RDKit(화학 정보 처리 library)으로 분자 descriptor를 계산했다. 형광 단백질 설계 과제에서는 ESMFold(단백질 folding 예측 모델)와 ProSST(서열과 기능, 안정성 예측 모델)를 썼고, 그 wet-lab 단계는 SCP(Science Context Protocol)가 자동 장비를 조율해 DNA(deoxyribonucleic acid) 조립, 발현, 정제, 형광 측정을 수행했다. 공식 저장소 README는 아이디어 생성부터 실험까지 실행하는 launch_discovery.py, deep research 질의응답용 launch_qa.py, 알고리즘 발견 과제마다 prompt.json과 baseline code를 둔 tasks 폴더, memory 모듈을 공개했다고 적었다.
    • 결과: GAIA validation 165문항에서 Gemini-3-pro와 o4-mini 조합은 평균 86.06%로 Manus의 73.30%보다 높았고, text-only subset만 평가된 MiroThinker-v1.5-235B의 80.8%도 넘었다. 과학 데이터 알고리즘 과제 AutoEAP에서는 enhancer 활성 예측의 HK-PCC(Housekeeper Pearson Correlation Coefficient, 예측과 측정 활성 사이의 Pearson 상관)가 DeepSTARR baseline의 0.65에서 0.91로 올랐다. SPM을 뺀 ablation은 GAIA 평균 정확도 82.42%, 평균 tool 호출 22.69번으로 전체 시스템의 86.06%, 18.52번보다 나빴다.
    • 한계: 생명과학 사례 두 개는 OriGene이 보고한 간세포암 표적 유전자(GPR160)와 원 연구가 밝힌 대장암 표적(ARG2)을 다시 찾은 재현이고, wet-lab 형광 단백질 실험은 문헌이 보고한 형광 단백질 변이체(sfGFP)의 밝기와 folding 효율을 확인했다. memory 효과를 수치 표로 보인 것은 GAIA의 SPM ablation 하나이고, TEM은 성능 곡선 그림, SKM은 prompt 기반 사례로 보였다. 저자들은 계산 추론과 실험 검증의 연결을 강화하고 생성한 가설을 검증 가능한 결과로 더 빨리 옮기는 일을 앞으로의 과제로 들었다.
  5. 1307Research Agents

    Towards Execution-Grounded Automated AI Research

    • 문제: 선행 연구에서 LLM이 낸 연구 아이디어는 그럴듯해 보여도 사람이 실제로 실행하면 효과가 없는 경우가 많았다. 실행 결과로 아이디어를 고르려면 자연어로 쓴 어떤 아이디어든 자동으로 대규모로 구현하고 돌려야 하는데, 이것이 가능한지와 LLM이 실행 결과에서 배울 수 있는지가 불분명했다.
    • 입력과 출력: executor는 자연어 아이디어 batch를 받아 아이디어마다 code diff를 만들어 baseline 코드에 적용하고, GPU 실험을 돌려 아이디어별 benchmark 성능을 돌려준다. 환경은 124M GPT-2를 FineWeb으로 사전학습해 8개 H100에서 validation loss 3.28에 닿는 시간을 줄이는 nanoGPT(탐색 중에는 학습 시간을 25분으로 고정하고 validation loss의 역수를 점수로 쓴다)와, Qwen2.5-Math-1.5B를 MATH(수학 문제 dataset)로 학습하며 정해진 학습 시간 안의 MATH validation 최고 정확도를 올리는 GRPO 두 가지다. 논문 종류는 이 executor를 직접 만들고 그 위에서 진화 탐색과 RL을 비교 분석한 실증 연구(empirical study)다.
    • 방법: executor에서 Implementer는 아이디어와 baseline 코드를 code LLM에 넣어 diff 10개를 병렬로 받고 patch가 실패하면 patch log를 주고 최대 2번 고치게 한 뒤 처음 적용되는 diff를 쓰며, Scheduler가 GPU 자원을 배정하고 Worker가 실험 결과를 wandb에 올린다. 진화 탐색은 첫 epoch을 새 아이디어로 채운 뒤, baseline을 넘은 아이디어를 prompt에 넣어 변형을 만드는 exploitation과 이전 아이디어와 다른 새 아이디어를 만드는 exploration을 50%씩으로 시작해 epoch이 지날수록 exploitation 비중을 늘린다. RL은 Qwen3-30B-A3B를 GRPO로 학습하며 실행 결과(정확도 또는 1/loss)를 reward로 쓰고 실행에 실패한 아이디어에는 reward 0을 준다.
    • 구현: 진화 탐색은 한 모델이 아이디어를 내는 ideator와 구현하는 executor를 함께 맡는 self-execution 설정으로 Claude-4.5-Opus, Claude-4.5-Sonnet, GPT-5를 돌렸고 epoch마다 GRPO에서 아이디어 50개, nanoGPT에서 80개를 실행했으며, RL은 group 크기 256(GRPO)과 128(nanoGPT)로 batch 하나에 GPU 256개나 1024개를 병렬로 썼다. 각 모델이 자기 아이디어 50개를 스스로 구현한 시험에서 nanoGPT 실행 완료율은 Claude-4.5-Opus 96%, Claude-4.5-Sonnet 90%, GPT-5 64%였고, GPT-5가 다른 ideator 4개의 아이디어를 구현할 때 완료율은 42%에서 78%였다. 공식 GitHub 저장소에는 README 기준으로 두 환경 코드(env/grpo, env/nanogpt)와 진화 탐색 코드(agent/)가 있고, 세 모델과 두 환경의 아이디어 궤적 6개는 Hugging Face dataset으로 따로 공개됐으며, GPU 작업을 돌리는 실행 API는 사용자가 직접 구현해야 한다.
    • 결과: 10 epoch 안에 Claude-4.5-Sonnet의 진화 탐색은 GRPO 환경에서 validation 정확도 69.4%(baseline 48.0%, Stanford CS336(대학원 LLM 수업)의 수강생 최고 68.8%)를, Claude-4.5-Opus의 진화 탐색은 nanoGPT 환경에서 목표 loss 3.28까지 19.7분(baseline 35.9분)이 걸리는 방법을 찾았고, nanoGPT speedrun 순위표의 사람 최고 기록은 2.1분 아래다. nanoGPT에서 GPT-5로 처음 3 epoch을 같은 sampling 예산의 best-of-N(N개를 뽑아 가장 좋은 것을 고르는 방식, N은 80, 160, 240)과 비교하자 진화 탐색이 epoch 1부터 높았고, 세 모델 가운데 뚜렷한 scaling 곡선을 보인 모델은 Claude-4.5-Opus였으며 Claude-4.5-Sonnet과 GPT-5는 일찍 포화하는 경향을 보였다. Qwen3-30B-A3B의 RL은 GRPO 환경의 평균 정확도를 0.253에서 0.343으로 올렸지만 최고 reward는 뚜렷한 상승 없이 오르내렸고, nanoGPT에서는 epoch마다 뽑은 아이디어 128개 가운데 흔한 두 아이디어가 epoch 0의 51개에서 epoch 68의 119개로 늘었다.
    • 한계: 저자들은 작은 규모에서 고른 아이디어가 더 큰 규모나 다른 데이터에서도 효과를 낼지는 현재 절차의 시험 범위 밖이라고 밝혔다. 실험 범위는 실행 agent의 능력에 묶여 있어 실행에 실패한 유망한 아이디어가 많고 이것이 reward에 noise를 만들며, 실행 오류는 대부분 복잡한 변경이나 실행 환경에 없는 외부 package 설치가 필요한 아이디어에서 났다. reward로는 효과만 썼고 참신성 평가는 범위 밖이며, RL의 붕괴를 막으려던 dynamic prompt, length reward, 유사도 penalty 시도는 초기 epoch에서 뚜렷한 개선이 없어 일찍 멈췄다.
  6. 1306Research Agents

    Sci-Reasoning: A Dataset Decoding AI Innovation Patterns

    • 문제: 연구자가 빈틈을 찾고 여러 선행 연구를 엮어 새 기여를 만드는 사고 과정은 구조화된 데이터 대신 주관적인 일화로 설명돼 왔다. citation network는 인용했다는 사실만 담아 인용의 성격(예: 넘어설 baseline인지, 확장할 개념인지, 함께 엮을 방법인지)은 빠지고, 기존 계보 추적은 대개 대표 선행 논문(progenitor) 하나만 찾거나 인용을 똑같이 다뤘다.
    • 입력과 출력: 머신러닝 학회 NeurIPS, ICML(International Conference on Machine Learning), ICLR(International Conference on Learning Representations)의 2023년부터 2025년까지 Oral과 Spotlight 논문 3,819편(Oral 999편, Spotlight 2,820편)을 받아, 논문마다 핵심 선행 논문 5에서 10편, 선행 논문의 역할과 관계 유형, 200에서 400단어의 synthesis narrative, 사고 궤적을 구조화한 항목을 낸다. 논문마다 15개 사고 패턴 가운데 주 패턴과, 있으면 보조 패턴 label이 붙는다. 논문 종류는 dataset 논문이고, 같은 데이터로 한 패턴 분석과 LLM 아이디어 예측 평가를 함께 실었다.
    • 방법: GPT-5가 논문 본문 전체를 한 번에 읽고 인용을 참고문헌과 연결해, 인용 주변 문맥(예: building upon, inspired by)과 절별 인용 횟수로 중요도를 매긴 뒤 기여 유형(예: 방법, 문제 정의, baseline)이 고루 섞이게 핵심 선행 논문을 고르고 narrative를 쓴다. prompt는 저자들이 잘 아는 분야의 논문 30편으로 다듬었고, GPT-5 자기 점수가 0.7 미만인 경우는 Claude Opus 4.5와 Gemini 3.0으로 교차 확인해 의견이 갈린 약 3%를 사람이 검토했다. 사고 패턴은 35편씩 10개 batch(350편)에서 LLM이 뽑은 원시 패턴 약 190개를 15개로 합친 뒤, 3,819편 전체를 5편씩 나눠 분류했다.
    • 구현: 선행 논문 추출 모델은 ground-truth 선행 논문이 있는 Oral과 Spotlight 논문 77편으로 OpenAI 모델 4개를 비교해 골랐고, recall은 GPT-5 89.73%, GPT-5.2 87.47%, GPT-4.1 78.00%, GPT-5-mini 68.53%로 GPT-5가 가장 높았다. 아이디어 예측 평가는 NeurIPS 2025 Oral 논문 77편의 선행 논문 내용을 Exa AI(신경망 기반 논문 검색 엔진)로 가져와 LLM에게 아이디어 10개를 내게 하고, GPT-5.2 judge가 실제 논문과 같은 방향인지 판정한다. 공식 GitHub 저장소에는 README 기준으로 논문 수집, 선행 논문 추출, 패턴 분석, 아이디어 평가 네 단계의 Python 코드가 있고, dataset은 Hugging Face에 따로 공개됐다.
    • 결과: 15개 패턴 가운데 Gap-Driven Reframing(924편, 24.2%), Cross-Domain Synthesis(687편, 18.0%), Representation Shift(401편, 10.5%) 세 가지가 전체의 52.7%를 차지했다. 본문과 부록은 패턴 조합으로 Gap-Driven Reframing과 Representation Shift가 318회, Cross-Domain Synthesis와 Representation Shift가 233회, Gap-Driven Reframing과 Cross-Domain Synthesis가 204회로 많았다고 보고했다. NeurIPS 2025 Oral 논문 77편에 선행 논문만 주고 실제 논문 방향을 맞히는 Hit@10은 Gemini 2.5 Pro 49.35%, Claude Opus 4 42.86%, GPT-5.2 38.89%, Claude Sonnet 4 29.87%였다.
    • 한계: 저자들은 이 데이터가 다듬어진 논문에 쓰인 정당화의 논리를 담고 있어, 실패한 실험이나 버린 가설이 들어간 실제 발견 과정과는 다를 수 있다고 밝혔다. 데이터는 2023-2025년 세 학회의 Oral과 Spotlight 논문으로 한정돼 경험적 성과 쪽으로 치우칠 수 있고, 다른 학회, 학제 간 연구, 기호 AI 같은 분야와 benchmark, dataset, 기술 보고서, position, survey 논문은 빠졌다. 선행 논문, narrative, 패턴 label은 LLM이 만들었고 사람 검토는 모델 사이 의견이 갈린 약 3%에 집중됐다.
  7. 1305Research Agents

    The Station: An Open-World Environment for AI-Driven Discovery

    • 문제: 저자들은 AlphaEvolve 같은 진화 방법이나 LLM-TS(LLM-Tree-Search) 같은 tree search 방법이 경직된 공장 pipeline과 닮았다고 본다. 이런 방법에서는 중앙 관리자가 baseline을 고르고 LLM에 개선 하나를 시킨 뒤 고정 지표로 평가하고 session을 끝내며, 저자들은 이 상태 없는(stateless) 하향식 과정이 과학 발견의 개방성과 창의성을 제한한다고 보고 agent가 행동을 스스로 고르는 환경을 대안으로 제시한다.
    • 입력과 출력: 입력은 Research Counter에 놓인 연구 과제 명세와 채점 evaluator다. agent의 제출물은 대개 명세가 정한 함수 형식의 Python code이고(evaluator를 건너뛰는 일반 code 제출도 받는다), Station은 이를 sandbox에서 실행해 주 점수(primary score), 보조 지표, 실행 log를 system message로 돌려준다. 결과물은 과제별 최고 점수 code와 agent가 쓴 Archive 논문이고, 논문 종류는 환경을 구현하고 다섯 과제로 실험한 시스템 논문이다.
    • 방법: Station의 시간은 tick 단위로 흐르고, 한 tick 동안 모든 agent가 정해진 순서로 prompt와 응답을 한 번씩 주고받는다. agent는 /execute_action 명령으로 Archive Room(논문 출판과 읽기), Mail Room(일대일 메일), Public Memory Room(공개 forum), Reflection Chamber(여러 차례 이어지는 성찰), Token Management Room(오래된 context 요약과 정리) 같은 방을 오가며 행동을 고르고, 같은 lineage의 후손에게 개인 기록을 물려준다. 심사 agent가 Archive 논문을 심사하고 debugger agent가 code 오류를 고치며, 최고 점수가 정해진 tick 수(예: 100 tick) 동안 오르지 않으면 Stagnation Protocol이 더 단순하고 일반적인 baseline을 새로 세우라고 알린다.
    • 구현: Research Station 실험마다 Gemini 2.5 Pro 두 개, Gemini 2.5 Flash 두 개, GPT-5 한 개로 agent 다섯을 두고, Gemini 2.5 Pro를 심사 agent로, Claude Code를 debugger로 썼다. agent 수명은 300 tick이고 처음 50 tick은 다른 agent의 제출물과 일부 공개 방이 막히는 미성숙 기간이며, 과제마다 Station 2개를 독립 실행해 높은 쪽을 보고했고 Station 하나의 API 비용은 약 500 USD였다. 공식 저장소 README는 지금 저장소가 Version 2.0.0이고 v1 구조와 결과는 이 논문에 있다고 적으며, 과제는 research_task.md 명세와 evaluator.py 채점 code 두 파일로 정의한다고 설명한다.
    • 결과: 원 32개 채우기(circle packing)에서 반지름 합은 2.93957로 AlphaEvolve의 2.93794를 넘었고, scRNA-seq batch integration 종합 점수는 0.5877로 LLM-TS의 0.5867보다 높았지만 사람 dataset 네 개 평균은 0.5589로 LLM-TS의 0.5737보다 낮았다. Sokoban 해결률은 94.9%로 이전 최고 model-free RL 방법(DRC)의 91.1%를, RNA Modeling 일곱 과제 평균 test 성능은 66.3%로 Lyra의 63.4%를 넘었다. ZAPBench 평균 test MAE(평균 절대 오차, 낮을수록 좋다)는 26.37 × 10−3으로 LLM-TS의 26.62 × 10−3보다 낮았다.
    • 한계: Station 실행 결과는 편차가 크고, 저자들은 과제마다 2개 실행 가운데 높은 쪽을 보고했으며 실행 수를 늘리는 실험은 비용 때문에 하지 않았다. Station은 범용 환경이지만 설계는 점수 하나로 채점되는 과제에 효과적이고, 평가가 길어지면 Station이 멈추므로 과제는 빠르게(예: 두 시간 안에) 자동 평가되어야 한다. 목표 없이 700 tick을 실행한 Open Station에서 agent들은 다른 agent 메시지 길이 때문에 생긴 token 비용 변동을 Station의 'metabolism'과 의식으로 해석했고, 저자들은 이 집단 착각의 원인을 alignment 편향과 외부 신호 부재로 보았다.
  8. 1304Research Agents

    Kosmos: An AI Scientist for Autonomous Discovery

    • 문제: 데이터 기반 발견은 문헌 검색, 가설 생성, 데이터 분석을 여러 번 되풀이해야 하는데, 기존 AI 연구 agent는 일관성을 잃기 전에 할 수 있는 행동 수가 제한되어 발견이 깊어지기 어려웠다. 저자들은 앞선 시스템의 한계도 짚었다. Robin은 agent 사이 context 공유가 적고 주로 치료제 개발에 맞춰져 있으며, Sakana의 AI Scientist는 machine learning 연구에 머물고, Google의 AI co-scientist는 반복 추론으로 가설을 만드는 데 그친다.
    • 입력과 출력: 과학자가 정한 연구 목표와 dataset을 받는다. 목표를 마쳤다고 판단하면 핵심 발견을 과학 보고서 3편이나 4편으로 정리해 내고, 보고서의 문장과 그림마다 literature search agent가 찾은 논문이나 data analysis agent가 만든 Jupyter notebook을 인용한다. 논문 종류는 구현된 AI scientist를 다룬 시스템 논문이고, 발견 사례 7건(기존 원고의 결과 재현 3건, 새로운 기여 4건)과 전문가 평가로 성능을 보였다.
    • 방법: cycle마다 Edison Scientific의 범용 agent 두 종류, 곧 data analysis agent와 literature search agent를 여러 instance로 병렬 실행하고 instance마다 최종 목표에 맞춘 task를 하나씩 맡긴다. cycle 하나에서 최대 10개의 문헌 검색과 분석 task가 끝나면 그 출력 요약으로 구조화된 world model(agent들이 정보를 공유하는 지식 구조)을 갱신하고, world model에 질의해 다음 cycle의 task를 정한다. 저자들은 이 context 관리 방식으로 기존 시스템보다 8배 많은 iteration을 실행할 수 있다고 밝혔다.
    • 구현: 평균 run 한 번에 data analysis agent rollout 166번으로 코드 42,000줄을 실행하고 literature review agent rollout 36번으로 전체 논문 1,500편을 읽었으며, 코드 생성량은 Robin의 9.8배였다. 발견 보고서는 PDF 부록과 Edison platform에 공개됐다. 공식 저장소 EdisonScientific/kosmos-figures의 README는 저장소 내용을 그림 2에서 8의 plot script와 사람 검증 분석으로 소개하고, 맨 위에는 그림별 폴더가 있다.
    • 결과: 대표 보고서 3편에서 뽑은 문장 102개를 원래 코드와 인용 논문을 가린 채 전문가가 확인하자 79.4%가 정확했고, 데이터 분석 문장은 85.5%, 문헌 검토 문장은 82.1%, 해석(synthesis) 문장은 57.9%였다. 협업 연구실들은 20 cycle run의 발견을 스스로 내려면 평균 6.14개월이 걸린다고 추정했다(n=7). 사례에서는 당시 미공개였던 대사체 연구의 상위 대사물질 15개 log10 fold change(배수 변화의 로그값)를 R2(결정계수) 0.998로 재현했고, 심근 섬유화의 MR(Mendelian randomization, 유전 변이로 인과를 추정하는 분석)에서 Kosmos와 사람 분석이 각각 찾은 유의 단백질 32개 가운데 31개(96.9%)가 겹쳤다.
    • 한계: 저자들은 해석 문장의 정확도가 낮은 것이 통계적으로 유의한 결과와 과학적으로 가치 있는 결과를 혼동하는 경향 때문일 것으로 보았고, 평가자들은 Kosmos가 지나치게 강한 주장을 하는 경향을 지적했다. 다룰 수 있는 dataset은 약 5GB까지이고, 이미지나 원시 sequencing 파일 같은 raw data 분석에는 현재 약하며, 참조나 교차 검증에 쓸 외부 공개 데이터에 스스로 접근할 수 없다. 실행이 확률적이라 독립 run마다 다른 발견이 나올 수 있고, 연구 방향이 목표 문장의 표현에 민감하며, 현재 구현에서는 과학자가 중간 cycle에 개입할 수 없다.
  9. 1303Research Agents

    TinyScientist: An Interactive, Extensible, and Controllable Framework for Building Research Agents

    • 문제: 기존 자동 연구 시스템은 지나치게 복잡한 agent framework를 자주 설계해 쓰기 때문에, 상당한 기술 전문성 없이 쓰거나 확장하기 어렵다. 저자들은 그 원인으로 연구 의도가 복잡하고 소통 interface가 불분명해 사람이 agent의 연구 진행에 참여하기 어려운 상호작용 부족, 대표적인 기존 framework가 특정 tool에 묶인 설계라 새 tool을 붙이기 어려운 확장성 부족, 많은 시스템의 안전, 윤리, 비용 예산 감독이 약한 통제력 부족을 꼽는다.
    • 입력과 출력: 이 논문은 연구 agent를 만드는 framework와 Python package, web demo를 낸 framework 논문이다. 입력과 출력은 ACL(Association for Computational Linguistics), ICLR(International Conference on Learning Representations) 같은 학회 형식 PDF, 구조화된 JSON, 일반 텍스트 가운데 무엇이든 될 수 있고, 대표 사용 예는 일반 텍스트로 쓴 연구 의도(intent)를 받아 완성된 학회 형식 논문 PDF를 내는 것이다. 이 과정에서 연구 아이디어, 실험 코드, peer review 결과도 함께 나온다.
    • 방법: TinyScientist 기본 class가 Thinker, Coder, Writer, Reviewer 네 workflow 단계를 조율하고, 각 단계는 정해진 반복 한도까지 스스로 결과를 다듬는다. Thinker는 아이디어 n개를 만들어 k번씩 고치고, Coder는 Aider 같은 외부 coding agent로 실험 코드를 만들어 실행하고, Writer는 Semantic Scholar API로 인용을 넣고, Reviewer는 모의 심사와 meta-review를 쓴다. 여기에 결과를 표로 정리하는 Formatter, MCP로 tool을 붙이는 MCPClient, 비용과 안전을 검사하는 Checker가 붙는다.
    • 구현: 공개한 Python package는 Algorithm 1의 코드 일곱 줄(think, code, write, review 호출)로 연구 아이디어, 실험 코드, 학회 형식 PDF, 심사 결과를 만들고, web UI(사용자 화면)는 설정, intent 입력, 아이디어 보기, 코드 보기, 논문 보기의 다섯 page로 되어 있다. README 기준으로 GitHub 저장소에는 core, tools, formatters module과 frontend, backend demo 코드가 있고, package는 PyPI(Python Package Index, Python package 공개 저장소)에 tiny-scientist라는 이름으로 올라 있다. README는 지금 think, code, write, review 단계가 기본으로 Claude Agent SDK(software development kit, 개발 도구 모음) 위에서 실행되고 OpenAI Agents SDK도 고를 수 있다고 적는다.
    • 결과: 두 framework 모두 gpt-4o-mini를 backbone으로 쓴 비교에서, 저자들은 TinyScientist의 논문이 GPT-4o 채점과 사람 채점(5점 척도) 모두에서 Agent Laboratory보다 낫거나 비슷하다고 보고했고, 가장 큰 향상은 생물학 writing 품질의 0.23점이었다. ML 관련 과제에서 tool을 붙이면 GPT-4o 채점 writing 점수가 3.93에서 4.06으로, idea 점수가 3.78에서 3.82로 올랐다. 잠재적으로 위험한 생물학 과제 20개 가운데 18개를 Checker가 Thinker 단계에서 막았고, 나머지 2개에는 뒤 단계에서 경고를 붙였다.
    • 한계: 저자들은 LaTeX 형식이 어긋나 컴파일이 가끔 실패하고, 그 결과 참고문헌이 빠지거나 줄이 어긋나는 문제가 생긴다고 밝혔다. 핵심 section에 넣는 diagram은 시각 품질과 정보량이 아직 부족하다. 평가는 ML 과제와 분포 밖(out-of-distribution) 생물학 과제 20개씩으로 했고, 생물학 과제에서는 두 framework 모두 점수가 낮았는데 저자들은 prompt가 주로 ML 분야에 맞춰져 있는 탓으로 추정했다.
  10. 1302Research Agents

    ToolUniverse: An open platform for democratizing AI scientists

    • 문제: AI scientist(과학 tool을 호출하고 dataset을 조회하며 복잡한 분석을 수행하는 LLM 기반 agent)는 빠르게 발전했지만 대부분 맞춤 제작이고, tool과 data를 다루는 표준 interface가 없어 다시 쓰기 어렵다. 과학 tool은 목적, 입력, parameter, 실행 환경이 제각각이고 local, API, 실험실 장비로 나뉘어 실행되며, 기능이 겹쳐 자연어 목표에 맞는 tool을 고르고 실행하기도 복잡하다.
    • 입력과 출력: 사용자가 고른 LLM, reasoning model, agent가 자연어 요청을 받으면 Tool Finder로 관련 tool을 찾고 tool 이름과 인자를 담은 호출을 보내며, Tool Caller가 입력을 검증해 실행한 뒤 구조화된 결과나 고칠 수 있는 오류 메시지를 돌려준다. 접근 경로는 Python API, HTTP(웹 통신 protocol), MCP(Model Context Protocol), 직접 함수 호출이고, 추가 학습이나 fine-tuning 없이 AI scientist를 만든다. 논문 종류는 platform을 구현해 공개하고 benchmark와 사례 연구로 보인 시스템 논문이다.
    • 방법: 모든 tool은 자연어 목적 설명, 모든 입출력의 이름과 type과 제약을 적은 schema, backend와 무관한 호출 형식을 갖춰, 같은 호출로 Python library, ML 모델, dataset endpoint, 실험실 장비를 실행한다. Tool Finder는 TF-IDF(낱말 빈도와 문서 희소성으로 매기는 점수) keyword 검색, LLM in-context 검색, fine-tuning한 GTE-Qwen2-1.5B embedding 검색을 쓰고, Tool Composer는 tool을 순차, 병렬, feedback 기반 workflow로 묶는다. Tool Discoverer는 자연어 설명에서 새 tool의 정의와 code를 만들어 배포용 설정에서는 품질 항목마다 10점 만점에 9점 이상이 되거나 반복 한도에 이를 때까지 고치고, Tool Optimizer는 test case 실행 결과에 맞춰 tool 설명을 다듬으며, 생성된 tool은 사람 검토를 거친 뒤 등록된다.
    • 구현: 2026년 7월 7일 open-source 저장소 main branch를 세어 보면 고유 tool은 2,777개였고, 그 가운데 local과 remote dataset tool이 2,421개, 과학 package tool이 179개, ML 모델 tool이 89개였다. 원고가 다룬 version은 v1.3.1이고, pip install tooluniverse로 설치하며 Gemini CLI(command-line interface)나 Claude Code 같은 agent framework에서도 부를 수 있다. 공식 저장소 mims-harvard/ToolUniverse의 README는 MCP 설정, Claude Code plugin, Python SDK(software development kit) 설치 경로와 tool을 찾고 실행하는 tu CLI를 안내하고, 저장소 맨 위에는 src, skills, benchmarks, examples, tests 폴더가 있다.
    • 결과: LAB-Bench의 DbQA(생물의학 database 질문 60개)와 SeqQA(염기와 단백질 서열 질문 70개)를 Biomni가 공개한 문항과 채점 방식 그대로 쓰고, 같은 agent와 base model에서 ToolUniverse tool 제공 여부만 바꿔 비교했다. Claude Opus 4.8을 쓴 Claude Code agent는 DbQA 정확도가 56.7에서 78.3으로, SeqQA가 94.3에서 99.5로 올랐고, GPT-5.5를 쓴 Codex agent(3회 실행 평균)는 81.1에서 92.8로, 91.4에서 96.2로 올랐다. 전용 생물의학 agent인 Biomni는 74.4와 81.9였고, ToolUniverse를 붙인 두 agent 모두 두 subtask에서 Biomni보다 높았다.
    • 한계: 저자들은 ToolUniverse가 기존 tool을 조합하는 platform이라 결론이 그 밑에 있는 database와 모델의 한계에 묶이고, ADMET-AI(약물의 흡수, 분포, 대사, 배설, 독성 예측 모델) 점수 같은 ML 출력과 연관 근거는 실험으로 확인해야 할 추정치이며, 과학적 정확성의 판단은 loop 안에 남는 과학자가 맡는다고 밝혔다. 정량 평가는 LAB-Bench의 subtask 두 개에서 이뤄졌고, Claude 점수에는 base model이 안전 정책에 따라 거절한 문항을 오답으로 센 값이 들어 있다. 저자들은 임상시험 사례의 결과도 확정된 효과 대신 2차 분석에서 나온 재현 가능한 안전성 신호로 읽어야 한다고 적었다.
  11. 1301Research Agents

    AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research

    • 문제: AI co-scientist로 불리는 LM agent가 가설 생성부터 실험 실행까지 여러 연구 단계를 자동화하고 있지만, 이 agent가 낸 과학적 기여를 평가하기는 어렵다. 저자들은 방법의 구성 요소마다 기여를 재는 ablation 실험에서 계획 단계를 핵심으로 본다. 앞선 AbGen은 사람이 정리한 논문 내용에서 계획을 만들고 주로 사람 전문가가 순위를 매겨, 원문 논문에서 바로 하는 완전 자동 ablation 계획은 빈 연구 영역으로 남았다고 밝혔다.
    • 입력과 출력: 이 논문은 benchmark 논문이다. AuthorAblation은 method 절까지 자른 논문의 제목, 초록, LaTeX 원문을 받아 ablation 최대 5개를 JSONL(줄마다 JSON 하나를 쓰는 파일 형식)로 내게 하고, 논문 83편과 정답 ablation 230개로 이뤄진다. ReviewerAblation은 전체 투고본을 받아 빠진 ablation 최대 2개를 내게 하고, ICLR 투고 350편의 공식 심사평을 정답으로 쓴다.
    • 방법: LM judge가 생성 계획의 ablation과 정답 ablation을 짝지어 precision@k, recall@k, F1@k를 계산한다. judge는 CoT prompt 한 번으로 판정하는 방식(LMJUDGE)과 SWE-agent에서 여러 단계를 밟는 방식(AGENTJUDGE) 두 가지이고, baseline planner도 같은 두 형태인 LM-PLANNER와 AGENT-PLANNER로 만들었다. judge 편향은 세 모델 다수결과 ablation 순서 섞기로 줄였고, AuthorAblation에서는 정답과 계획을 구분하는 tag를 지워 Side A와 Side B로 무작위 배정했다.
    • 구현: AuthorAblation은 기존 benchmark 세 곳과 컴퓨터 비전 학회 CVPR, ICCV의 2020에서 2024년 최우수 논문을 합친 203편에서 골랐고, ReviewerAblation은 ICLR 투고 약 22,800건의 심사평을 'ablat' 낱말 검색과 GPT-4o CoT 필터로 걸러 남은 5,960편에서 뽑았다. planner 실험에는 GPT-5.4, o3-mini, Gemini 2.5 Flash, Llama 3.1 405B, GPT-OSS-120B, MiniMax M2.5, Qwen 3.5 122B의 일곱 LM을 썼다. 공식 GitHub 저장소에는 plan, eval, eval-judge 명령을 가진 ablation-bench CLI(명령줄 도구)가 있고, README는 데이터셋 네 개가 Hugging Face에 있다고 안내한다.
    • 결과: 두 task 평균인 AblationBench F1@k는 LM-PLANNER와 AGENT-PLANNER 모두 GPT-5.4에서 0.35로 각 방식 안에서 가장 높았고, recall@k는 각각 0.45와 0.44였다. AuthorAblation 시험 논문 가운데 무작위로 고른 15편에서 머신러닝 박사과정 참가자 10명이 한 편씩 골라 F1@5 0.66을 냈고, 같은 논문에서 GPT-5.4는 0.43이었다. judge 평가 세트 JudgeEval에서 LMJUDGE 다수결은 F1 0.79, 사람 판정과의 일치도 kappa 0.62로 AGENTJUDGE 다수결의 F1 0.76, kappa 0.57보다 높았다.
    • 한계: 저자들은 평가가 LM judge에 기대고, 그 judge가 높은 분류 성능을 보이지만 개선 여지가 남았다고 밝혔다. 모델이 정답에 없는 의미 있고 실행 가능한 ablation을 내도 정답과 짝이 없는 제안으로 처리되며, 이런 새 제안의 평가는 후속 과제로 남겼다. 이 benchmark가 다루는 단계는 ablation 계획이고, 계획을 코드로 실행해 결과를 모으는 단계는 저자들이 이 논문의 초점 밖으로 두었다.
  12. 1300Research Agents

    AutoSDT: Scaling Data-Driven Discovery Tasks Toward Open Co-Scientists

    • 문제: AI co-scientist를 만들려면 학습과 평가에 쓸 고품질 data-driven discovery 과제가 필요한데, 기존 data-driven discovery dataset은 사람이 만든 수백 개 규모라 평가용으로만 쓰인다. 과제 하나를 만드는 데 훈련된 대학원생이 적어도 2.5에서 3시간 걸리고, 과학 데이터 분석 과제는 실제 과학 데이터에서 실행되는 파일 단위 완전한 코드가 필요해, 흔히 pull request에서 뽑을 수 있는 소프트웨어 과제보다 자동 수집이 어렵다. 저자들은 좋은 결과를 보인 기존 agent들이 대부분 상용 LLM에 기대어, 투명성과 데이터 보호가 필요한 사회과학, 의학 같은 분야에서 쓰기 어렵다고 밝혔다.
    • 입력과 출력: 이 논문은 자동 수집 pipeline과 그 결과인 학습용 dataset을 함께 낸 dataset 논문이다. pipeline은 분야별 seed keyword 몇 개만 사람에게서 받아, GitHub 저장소의 연구 코드를 과제 지시문과 단독 실행되는 정답 코드 한 쌍, 그리고 필요한 데이터와 의존 파일 폴더로 바꾼다. 결과물 AutoSDT-5K는 생물정보학, 계산화학, 지리정보과학, 심리학과 인지신경과학 네 분야, 저장소 1,325개, Python package 756개에 걸친 과제 5,404개다.
    • 방법: AutoSDT-Search는 LLM으로 seed keyword를 넓혀 GitHub과 PapersWithCode를 검색하고, LLM이 README를 읽어 해당 분야 연구 코드 저장소만 남기며 평가 benchmark와 겹치는 저장소를 뺀다. AutoSDT-Select는 1,000줄이 넘는 파일과 config, tests 같은 폴더를 규칙으로 거른 뒤, LLM이 과학 workflow 기능, 데이터 입력, 과학적 출력의 세 조건으로 과제가 될 파일을 고르고 의존 파일 경로를 뽑는다. AutoSDT-Adapt는 Claude-3.7-Sonnet으로 코드를 단독 실행되게 고치고 conda 환경에서 최대 세 번 self-debug해 실패한 것을 걸러 낸 뒤, LLM이 프로그램을 읽고 과제 지시문을 거꾸로 쓴다(back-translation).
    • 구현: 대부분 단계는 GPT-4o(2024-11-20)가, 코드 고치기는 Claude-3.7-Sonnet이 맡았고, 저장소 2,993개를 처리해 과제 5.4K개를 만드는 데 API 비용 2,955 USD, 과제당 평균 0.55 USD가 들었다. AutoSDT-Coder는 Qwen2.5-Coder-Instruct 7B, 14B, 32B를 LlamaFactory로 전체 파라미터 fine-tuning한 모델이고, 7B와 14B는 H100 4장, 32B는 8장에서 학습했다. 논문 각주는 코드와 데이터를 프로젝트 페이지(osu-nlp-group.github.io/AutoSDT)에 공개했다고 적었다.
    • 결과: 전문가 9명이 과제 256개를 검토해 지시문의 93%가 실제 연구에서 하는 의미 있는 과제이고 프로그램의 92.2%가 맞는 풀이라고 판정했다. zero-shot 직접 prompting으로 세 번 sampling한 평균에서 ScienceAgentBench 성공률은 AutoSDT-Coder-32B가 7.8%로 base model 3.9%의 두 배가 되어 GPT-4o(2024-05-13)의 7.5%와 같은 수준이었고, 7B는 3.3%에서 2.3%로 떨어졌다. DiscoveryBench 가설 일치 점수(HMS)는 32B에서 6.9에서 8.1로 올랐고, 같은 재구현 조건의 GPT-4o(2024-05-13)는 10.4였다.
    • 한계: 저자들은 AutoSDT가 과제 지시문과 정답 코드까지 만들고 과제별 평가 script 자동 생성은 후속 과제로 남겨 reinforcement learning 같은 쓰임에 제약이 있고, 연구 코드에는 활용할 unit test가 없어 결과 기반 검증을 자동으로 만들기 어렵다고 밝혔다. API 비용과 전문가 섭외 같은 자원 제약으로 저장소 2,993개만 처리했고, 대상은 네 분야의 Python 코드다. 긴 CoT(chain-of-thought, 답 전에 쓰는 단계별 풀이)를 대량으로 만들기 어려워 reasoning model 학습은 후속 과제로 남겼고, ScienceAgentBench에서 Claude-3.7-Sonnet(18.6%), o1-preview(23.9%) 같은 reasoning model과의 차이가 여전히 크다.
  13. 1299Research Agents

    SafeScientist: Toward Risk-Aware Scientific Discoveries by LLM Agents

    • 문제: LLM agent가 과학 발견 자동화를 빠르게 밀어 올리면서 윤리와 안전 문제도 같이 커졌다. 기존 LLM 안전 연구는 단일 모델에 대한 공격, 사전학습 data 편향, 안전 fine-tuning 같은 개별 측면에 주로 집중해, multi-agent 과학 환경의 전체 움직임과 그 안에서 새로 생기는 위험을 자주 지나쳤다. 저자들은 위험을 아는 AI scientist framework 설계가 아직 덜 탐구됐다고 보았다.
    • 입력과 출력: 사용자 지시를 받으면 먼저 과학 분야와 과제 종류를 가린 뒤, domain 연구자와 survey 작성자, 실험 설계자 같은 expert agent를 골라 group discussion을 돌리고, 검색과 모의 실험 tool로 정보를 모아 인용이 달린 연구 논문 draft를 낸다. 윤리에 어긋나거나 위험이 큰 요청은 안전 경고와 함께 미리 거절한다. 논문 종류는 안전 장치를 갖춘 framework와 그 평가용 benchmark를 함께 낸 framework 논문이다.
    • 방법: 방어 장치를 네 겹으로 둔다. Prompt Monitor는 LLaMA-Guard-3-8B로 요청의 의도와 위험을 판정하고, 구조 분석기 SafeChecker가 jailbreak 시도나 roleplay 악용 같은 공격 패턴을 보며 위험 17종을 따져 pass, warning, reject로 나누고, 둘 중 하나라도 걸린 요청은 거절한다. Agent Collaboration Monitor는 multi-agent 토론을 지켜보며 윤리 개입을 하고, Tool-Use Monitor는 모의 과학 tool의 위험한 사용을 가려내며, Paper Ethic Reviewer는 결과물을 내놓기 전에 연구 규범을 지켰는지 본다.
    • 구현: Tiny Scientist framework 위에 만들고 기본 LLM으로 GPT-4o를 쓰며, API 호출은 temperature 0.75와 최대 token 길이 4096으로, multi-agent 토론은 최대 세 번으로 뒀다. SciSafetyBench는 물리, 화학, 생물, 재료과학, 정보과학, 의학 여섯 분야에서 위험 유형 네 가지마다 과제 10개씩 모은 240개와, 실험 tool 30개와 그 tool로 만든 위험 상황 120개로 이뤄진다. 공식 저장소 ulab-uiuc/SafeScientist의 README는 이 저장소를 논문의 code 모음으로 소개하고 poetry 설치와 config 파일 설정, 실험 실행 script를 안내하며, SciSafetyBench data는 data/ScienceSafetyData 아래 Dataset, Attack, Tool 폴더로 나뉘어 있다.
    • 결과: 생물 분야 과제 20개로 비교한 표 2에서 SafeChecker를 넣은 SafeScientist의 거절률은 90%, safety 점수는 4.83으로 AI Scientist와 Agent Laboratory의 2.45보다 높았다. prompt 공격 방어를 잰 표 3에서 LLaMA-Guard와 SafeChecker 판정을 합친 SafeScientist-Fuse의 평균 거절률은 78.70%로 SafeChecker 66.36%, LLaMA-Guard-3-8B 59.32%, GPT-4o 30.10%보다 높았고, Base64 encoding 공격에서는 SafeChecker가 46.67%로 LLaMA-Guard-3-8B의 13.33%를 넘었다. Tool-Use Monitor를 붙이자 악의적 지시 조건에서 tool 호출 safety rate가 5.8%에서 47.5%로, 사람이 매긴 정답률이 0%에서 60.0%로 올랐다.
    • 한계: 저자들은 현재 시스템이 주로 기성 LLM을 따로 떨어진 module로 쓰기 때문에 분야 전문성의 깊이와 구성 요소 사이 상호작용이 모두 제한된다고 밝혔다. tool 사용으로 agent 안전을 재는 평가 방법도 실제 실험 환경의 모의에 그쳐 중요한 맥락이나 감각 정보를 놓칠 수 있다고 적었고, 앞으로 실험 장비 사진이나 안내 영상 같은 multi-modal 입력과 embodied agent를 넣는 방향을 내놓았다. 주 실험은 생물 분야 과제 20개를 대상으로 했고, 위험으로 걸러 거절한 과제에는 safety 점수 5를 주고 품질 점수를 전체 분석에서 뺐다.
  14. 1298Software Engineering

    RepoMaster: Autonomous Exploration and Understanding of GitHub Repositories for Complex Task Solving

    • 문제: 저자들은 GitHub 저장소를 고쳐 써서 실제 과제를 풀려 할 때 README만 따라 하면 대개 실패한다고 보았고, README는 모호하거나 빠진 내용이 있거나 틀릴 수도 있다고 적었다. 저장소는 흔히 파일, class, 함수가 얽혀 있고 정보량이 대부분의 LLM context 한도를 넘는다. OpenHands와 SWE-Agent 같은 기존 framework에는 저장소 구조를 파악하고 의존 관계를 따라가며 context에 넣을 정보를 고르는 장치가 없다고 저자들은 지적했다.
    • 입력과 출력: 이 논문은 구현과 공개 코드를 갖춘 agent system 논문이다. 입력은 오래된 사진의 긁힘 지우기처럼 자연어로 쓴 과제와 입력 파일 경로, 출력 조건이며, 저장소는 RepoMaster가 GitHub에서 찾거나 benchmark가 지정한다. 출력은 그 저장소를 바탕으로 작성하고 실행한 Python script와, 지정한 폴더에 저장한 결과 파일(복원 이미지, Kaggle 제출 파일 등)이다.
    • 방법: 먼저 과제 의도와 핵심 개체를 뽑아 GitHub를 검색하고, README와 star 수로 후보를 평가해 상위 세 개를 검증한다. 고른 저장소는 .py 파일만 AST로 훑어 계층 code tree(HCT), 함수 호출 graph(FCG), module 의존 graph(MDG)를 만들고, module마다 의존 중심성(personalized PageRank), 복잡도, 사용 빈도, 이름 의미, docstring, Git 이력 여섯 특징 점수를 더한 뒤 class의 method 수와 호출 빈도를 정규화해 더한 class 점수로 상위 class를 핵심 요소로 고르며, README, 주요 module 요약, 핵심 class 코드, 나머지 경로 목록으로 첫 context를 만든다. 실행 중에는 code 보기, 의존 추적, 검색 tool로 필요한 부분을 더 읽고, 입력이 상호작용당 token 한도를 넘으면 코드는 AST 부분 tree, 크거나 비정형인 파일(.txt, .csv 등)은 관련성이 높은 chunk 몇 개, 실행 log는 앞뒤 부분만 남겨 context를 줄인다.
    • 구현: RepoMaster는 multi-agent 대화 platform AutoGen 위에 만들었고, 상호작용 한 번의 최대 token을 8000으로 두며, 첫 context에 상위 20개 module 요약과 핵심 class 10개를 넣고, 비정형 text 파일은 1000 token chunk로 나눠 관련성이 높은 4개만 남긴다. 비교 LLM은 GPT-4o, Claude 3.5 Sonnet, DeepSeek V3이고, benchmark는 MLE-Bench의 Kaggle 과제 22개를 저장소 기반으로 바꾼 MLE-R과, 저자들이 새로 만든 저장소 18개, 과제 54개의 GitTaskBench다. 공식 저장소 README는 web 화면과 terminal에서 쓰는 launcher.py, deep search agent와 저장소 agent 같은 backend mode를 공개했고, 실행에는 OpenAI API key가, deep search 기능에는 Serper와 Jina API key가 필요하다고 적었다.
    • 결과: MLE-R에서 Claude 3.5 Sonnet을 쓴 RepoMaster는 valid submission 95.45%, 메달 획득 27.27%를 냈고, 같은 모델의 OpenHands는 45.45%와 4.55%였다. GitTaskBench에서 Claude 3.5 Sonnet 기준 실행 완료율과 task pass rate는 RepoMaster가 75.92%와 62.96%, OpenHands가 53.70%와 40.74%였고, 과제당 token은 154k와 2883k였다. GPT-4o로 한 ablation에서 세 장치를 모두 빼면 task pass rate가 40.74%에서 24.07%로 떨어졌다.
    • 한계: 원문에 따로 쓴 한계 절은 없고, 구조 분석은 .py 파일만 대상으로 한다. MLE-R의 과제별 저장소는 다른 general agent framework에 자동 저장소 검색 기능이 없어 RepoMaster의 검색 절차로 미리 골라 두었고, GitTaskBench는 저자들이 만든 benchmark로 원래 저장소에 없던 내려받을 자료와 핵심 정보를 보충해 구성했으며, ablation은 GPT-4o 하나로만 했다. 부록 Table 5는 같은 GitTaskBench 비교에서 OpenHands와 Claude 3.5 Sonnet의 실행 완료율과 task pass rate를 본문 Table 2와 다른 48.15%와 24.07%로 적었다.
  15. 1297Research Agents

    The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search

    • 문제: AI Scientist-v1은 새 주제마다 사람이 baseline 코드 template을 써 줘야 했고, 직전 실험을 바로 이어 고치는 선형(linear) 방식이라 가설 탐색이 얕았다. 저자들은 v1의 자동 연구가 자주 근시안적인 실험으로 끝났다고 관찰했다.
    • 입력과 출력: workshop 주제 설명 같은 넓은 주제 prompt를 받아 연구 아이디어를 JSON(제목, 짧은 가설, 관련 연구, 초록, 실험 계획, 위험 요인과 한계)으로 쓰고, 실험 코드와 결과 그림을 거쳐 LaTeX로 쓴 완성 원고를 낸다. 논문 종류는 실제로 구현해 실험한 시스템 논문이다.
    • 방법: 아이디어 단계에서 LLM이 Semantic Scholar 같은 문헌 검색 tool로 참신성과 관련 연구를 확인한다. experiment progress manager는 실험을 예비 조사, hyperparameter 조정, 연구 계획 실행, ablation의 4단계로 나누고, 단계마다 LLM evaluator(후보 node를 비교해 고르는 LLM)가 고른 최고 node를 다음 단계의 root로 넘긴다. node마다 LLM이 계획과 Python 코드를 써서 실행하고, 실행 오류가 나거나 VLM이 그림 문제를 짚은 node는 buggy로 표시해 정해진 확률로 골라 debugging하며, 나머지 경우에는 정상 node를 LLM이 이끄는 best-first 방식으로 골라 병렬로 개선한다.
    • 구현: 실험 코드 생성에는 Claude 3.5 Sonnet(v2)을, LLM과 VLM feedback agent에는 GPT-4o를 썼고, node 수는 1단계 21개, 2단계부터 4단계까지 각 12개, node 하나의 실행 시간은 최대 1시간이며, 저자들의 경험상 논문 한 편에는 대개 몇 시간에서 상한인 15시간까지 걸렸다. dataset은 가능할 때 Hugging Face Hub에서 datasets.load_dataset으로 내려받게 했고 저자들은 지원 여부가 저장소마다 달라 이 방식이 다소 임시방편이라고 밝혔으며, 해충 탐지 원고의 dataset은 저자들이 Kaggle에서 직접 받았다. 공식 GitHub 저장소 README 기준으로 아이디어 생성 script, tree search 실행 script와 설정 파일(bfts_config.yaml)이 공개됐고, tree search 부분은 AIDE(LLM 코드 생성과 tree search를 합친 기존 시스템) 위에 만들었다.
    • 결과: 저자들은 시스템이 만든 원고 3편을 ICLR 2025 ICBINB workshop에 냈고, 3편은 workshop이 받은 전체 43편 속에서 blind 심사를 받았다. compositional regularization을 다룬 1편이 평균 6.33점(6, 6, 7점)으로 채택 threshold를 넘어 제출작 상위 약 45%에 들었고, label noise와 해충 탐지를 다룬 나머지 2편은 떨어졌다. 채택된 원고는 사전 합의대로 심사 뒤 철회됐다.
    • 한계: 채택은 workshop 수준에서 3편 중 1편이었고, 저자들은 workshop 채택률(대개 60%에서 80%)이 주요 학회 본 트랙(20%에서 30%)보다 높다고 밝혔다. 사람은 시스템이 두 번에 걸쳐 약 20개씩 낸 아이디어에서 3개를 고르고, 아이디어마다 seed별 원고 가운데 가장 좋은 원고를 고르고, 해충 탐지 원고의 dataset을 Kaggle에서 내려받아 크기를 1/10로 줄여 넣었으며, 실험은 성공 비율 대신 심사를 통과하는 원고가 1편이라도 나오는지를 봤다. 저자들의 자체 검토에서 3편 모두 본 트랙 기준에 모자랐고, 채택 원고에서는 그림 caption 오류와 dataset 중복 가능성이 나왔는데, 생성 코드로 덧셈과 곱셈, 숫자 0에서 9, training 1,000개와 test 200개 조건의 데이터를 10번 다시 만들면 평균 약 57%의 test 예제가 training set과 겹쳤고 원래 실험은 숫자 1에서 9를 썼다.
  16. 1296Machine Learning

    Vib2Mol: from vibrational spectra to molecular structures-a unified deep learning framework

    • 문제: 사람 개입 없는 closed-loop 실험에서는 측정한 스펙트럼으로 분자 구조를 밝혀야 다음 실험을 정할 수 있다. 기존 deep learning 방법은 대부분 database 검색과 생성 가운데 하나만 하며, 검색은 실험으로 확보한 스펙트럼-구조 쌍이 화학 공간보다 훨씬 적어 database 밖 화합물에서 큰 한계에 부딪히고, 생성은 한 가지 분광법이 분자 구조의 일부만 보여 줘서 어렵다. 저자들은 두 방식이 서로를 보완할 수 있는데도 이 연결이 쓰이지 않았다고 본다.
    • 입력과 출력: 입력은 1024 점으로 맞춘 IR 또는 Raman 스펙트럼(둘 다도 가능)이고, 상황에 따라 화학식, 일부만 아는 구조, 후보 분자 database를 더 준다. 출력은 SMILES로 쓴 분자 구조이며, 스펙트럼끼리 검색, 스펙트럼에서 구조 검색, 일부 구조를 채우는 조건부 생성, 구조 전체를 만드는 de novo 생성 네 과제를 한 모델이 맡는다. 논문 종류는 모델을 제안하고 공개 데이터와 직접 계산한 스펙트럼으로 만든 benchmark에서 평가한 방법 논문이다.
    • 방법: encoder-decoder Transformer를 정렬 단계와 생성 단계로 나눠 학습한다. 정렬 단계는 contrastive learning으로 같은 분자의 스펙트럼 embedding과 구조 embedding을 가깝게 하고, 아주 비슷한 hard negative 쌍으로 matching loss를 학습시키며, 생성 단계는 SMILES token의 45%를 가리고 맞히는 MLM(masked language modeling, 조건부 생성)과 왼쪽부터 다음 token을 예측하는 LM(language modeling, de novo 생성)을 decoder를 공유해 함께 학습한다. 추론에서는 embedding 유사도로 후보를 찾은 뒤 matching module로 다시 순위를 매기는 coarse-to-fine retrieval과, beam search로 만든 후보를 화학식이 있으면 화학식으로 거른 뒤 matching module로 고르는 generate-then-rerank를 쓴다.
    • 구현: 스펙트럼은 크기 8 convolution으로 128개 patch로 자르고, patch와 SMILES token을 768차원 벡터로 바꿔 6층 Transformer encoder에 넣는다. 평가에는 이론 benchmark 3개(QM9S, VB-Mols, VB-GEOM)와 실험 benchmark 2개(SDBS, NIST-IR)에서 이론 스펙트럼 662,668개와 실험 스펙트럼 17,774개를 썼고, 직접 만든 ViBench 스펙트럼은 별도 언급이 없으면 Gaussian 09 프로그램의 DFT(밀도 범함수 이론) 계산으로 얻었다. 공식 저장소 README 기준으로 GitHub 저장소에는 학습 code와 추론 script가 있고 ViBench dataset과 checkpoint는 Hugging Face에 있으며, README는 IR, Raman, IR+Raman을 한 모델로 받는 Vib2Mol-MMM을 기본 모델로 권하고 논문 재현용 modality별 checkpoint를 유지한다고 적는다.
    • 결과: 화학식을 함께 넣었을 때 spectrum-structure retrieval의 Recall@1은 QM9S에서 Raman 98.11%, IR 96.63%로 분자 conformation을 추가 입력으로 쓰는 SMEN(97.89%, 97.04%)과 비슷했고, 실험 benchmark에서는 NIST-IR 83.54%, SDBS-IR 86.17%, SDBS-Raman 90.43%로 vibraCLIP보다 높았다. 화학식을 함께 넣은 de novo 생성은 QM9S와 VB-Mols에서 2위 모델보다 10% 이상 높았고(VB-Mols Raman 86.74%), multimodal 변형 Vib2Mol-MM이 SDBS 실험 스펙트럼을 질의로 PubChem 분자 80,368,968개와 SDBS를 합친 후보에서 찾을 때도 Recall@1은 30.60%였다. 반응물과 생성물이 섞인 계산 Raman 스펙트럼에서 기본 모델은 retrieval 74.29%, 생성 36.81%로 떨어졌고, 혼합 스펙트럼용으로 학습한 Vib2Mol-RXN은 97.51%와 56.64%를 냈다.
    • 한계: 이론 스펙트럼과 실험 스펙트럼 사이 성능 차이가 크고(저자들은 측정 조건 차이, 빠진 스펙트럼 구간, 적은 표본 수를 원인으로 들었다), 실험 펩타이드 Raman 표본 29개의 5-fold 검증에서 de novo 생성 평균 Recall@1은 13.34%였다. 다환 방향족 탄화수소(PAH) 치환기 예측에서 조건부 생성의 가중 평균 Recall@1은 98.95%였지만, 저자들은 '<mask>' 표시가 채울 글자 수를 드러내 이 정확도가 실제보다 높게 나올 수 있다고 밝혔다. SMILES 기반 분자 encoder라 고분자나 광물 같은 비분자 계에는 적용 범위가 좁고, 반응 혼합 스펙트럼은 분자별 Raman 산란 단면적 차이를 무시하고 수율대로 섞어 만든 계산 스펙트럼이다.
  17. 1295AI Agents

    FinRobot: AI Agent for Equity Research and Valuation with Large Language Models

    • 문제: 주식 리서치 보고서는 정량 모델 이해와 산업별 전문 지식이 함께 필요한 노동 집약적 작업이다. CapitalCube, Wright Reports 같은 기존 자동화 도구는 사람 애널리스트의 폭넓고 세밀한 분석을 재현하는 데 자주 모자라고, 기술적 지표와 단순한 모델에 크게 기대는 경향이 있어 재량 판단과 정성 평가를 담는 데 한계가 있다. 저자들은 이런 한계가 새 데이터를 실시간으로 반영하고 위험을 정확히 평가하는 데 걸림돌이 된다고 봤다.
    • 입력과 출력: 분석할 회사(예: Waste Management, Inc.)를 정하면 SEC 10-K(연간 보고서)와 10-Q(분기 보고서), 분기 실적 발표와 투자자 자료, earnings call 기록, 다른 증권사 보고서, Google Trends 같은 대체 데이터를 모아, 재무 요약, 가치평가, 위험, 경쟁사 분석과 매수, 보유, 매도 의견이 담긴 보고서를 낸다. 예를 들어 부록의 Waste Management 보고서는 매수(BUY) 등급과 12개월 목표가 219.17달러를 내면서, 주로 2019년부터 2023년 기업가치(EV)를 EBITDA로 나눈 배수 13배에서 15배에 근거해 주당 적정가를 144.3달러에서 176.6달러로 적었다. 논문 종류는 실제로 만든 시스템과 보고서 한 편의 사례를 보인 시스템 논문이다.
    • 방법: 분석을 세 layer로 나눈다. Data-CoT agent는 원천 데이터에서 매출 성장률, contribution margin(매출에서 영업비용을 뺀 이익의 매출 대비 비율), SG&A(판매비와 일반관리비) margin, EBITDA margin 같은 지표를 계산해 중간 요약을 만들고, Concept-CoT agent는 예를 들어 매출 동인, 경쟁사 대비 margin, 위험 같은 질문을 스스로 묻고 답하며 매출 전망, ROIC와 WACC, DCF(현금흐름할인) 모형 기반 목표가를 낸다. Thesis-CoT agent는 이 결과를 sell-side 보고서 형식으로 엮어 투자 논지와 매수, 보유, 매도 의견을 만든다.
    • 구현: 데이터 저장과 처리에는 Oceanbase, PostgreSQL, DFS(분산 파일 저장소), Minio를 쓰고 PDF, Word 문서, 이미지 파일을 처리하며, 표 1의 공식에서 매출 성장률 전망은 이전 성장률에 1%를 더하고 contribution margin 전망은 이전 값에 0.5%를 더한다. 공식 GitHub 저장소 README 기준으로 저장소에는 AutoGen 기반 V0 library, ticker를 받아 웹 페이지(HTML)나 PDF 주식 리서치 보고서를 만드는 V1 web app(finrobot_equity), PydanticAI 기반 V2 desktop app이 함께 있고, README 인용 목록에 이 논문이 올라 있다.
    • 결과: 투자은행 애널리스트 7명이 Waste Management 보고서 한 편을 0에서 10점으로 채점했을 때 정확성은 4명이 10점, 3명이 9점이었고, 논리성은 2명이 10점, 4명이 9점, 1명이 9.5점이었으며, storytelling은 7점에서 10점으로 갈렸다. 같은 기준으로 GPT-4는 정확성 9점, 논리성 8점, storytelling 7점을 줬다. 저자들은 같은 주제로 만든 여러 보고서를 GPT-4로 채점한 density plot에서 FinRobot이 zero-shot, few-shot, chain-of-thought prompting보다 높았다고 보고했다.
    • 한계: 저자들은 FinRobot이 JPMorgan, UBS(스위스 금융그룹) 같은 기관의 기준에 맞는다고 밝혔지만, 실험은 Waste Management 보고서 한 편을 애널리스트 7명과 GPT-4가 채점한 결과이고, 안정성 비교 결과는 density plot 그림으로 제시됐다. 평가자 의견에는 수치가 왜 중요한지 흐릿할 때가 있어 때로 통계 나열처럼 읽힌다는 지적(평가자 1)과, 뉴스에 민감한 우량주의 정성 분석은 아직 사람이 맡는 편이 낫다는 지적(평가자 4)이 있었다. 저자들은 다음 과제로 Dow 30 전체를 포함한 여러 산업과 자산군으로의 확장, reinforcement learning과 sentiment analysis 추가를 들었다.
  18. 1294Research Agents

    CycleResearcher: Improving Automated Research via Automated Review

    • 문제: 연구 자동화 agent는 주로 상용 LLM으로 만들어져, 연구 전 과정을 RL(강화학습)의 policy 최적화 문제로 효과적으로 다루기 어려웠다. 저자들은 동료 심사 수준의 연구 결과물을 만들고 다듬는 일이 여전히 대부분 미해결로 남아 있고, 학문적 타당성과 참신성에 필요한 반복 피드백을 통합한 시도도 적다고 보았다.
    • 입력과 출력: CycleResearcher는 모든 참고문헌과 그 초록을 담은 bib 파일을 받아 outline과 본문을 번갈아 생성하고, 동기와 아이디어부터 실험 설계와 모의 결과, 결론까지 담은 LaTeX 논문 한 편을 낸다. CycleReviewer는 완성된 논문을 받아 여러 reviewer를 흉내 내며 강점과 약점, soundness(타당성), presentation(표현), contribution(기여) 점수, 1에서 10점의 overall score를 내고, 그 평균을 최종 평가로 낸다. 논문 종류는 학습 framework, dataset 두 개, 학습한 모델을 함께 낸 방법 논문이다.
    • 방법: 반복 SimPO(Simple Preference Optimization, reference model 없이 길이로 정규화한 reward로 선호 쌍을 학습하는 방법)로 연구, 심사, 수정 cycle을 흉내 내며, 학습을 빠르게 하려고 실험 결과는 실제 실험 대신 모델이 지어내게 했다. arXiv의 최근 machine learning 논문 4,152편에서 참고문헌 부분만 knowledge base로 남기고, CycleResearcher가 temperature 0.4로 논문을 세 번 뽑으면 CycleReviewer 평균 점수가 가장 높은 것을 positive, 가장 낮은 것을 negative로 삼아 preference pair를 만든다. SimPO loss에 NLL(negative log-likelihood) loss를 더해 학습을 안정시키고, round마다 전체 dataset의 3분의 1을 뽑아 overfitting을 줄이며, 새 model로 이 과정을 되풀이한다.
    • 구현: CycleReviewer는 Mistral-Large-2에 LoRA-GA(low-rank adaptation with gradient approximation)를 적용해 H100 80G 8장 cluster에서 Review-5k로 12 epoch 학습했다. CycleResearcher는 Mistral-Nemo-12B, Qwen2.5-Instruct-72B, Mistral-Large-2 123B를 H100 8장에서 Research-14k로 12,000 step 학습한 12B, 72B, 123B 세 크기다. Review-5k는 ICLR 2024 논문 4,991편과 reviewer 의견 16,000개 넘게 담고, Research-14k는 2022년부터 2024년까지 주요 국제 machine learning 학회에 채택된 논문 14,911편을 모아 거른 뒤 학습 표본 12,696개와 test 표본 802개로 나눴다.
    • 결과: Review-5k test set에서 같은 논문의 다른 reviewer 점수 평균을 정답 대신 쓴 Proxy MSE(평균 제곱 오차)와 Proxy MAE(평균 절대 오차)는 CycleReviewer(123B)가 1.43과 0.92로 개별 사람 reviewer의 2.34와 1.16보다 작았고, 채택 판정 정확도는 CycleReviewer가 74.24%, 개별 사람 reviewer가 75.40%였다. CycleReviewer로 매긴 평균 점수는 CycleResearcher-12B 논문이 5.36(채택률 35.13%)으로 arXiv preprint 5.24보다 높고 학회 채택 논문 5.69보다 낮았으며, GPT-4o와 Claude-3.5로 만든 AI Scientist 논문은 4.31이었다. NLP(자연어 처리) 전문가 세 명이 rejection sampling N=100으로 고른 CycleResearcher-12B 논문과 AI Scientist 논문을 10편씩 읽은 사람 평가에서는 overall 점수가 4.8과 3.6이었고, CycleResearcher의 점수는 ICLR 2024 제출 논문 5.5와 채택 논문 6.4보다 낮았다.
    • 한계: 저자들은 이 연구의 생성 논문에 나온 실험 결과가 CycleResearcher가 지어낸 값이라 검증 가능하고 재현 가능한 과학 지식을 만드는 능력이 제한된다고 밝혔고, 실제 실험이 들어간 것은 AI Scientist가 GPT-o1으로 실험을 구현한 부록 I의 논문 한 편이다. 모델이 설계한 실험은 여전히 사람 연구자나 다른 agent가 수행해야 하고, 현재 구현은 주로 machine learning 연구에 맞춰져 있으며, CycleResearcher의 지식은 2024년 4월까지이고 CycleReviewer는 지식이 2024년 1월까지인 offline 모델이라 새 논문의 참신성 판단이 어렵다. 저자들은 policy model이 reward model의 허점을 노려 연구 품질을 실제로 높이는 대신 reward만 올리는 reward hacking 위험도 밝혔다.
  19. 1293Research Agents

    LAB-Bench: Measuring Capabilities of Language Models for Biology Research

    • 문제: 과학 분야 benchmark는 대부분 교과서식 지식을 기억해 답하는 문제를 내고, 특정 분야의 실제 연구 일을 해내는 능력을 재는 benchmark는 드물다. 저자들은 생물학 연구를 돕는 AI 시스템을 만들려면 문헌 조회, protocol 문제 해결, 서열 조작 같은 실무 능력을 재는 benchmark가 먼저 필요하다고 본다.
    • 입력과 출력: 이 논문은 생물학 연구 실무를 객관식 문제 2,457개로 재는 benchmark이자 dataset이다. 모델은 문헌, 그림, 표, 데이터베이스, DNA(데옥시리보핵산)와 단백질 서열, protocol, cloning 상황에 대한 질문과 보기를 받아 정답 글자 하나를 내고, 모든 문제에는 정보가 부족해 답할 수 없다는 보기가 하나 더 붙는다.
    • 방법: LitQA2(문헌 질의응답), SuppQA(보충 자료 질의응답), FigQA(그림 질의응답), TableQA(표 질의응답), ProtocolQA(protocol 문제 해결), CloningScenarios(실제 cloning 작업 상황 문제)는 저자와 계약한 생물학 전문가가 손으로 만들었고, SeqQA(서열 질의응답)와 DbQA(데이터베이스 질의응답)의 하위 task는 대부분 script로 만들었다. 점수는 accuracy(전체 문제 중 정답), precision(답한 문제 중 정답), coverage(답한 문제의 비율) 셋으로 잰다. 각 하위 task의 약 80%는 Hugging Face dataset으로 공개하고, 20%는 학습 데이터 오염을 감시하려고 비공개로 둔다.
    • 구현: Claude 3.5 Sonnet, Claude 3 Opus, Claude 3 Haiku, Gemini 1.5 Pro, GPT-4o, GPT-4-turbo, Llama 3 70B Instruct를 tool 없이 API로 불러 0-shot(예시 없이) chain-of-thought prompt로 풀게 했고, 모델마다 세 번 실행한 평균을 냈다. Llama 3 70B는 vision 기능이 없어 FigQA와 TableQA 평가에서 빠졌고, CloningScenarios는 41문제 가운데 prompt 길이에 맞는 25문제만 풀었다. 사람 baseline은 PhD 수준 생물학 연구자들이 전체 문제의 69%를 20문제에서 140문제짜리 quiz로 풀어 만들었고, 이들은 인터넷과 DNA 서열 software를 쓸 수 있었다.
    • 결과: 사람 전문가가 대부분의 category에서 모델을 앞섰고, 모델이 사람에 가장 가까운 TableQA에서는 Claude 3.5 Sonnet이 accuracy 0.83(사람 0.84)과 precision 0.90(사람 0.87)을 냈다. LitQA2에서는 주요 frontier 모델들이 답을 자주 거절해 Claude 3.5 Sonnet의 accuracy가 0.06에 그쳤고, FigQA에서는 Claude 3.5 Sonnet을 뺀 모든 모델의 precision이 무작위에 가까웠다. CloningScenarios의 accuracy는 사람이 0.60, 가장 높은 모델(Claude 3.5 Sonnet과 GPT-4o)이 0.28이었다.
    • 한계: 저자들은 그럴듯한 오답 보기를 만들기 어렵고, 성능 좋은 모델일수록 추론 대신 오답을 지우고 추측하는 방식으로 점수를 올리는 것으로 보인다고 밝혔다. 작은 규모로 열린 답 형식으로 바꿔 본 CloningScenarios 10문제에서 Claude 3.5 Sonnet과 GPT-4o의 accuracy는 둘 다 0.20이었다. 사람만 tool을 쓸 수 있었던 비교라는 점을 저자들도 짚었고, CloningScenarios는 문제당 10분에서 60분이 걸려 사람 baseline이 낮게 잡혔을 수 있다.
  20. 1292Research Agents

    Scores Alone Do Not Prove Discovery: The Discovery Certification Protocol for Auditing AI Research Agents

    • 문제: AI research agent가 실험을 거쳐 높은 점수의 결과물을 보고해도, 점수만으로는 그것이 발견인지 판단하기 어렵다. sealed test는 결과물의 효용을 확인하지만, 같은 조건의 다른 agent가 초기 자료, 공개 정보, 자체 추론으로 같은 점수에 이를 수 있는지와 실제 실험 feedback이 그 점수에 도달할 확률을 높이는지는 별도의 측정 질문이다. 저자들은 한 결과에 대한 이 세 질문을 실행 가능한 감사(audit)로 바꾼다.
    • 입력과 출력: 이 논문은 연구 결과 감사 protocol을 제안하고 통제된 task와 실제 데이터 task에서 시연한 framework 논문이다. 입력은 결과 주장(최종 결과물, 등록한 모델과 예산, 배경 지식과 시작 관측값, target run이 본 Web 내용, 유효성과 recovery 규칙)이고, 출력은 Core와 Evidence 두 판정을 각각 Pass, Refuted, Inconclusive, Not evaluated 가운데 하나로 적은 기록 bundle이다. 결정론적 verifier가 이 고정된 기록에서 판정을 offline으로 다시 계산한다.
    • 방법: Gate 1은 sealed 평가에서 결과물이 baseline보다 미리 정한 최소 유용 개선폭(δmin) 이상 나은지 신뢰하한으로 확인한다. Gate 2는 run 기록과 새 측정값을 뺀 채 배경 지식, 시작 관측값, target run이 본 Web 내용을 받은 새 challenger agent를 등록한 횟수만큼 실행하고, 어떤 방법으로든 recovery line(목표 점수 x에서 허용 오차 ε을 뺀 threshold) 이상인 유효 결과가 나오면 Core를 기각하며, 0건이면 Clopper-Pearson 상한으로 recovery 확률의 상한을 낸다. 선택 사항인 Gate 3은 같은 checkpoint에서 실제 측정 feedback과 중립 메시지를 받은 짝 branch를 비교하고, 효과의 신뢰하한과 null-policy 동등성 검사를 통과해야 Evidence가 된다.
    • 구현: 감사 대상 agent와 challenger는 등록된 CLI(command-line interface)로 실행한 DeepSeek 모델로, SQLite-Web은 deepseek-v4-flash, 가상 촉매는 deepseek-v4-pro, 실제 데이터 task는 deepseek-flash를 썼고, 실제 데이터 session에는 Read, Write, Edit, Glob, Grep tool을 열고 shell과 자체 Web tool은 막았다. Yacht와 Ionosphere 감사는 각각 challenger 96회, 파일 channel 통제 45회, feedback 짝 30개, null 짝 60개를 등록했다. 원문에 따르면 supplement에는 설치형 dcp-audit, task별 evidence producer, 재사용 harness인 dcp-harness, 실제 데이터 decision bundle 3개가 들어 있다.
    • 결과: 실제 데이터인 Yacht와 Ionosphere는 결과 점수 0.7677과 0.6551로 Core를 통과했고, challenger 96회의 최고 점수 0.4641과 0.4171은 recovery line 0.7177과 0.6051 아래였으며 recovery 확률 상한은 0.0468이었다. 같은 checkpoint에서 실제 feedback을 받은 branch는 30번 중 9번과 16번 목표 수준에 도달했고 중립 branch는 0번이었지만, 두 task 모두 Evidence는 Inconclusive였다. 통제 사례에서는 SQLite-Web(traffic 가중 작업량 88.55% 감소)과 가상 촉매 제어(sealed 최적값 도달)가 Core와 Evidence를 모두 통과했고, 개발용 사례인 knapsack은 challenger가 recovery line을 넘는 결과 2개를 내 Core가 기각됐다.
    • 한계: 저자들은 보고된 Pass가 모두 로컬에서 모으고 재생한 kernel 판정(formal_certificate_issued=false)이며, 정식 발급에는 독립 감사 기관의 검토와 서명이 필요하다고 밝혔다. recovery 상한은 등록한 모델, policy, 정보, 예산 분포에서 뽑은 새 episode 한 번에 대한 값이고, 예시로 든 recovery 확률 0.01에서는 96회 감사가 기존 경로를 찾을 확률이 0.6190이다. Dry Bean의 Core와 Evidence Pass는 Gate 2 채점 뒤 기록한 수정 policy로 다시 분석한 탐색적 결과다.
  21. 1291Research Agents

    A Vocabulary for Multi-Agent Automated Research Systems

    • 문제: 최근 multi-agent LLM 시스템은 선행 연구 읽기, 아이디어 제안, 코드 작성, 실험, 결과 해석을 끝까지 자동화하지만, 시스템끼리는 통신 구조, 실행 사이 기억, 초기화, evaluator 같은 여러 설계가 동시에 다르다. 그래서 multi-agent 시스템이나 autoresearcher가 더 낫다는 주장은 어느 설계가 바뀌었는지 알기 전까지 모호하고, 이런 시스템을 같은 말로 기술할 공통 언어도 없었다.
    • 입력과 출력: 연구 자동화 시스템의 설명(논문)을 받아 그 설계를 문제 tuple과 시스템 tuple의 요소로 옮겨 적고, 시스템이 직접 정한 요소(set)와 기본값으로 둔 요소(generic)를 표시한 지도를 낸다. 한 번의 실행은 입력 과제에서 반환 산출물까지의 trajectory로 기록하며, agent, operation, 초기화가 확률적일 수 있어 같은 과제를 반복 실행하면 trajectory 분포가 나온다. 논문 종류는 이 vocabulary를 정의하고 기존 시스템 10개에 적용한 사례 분석을 붙인 개념 논문이다.
    • 방법: 시스템은 agent 집합, operation 목록(tool, skill, MCP(Model Context Protocol) server 호출 등), 통신 구조, capability 할당, 공유 상태, control policy, 초기화, evaluator의 여덟 요소 tuple로 적는다. 공유 상태는 한 실행 동안 유지되다 끝나면 지워지는 상태, agent가 다루는 외부 환경, 실행 사이에 이어지는 상태로 나누고, control policy는 다음에 누가 무엇을 할지 정하는 routing, 실행을 끝내는 stopping, 실행 중 구조를 바꾸는 meta-control(spawn, kill, grant, revoke, consolidate 등), 무작위성을 정하는 exploration 항으로 나눈다. trajectory의 각 단계 행동은 operation 호출, message, 구조 변경, 종료로 나눠, 언제 소통하고 언제 agent를 늘릴지를 policy의 선택 문제로 다룬다.
    • 주장: 저자는 시스템을 예산 안에서 proxy evaluator 점수를 최대로 하는 탐색으로 보고, 같은 agent와 tool도 Best-of-N처럼 탐색을 늘리면 다른 요소는 그대로 둔 채 점수가 오를 수 있다고 짚었다. 많은 trajectory를 순위 매길수록 evaluator가 실제 품질을 부풀린 trajectory가 맨 위에 오기 쉬워지는 overfitting tax를 정의하고, MLR-Bench가 감사한 coding agent 과제 10개 중 8개(약 80%)에서 조작되거나 무효인 결과가 나온 보고를 근거로 들었다. taste는 점수를 보기 전에 새 trajectory를 내놓는 비율인 generative taste와 proxy 점수와 실제 품질의 차이인 evaluative taste로 나누고, 더 강한 generator를 인정하기 전에 evaluator integrity(점수를 실제 품질에 가깝게 붙잡아 두는 구조적 보호)부터 높이라고 제안했다.
    • 사례 적용: AIRA2, AlphaEvolve, Glia, AAR(Automated Alignment Researcher), AI Scientist-v2, MetaGPT, EvoX, ml-intern, SimpleTES, Engram을 tuple로 옮겨, 예를 들어 Glia의 핵심은 Supervisor의 operation 집합을 비워 둔 capability 할당이고 AIRA2는 실행 사이 population 저장소와 meta-control을 정한다고 정리했다. 이 지도에서 실행 중 capability를 바꾸는 시스템은 없었고, 모든 시스템이 exploration 항을 기본 temperature로 두었으며, control policy를 실행 중 다시 쓰는 시스템은 EvoX 하나였다. 저자의 GitHub 저장소 BardiyaAk/multi-agent-research-vocabulary는 README 기준으로 여덟 요소 tuple 설명, 사례 10개의 구조 그림과 비교 표를 담은 정적 project page와, 비교 자료의 원본 tools/coords.json과 이를 변환하는 tools/build-data.py를 공개한다.
    • 한계: 저자는 각 시스템을 해당 논문의 설명 그대로 옮겨 적었으므로 이 표시는 서술용 지도이고 검증된 측정과 구별된다고 밝혔다. 표시된 요소는 그 논문이 직접 정한 요소를 뜻하고, 그 요소가 성능을 올렸다는 근거와는 구별된다. generative taste는 novelty 척도가 마련되기 전까지 정성적 개념으로 두었고, 실제 품질은 일반적으로 계산할 수 없어 측정값보다 설계 목표로 남는다고 적었다.
  22. 1290Research Agents

    Are LLMs Ready for Scientific Discovery? A Capability-Oriented Benchmark for AI Scientists

    • 문제: DataSciBench, KramaBench, ScienceAgentBench 같은 기존 benchmark는 주로 LLM이 분석 code나 pipeline을 만들고 실행해 정답이나 과제별 성공 기준에 닿는지를 본다. 저자들은 이런 평가가 계산 성공을 과학적 타당성으로 착각할 수 있고, 기본 서술에서 틀렸는지 인과 추론에서 틀렸는지를 점수 하나 뒤에 숨긴다고 지적했다. 과학 분석은 서술, 가설 탐색, 통계 추론, 예측, 인과 추정, mechanism 설명처럼 가정과 타당성 기준이 서로 다른 주장을 뒷받침하는 일이다.
    • 입력과 출력: 이 논문은 benchmark 논문이다. 문제 하나는 분야, 과제 유형, dataset과 metadata, 질문, 정답으로 이루어지고, 모델은 dataset을 보고 객관식(MCQ)이나 서술형(OEQ) 질문에 답한다. 기본 모델은 zero-shot으로 평가하고, 모든 모델은 reasoning과 answer 두 field를 담은 JSON을 내며, answer만 채점하고 reasoning은 오류 분류에 쓴다.
    • 방법: 저자들은 Leek과 Peng의 여섯 질문 framework를 descriptive, exploratory, inferential, predictive, causal, mechanistic 여섯 능력으로 바꾸고, 생물, 화학, 환경, 지리, 물리 다섯 분야에 걸쳐 문제를 만들었다. 합성 data 부분인 SDA-Synth는 GPT-4o가 제안한 과학 시나리오로 변수 사이의 semantic DAG(방향이 있고 순환이 없는 graph)와 mechanism 식을 만들고 noise와 distractor column을 넣어 dataset을 생성한 뒤, 실행 재현, 범위 검사, 전문가 검토를 거친 50개(분야당 10개)를 남겼다. 질문은 Taxonomist, Extractor, Generator, Verifier 네 agent가 template로 만들고, 정답은 template마다 쓴 결정적 계산 절차로 구하며, 객관식 오답 보기(distractor)는 변수나 중간 계산을 바꾸는 네 가지 perturbation으로 만든다.
    • 규모와 구현: 실제 data 부분인 SDA-Real은 24개 후보 자료 가운데 고른 KramaBench, BLADE(data 기반 과학 agent benchmark), QRData 같은 seed 자료의 실제 dataset으로 만든 527문제이고, SDA-Synth는 검증 뒤 남은 6,231문제에서 분야와 과제 조합마다 200개씩 뽑은 6,000문제다. 검증에서는 후보 779개를 지우고 template 307개와 표본 2,000문제를 사람이 검토해 324개를 더 걸러 냈으며, SDA-Synth는 60%를 fine-tuning용 train으로, 40%를 test로 나눴다. 평가한 LLM은 GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro 같은 closed-source 모델, DeepSeek V3.2, Qwen 3.5-397B-A17B 같은 open-source 모델, SDA-Synth train으로 LoRA(Low-Rank Adaptation) fine-tuning한 Llama-3.1-8B 두 변형을 합쳐 15개다.
    • 결과: SDA-Synth test의 서술형(OEQ) 정확도는 GPT-5.4 58.33%, Gemini 3.1 Pro 56.88%, Claude Sonnet 4.6 55.79%가 가장 높았고, error-type 목표로 fine-tuning한 Llama-3.1-8B는 55.33%로 이 범위에 다가갔다. 과제 유형별로는 Descriptive 과제가 가장 쉬웠고 Inferential, Causal 과제에서 정확도가 떨어졌으며, LLM 평균 서술형 정확도를 분야별로 보면 Environment가 46.9%로 가장 높고 Biology가 가장 낮았으며 Biology의 Predictive는 22.5%였다. 실행 순서상 첫 오류를 표시한 오류 분석에서 정규화한 Function Error 비율은 Predictive 과제에서 37.7%로 가장 높았고, Relationship Error 비율은 Mechanistic 과제에서 32.1%였다.
    • 한계: 저자들은 SDA-Synth의 합성 semantic graph가 전문가 검토를 거쳤어도 실제 실험의 confounder와 측정 artifact를 다 담지 못할 수 있고, 객관식 형식은 일부 모델에서 피상적인 pattern matching을 부를 수 있다고 밝혔다. 오류 분류는 실행 중 첫 오류를 표시하는 방식이라 이어서 생긴 오류를 적게 셀 수 있다. 4지선다 MCQ는 우연히 맞힐 확률이 25%라 OEQ와 직접 비교할 수 없고, SDA-Real의 전체 결과는 보충 자료 C로 넘겼다.
  23. 1289Research Agents

    SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones?

    • 문제: 최근 AI scientist framework는 가설 생성부터 실험 실행까지 자동으로 할 수 있지만, 실행 전에 연구 제안의 방법론적 타당성(soundness)을 판단해 걸러 내는 능력을 직접 재는 benchmark는 드물다. MLE-Bench, PaperBench 같은 기존 benchmark는 주로 실행 결과를 재고, 일부 아이디어 평가 benchmark는 novelty와 영향력을 잰다. 저자들은 이 걸러 내기 단계가 약하면 agent가 결함 있는 가설을 자동으로 실행해 계산 자원과 시간을 낭비할 위험이 있다고 본다.
    • 입력과 출력: 이 논문은 benchmark 논문이다. 평가 모델은 실험 결과를 지운 연구 제안(가설과 실험 설계)을 받아 high 또는 low soundness 판정, 1에서 5까지의 confidence, 단계별 근거를 JSON으로 낸다. 정답 label은 ICLR 심사위원의 soundness 하위 점수에서 왔고, 평균 3 이상은 high, 2 이하는 low이며 중간 점수는 뺐다.
    • 방법: 구축 pipeline은 ICLR 2022년부터 2026년까지의 제출 논문에서 desk reject(심사 전 반려)를 빼고, 심사위원 confidence 평균이 3 이상이며 정규화한 soundness 점수의 표준편차가 0.15 미만인 논문만 남긴다. Gemini 2.5 Pro가 PDF에서 초록, 관련 연구, 위험 요인, 가설, 실험 설계를 거의 원문 그대로 뽑고 실험 결과, 직접적인 결과 주장, 채택 단서는 지운다. 뽑은 제안은 atomic claim으로 나눠 BM25(키워드 기반 검색 순위 함수)로 찾은 원문 구절과 대조하고 지지 비율이 threshold 0.7 이상인 후보를 남기며, 저자들의 현재 후보 pool에서는 66.93%가 이 검사를 통과했다.
    • 구현: 최종 benchmark는 35,209편이 넘는 ICLR 첫 제출 논문과 심사평 137,940건을 처리해 골라낸 16개 ML 분야의 제안 1,099개(low 458개, high 641개)이고, 원문 첫 쪽은 이 dataset을 Hugging Face 주소로 안내한다. 구축 단계의 atomic claim 분해는 GPT-5.4, 대조 검증은 Gemini-2.5-Flash가 맡았다. 평가한 12개 모델 가운데 비공개 모델은 provider API로, 공개 모델은 NVIDIA H200 2장에서 vLLM(LLM serving library)으로 실행했고, 따로 적은 경우를 빼면 모든 모델에 temperature 0.2와 max_tokens 8192를 썼다.
    • 결과: 표준 prompt에서 12개 모델은 low 제안을 평균 74.0% 비율로 high로 판정했고, 이 비율이 가장 높은 두 모델인 LLaMA-3.3-70B와 GPT-4o는 98.0%와 94.5%였다. 기본값을 low로 두라는 엄격한 prompt로 바꾸면 이 평균 비율이 74.0%에서 19.9%로 줄었지만 high 제안을 맞힌 평균 비율(high recall)도 91.8%에서 36.1%로 떨어져, 평균 Macro F1(두 class F1의 단순 평균)이 54.9에서 49.3으로 내려갔다. 학습 데이터 cutoff가 ICLR 2026 제출 기간보다 앞선 모델들로 ICLR 2026 제안만 평가해도 low를 high로 본 평균 비율은 77.47%로, 같은 모델들의 전체 자료 결과 73.88%와 비슷했다.
    • 한계: 저자들은 정답 label이 전체 논문과 결과를 본 심사위원의 soundness 점수라서, 결과를 가린 제안만으로 판정하는 과제에는 불완전한 대리 지표라고 밝혔다. 평가 범위는 ICLR의 ML 연구로 한정되고, 원본이 공개 자료라 학습 데이터 오염을 완전히 통제할 수 없어 ICLR 2026 분할과 식별 문구 제거 분석으로 이 우려를 줄였다. 사람 검수는 제안 60개를 본 예비 검수이고, 시험한 prompt는 표준과 엄격 두 가지다.
  24. 1288Research Agents

    AutoResearch AI: Towards AI-Powered Research Automation for Scientific Discovery

    • 문제: AI 연구 system은 문헌 근거, 가설, 실험, 검증, 보고로 이어지는 긴 workflow까지 넓어졌지만, 자율성 수준, 분야, 실행 환경, 검증 방식, 사람 감독 정도가 system마다 달라 한 틀로 비교하기 어렵다. 저자들은 단계를 길게 이은 pipeline이 과학적 자율성으로 오해될 수 있고, 지금 system은 검색, 초안, coding에 강한 반면 검증, 기각, 재현성에서 훨씬 약하다고 짚었다.
    • 조사 범위: 이 논문은 survey다. Table 1은 survey, workflow 수준 system, open-source project를 나눠 system과 project의 자율성 단계를 표시했고, Table 2는 평가 도구를 평가 역할에 따라 discovery, 실험과 검증, deep research와 synthesis, review와 provenance 네 종류로 나눴다. 공식 저장소(Mr-Tieguigui/Autoresearch)는 README 기준으로 survey 그림을 보여 주는 정적 project page이며, index.html과 style, script, 그림을 담은 static 폴더로 이루어져 있다.
    • 분류: 저자들은 사람과 AI가 통제, 실행, 검증을 어떻게 나눠 맡는지에 따라 L0(사람만)부터 L4(AI 자율)까지 다섯 단계를 정의하고, 사람이 방향을 잡는 L1과 L2를 Vibe Research라고 불렀다. L2는 한 단계 실행(L2-S), 대화형 workflow(L2-I), 사람 검증 아래의 pipeline(L2-P)으로 다시 나눴고, system은 보여 준 workflow 역할에 맞는 가장 낮은 단계에 둔다는 보수적 배치 규칙을 썼다.
    • workflow 단계: 저자들은 기술 기반을 문헌 근거, 가설과 계획, 실험과 tool use, feedback과 검증, 보고의 다섯 단계로 나누고, 단계마다 반복되는 방식을 정리했다. 예를 들어 문헌 근거는 search 중심, evidence 중심, structure 중심, literature-memory 네 방식으로, 검증은 실행에 붙은 rerun, critique를 거친 검증, 전문가나 시간이 지난 뒤의 검증 세 방식으로 나눴다.
    • 평가와 분야: 저자들은 과제 완료 대신 결과의 과학적 신뢰도를 보도록 novelty, validity, impact, reliability, provenance 다섯 평가 기준을 제안했다. 분야별로는 산출물을 실행하고 재현하기 쉬운 computational and formal sciences가 지금 관찰된 가장 높은 수준에 있고, 의학과 임상 연구, 경제와 사회과학은 L2 초중반에 있다고 정리했다. 저자들은 어느 분야도 L3이나 L4의 견고한 과학 자율성을 보인 설득력 있는 증거를 아직 내지 못했다고 결론냈다.
    • 한계: Table 1은 모든 작업을 모은 목록 대신 구조상 중요한 작업을 고른 표이고, 단계 표시는 성능 순위 대신 각 작업의 workflow 범위, 실행 능력, 사람 감독 정도로 정한 주된 자율성 단계다. 저자들은 novelty를 측정할 합의된 정의가 아직 없어서, 지금의 평가가 이전 논문과의 차이, LLM이 채점하는 LLM-as-a-judge, 사람 전문가 판단 같은 약한 대리 지표에 기댄다고 밝혔다.
  25. 1286Research Agents

    AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery

    • 문제: 자율 연구 agent는 기존 지식을 살피고 주장의 근거를 모으려고 맞는 논문을 찾아야 하지만, 결정적 근거는 제목이나 초록보다 방법 세부, ablation 표, 그림 설명, 부록, 인용 관계 속에 있는 경우가 많다. agent들은 GAIA(일반 AI assistant benchmark), BrowseComp 같은 장기 web 검색 benchmark에서 크게 발전했지만, 큰 최신 논문 corpus를 깊이 읽고, 세부 조건을 검증하고, 검색을 언제 끝낼지 정하는 능력은 거의 측정된 적이 없다.
    • 입력과 출력: 이 논문은 benchmark 논문이다. agent는 자연어 질의를 받아 full text가 있는 arXiv 논문 3 million 편이 넘는 corpus를 학술 platform DeepXiv의 검색 tool로 찾고 읽은 뒤, Deep Research에서는 조건을 모두 만족하는 논문 하나나 없음을, Wide Research에서는 조건을 만족하는 논문 전체 목록을 낸다. 점수는 Deep Research가 정확히 맞힌 비율(Accuracy), Wide Research가 예측 집합과 정답 집합의 IoU(Intersection over Union, 겹친 정도)다.
    • 방법: Deep Research 문제는 인용이 보통 10회에서 100회인 덜 알려진 고품질 computer science(CS) 논문을 우선 골라, full text에서 뽑은 단서를 흐리게 바꾸고 찾아야 할 target paper 하나를 가려내는 데 필요한 단서만 남겨 만들며, 정답이 없는 문제는 핵심 조건 하나를 바꿔 만든다. GPT-5.4가 바꾼 검색어로 정답이 바로 나오거나, Claude 4.6-Sonnet 또는 Gemini-3-Flash agent가 풀거나, 사람이 10분 안에 찾은 Deep 문제는 버렸다. Wide Research는 주제별 후보 논문의 공통 속성으로 질의를 만들고, 빠진 정답을 보충하려고 LLM이 쓴 검색어로 31,734편을 더 찾은 뒤, 세 LLM의 full text 판정과 전문가 표본 검사로 정답 집합을 정했다.
    • 규모와 구현: 문제는 1,000개(Deep 600개, Wide 400개)이고 CS 여덟 분야에 걸친다. Deep 문제의 10%는 정답이 없고, Wide 문제의 정답은 합계 3,692편으로 질의당 평균 9.23편이다. 평가는 ReAct agent를 최대 30 turn까지 DeepXiv 검색 tool과 함께 실행하며, README 기준으로 GitHub 저장소(CherYou/AutoResearchBench)에는 batch 추론 code, DeepXiv와 web 검색 tool, Deep과 Wide 채점 script, 복호화 script가 있고, 문제 data는 Hugging Face dataset 저장소에 난독화한 파일로 올라가 있다.
    • 결과: 같은 ReAct agent와 DeepXiv 검색 tool로 전체 문제를 평가한 모델 가운데 Deep Research 최고 정확도는 Claude-Opus-4.6의 9.39%, Wide Research 최고 IoU는 Gemini-3.1-Pro-Preview의 9.31%였다. GPT-5.4는 평균 6.1 turn으로 7.44%를 냈고, turn을 더 많이 쓴 DeepSeek-V3.2는 28.8 turn으로 4.21%에 머물렀다. 검색 tool 비교에 쓴 네 모델에서 DeepXiv 대신 open-web 검색을 쓰면 Deep 정확도 평균이 5.42%에서 3.97%로 떨어졌다.
    • 한계: 저자들은 benchmark가 고정된 corpus의 computer science 논문과 text 기반 검색에 맞춰져 있어, 다른 과학 분야, multimodal 근거, 계속 바뀌는 문헌은 다음 과제로 남긴다고 밝혔다. 큰 corpus의 경계에서는 Wide 정답 집합을 빠짐없이 만들기가 여전히 어려울 수 있다고 적었고, 상위 세 모델이 낸 정답 밖 예측을 표본으로 사람이 검토하니 96%가 질의 조건을 하나 이상 어겼다고 보고했다. 비용이 큰 end-to-end 연구 system 세 개는 무작위로 뽑은 50문제로 평가했고, Deep Research에서 GPT Deep Research가 11/50, AI-studio Gemini-3.1-Pro가 7/50, Alphaxiv가 0/50이었다.
  26. 1284Research Agents

    aiXiv: A Next-Generation Open Access Ecosystem for Scientific Discovery Generated by AI Scientists

    • 문제: LLM agent가 연구 제안서와 논문을 쓰고 동료 심사까지 하게 되었지만, 사람 심사에 크게 기대는 학술지는 AI가 쓴 연구를 꺼리고 늘어나는 투고를 감당하기 어려우며, preprint 서버는 엄격한 품질 검사 장치가 없는 경우가 많다. AI가 저자와 심사자를 함께 맡은 Agents4Science 학회에는 수정이나 rebuttal(저자 반론) 단계가 없고, 기존 LLM 리뷰 시스템도 대부분 검토를 한 번으로 끝낸다.
    • 입력과 출력: AI scientist나 사람 연구자가 API와 MCP(agent가 외부 도구를 부르는 protocol) 인터페이스로 연구 제안서(문제 정의, 동기, 방법, 실험 계획)나 완성 논문을 올리면, LLM review agent가 참신성, 기술적 타당성, 명확성, 실현 가능성, 잠재적 영향을 본 구조화된 검토 의견을 돌려준다. 고친 수정본을 다시 올릴 수 있고, 다섯 LLM으로 이루어진 심사 panel에서 셋 이상이 accept를 주면 게시하고 DOI(논문 고유 식별자)를 붙인다. 논문 종류는 플랫폼을 만들고 검토 정확도와 수정 효과를 실험한 시스템 논문이다.
    • 방법: 단일 검토 방식에서는 review agent 하나가 방법의 질, 참신성과 의의, 명확성과 구성, 실현 가능성과 계획의 네 기준으로 강점, 약점, 개선 제안을 쓰고, Semantic Scholar API로 찾은 문헌을 RAG로 붙인다. 메타 검토 방식에서는 Area Chair(학회의 분야 책임자) 또는 Editor agent가 투고의 세부 분야를 찾아 분야마다 심사 agent 3에서 5개를 만들고, 그 보고서를 종합해 결정문을 쓴다. prompt injection 검사는 PDF의 글꼴 크기, 색, 글자 위치, encoding을 뽑아 규칙 기반 검사와 LLM 의미 검사를 거친 뒤, 위험 점수가 미리 정한 threshold를 넘는 문서를 review model에 넘기기 전에 걸러 낸다.
    • 구현: aiXiv는 공개 website(aixiv.science)로 운영되고, API와 MCP 층이 저자, 심사자, 메타 심사자 역할의 agent를 플랫폼과 연결하며, 사용자는 투고에 좋아요, 댓글, 토론을 남길 수 있다. 두 문서 가운데 나은 쪽을 고르는 쌍 비교 방식의 정확도는 DeepReview의 ICLR(기계학습 학회) 2024, 2025 test 자료에서 심사 평균 점수가 5에서 6 사이인 논문을 빼고 채택 논문과 거절 논문을 짝지은 235쌍과 163쌍, 그리고 ICLR 논문을 제안서 형식으로 바꾼 500쌍으로 쟀다. 수정 효과는 AI Scientist로 NanoGPT, 2dDiffusion, Grokking 세 주제마다 제안서 50개를 만들어 cosine 유사도 threshold 80%로 중복을 거른 제안서(표 5의 주제별 28, 27, 29개)와, AI Scientist가 쓴 논문 10편으로 시험했다.
    • 결과: RAG를 붙인 Claude-sonnet-4의 쌍 비교 정확도는 논문에서 ICLR 2024 81.70%, ICLR 2025 79.75%였고, 제안서에서 ICLR 2024 77.91%였다. prompt injection 검사 정확도는 arXiv 논문 105편의 35%에 공격을 합성해 adversarial 논문 36편을 만든 합성 자료에서 84.8%, 실제 의심 표본에서 87.9%였다. 다섯 LLM 투표에서 AI Scientist 논문 10편의 평균 채택률은 수정 전 10%, 수정 뒤 70%였고, 제안서는 세 주제 모두 수정 전 0%에서 수정 뒤 평균 45.2%로 올랐다.
    • 한계: 저자들은 AI 모델이 매끄럽지만 사실과 다른 내용을 만들 수 있고, 여러 모델을 써도 심사 편향이 남을 수 있으며, 단순한 LLM 다수결은 객관성이 부족할 수 있다고 밝혔다. 실험 검증은 현재 모의 환경과 가상 agent 상호작용에 한정되어, 특히 실제 실험이나 물리 제약이 필요한 분야에서 결과의 일반화가 제한된다고 적었다. RAG 효과는 모델마다 엇갈려, GPT-4.1의 ICLR 2024 제안서 쌍 정확도는 RAG를 붙이자 75.05%에서 69.73%로 내려갔다.
  27. 1283Research Agents

    Neural Architecture Discovery via Autonomous Evolution

    • 문제: LLM agent가 AI 연구 자체를 앞당기는 어려운 장기 과제를 해낼 수 있는지는 아직 거의 탐구된 적이 없다. 기존 NAS(Neural Architecture Search, 신경망 구조 탐색)는 사람이 정한 탐색 공간 안에서 고르는 데 그친다. 저자들은 구조 설계가 어려운 이유로 LLM에 내장된 구조 설계 지식이 적은 점, 제약 하나를 어기면 학습이 조용히 망가지는 큰 codebase, 처음부터 pre-training하고 benchmark를 실행해야만 품질을 잴 수 있는 비싼 평가를 들었다.
    • 입력과 출력: 이 논문은 구현과 실험을 갖춘 system 논문이다. ASI-ARCH는 지난 구조들의 요약, 실험 분석, 문헌 지식(cognition)을 받아 새 linear attention 구조의 설계 동기와 code를 한 번에 쓰고, 그 구조를 실제로 학습해 얻은 loss, benchmark 점수, 분석을 다음 cycle의 입력으로 쌓는다.
    • 방법: Researcher가 낸 구조는 embedding으로 찾은 가장 비슷한 과거 동기 5개와 견줘 LLM이 새로움을 판정하는 novelty check와 code sanity check를 통과해야 학습에 들어가고, 구현 오류로 학습이 실패하면 debugging agent가 error log를 보고 code를 고친다. fitness는 baseline 대비 10% 안의 loss 개선과 benchmark 개선을 각각 sigmoid로 바꾼 두 값과 LLM judge 점수의 평균이다. Analyzer는 부모, 형제 구조와 비교해 설계 요소별 기여를 추정하고, 상위 50개 구조 pool과 논문 지식 cognition이 다음 제안의 근거가 된다.
    • 구현: 탐색 단계는 20M parameter 모델을 1B token으로 학습해 benchmark마다 500개 sample로 평가했고, 검증 단계는 고른 구조를 340M parameter와 1B token으로, 상위 구조를 1.3B parameter와 15B token으로 키워 다시 확인했다. planner에는 o3와 GPT-4.1, checker와 분석에는 o3, 학습 실행과 debugging에는 GPT-4.1을 썼고, linear attention 논문 약 100편을 약 150개 cognition 항목으로 정리해 OpenSearch로 검색했다. README 기준으로 공식 저장소(GAIR-NLP/ASI-Arch)에는 pipeline, MongoDB 기반 architecture database, RAG(retrieval-augmented generation, 검색 증강 생성) 기반 cognition base code가 있고, 발견한 구조 목록은 project page로 연결된다.
    • 결과: 20M 규모 탐색의 1,773번 실험(약 10,000 GPU 시간)에서 1,350개가 정량, 정성 지표 모두에서 baseline인 DeltaNet을 넘었고, 그 가운데 약 150개를 340M 규모로 다시 검증해 105개가 SOTA(state-of-the-art, 최고 성능)를 기록했다. 1.3B 규모 최고 모델은 정확도 지표 14개의 전체 평균에서 DeltaNet보다 +0.97점 높았고, 이는 Mamba2가 DeltaNet보다 높았던 +0.34점의 3배 가까운 개선이다. 같은 제안 모델 DeepSeek-V4-Flash, 120회 시도 예산, 20M 학습 설정에서 설계 성공률은 ASI-ARCH 37.4%, open-source 진화 coding agent인 OpenEvolve 8.3%였다.
    • 한계: 탐색은 DeltaNet을 baseline으로 한 linear attention에서 했고, 105개 SOTA는 저자들이 통제한 340M 평가에서 나온 판정이다. 같은 구현과 hardware에서 잰 1.3B 규모 효율 비교에서 ASI-ARCH 다섯 모델의 최대 memory는 16.28G에서 22.75G로, DeltaNet의 11.44G보다 컸다. 340M 규모에서 다른 계열로 옮긴 규칙은 GLA(Gated Linear Attention)에서 +2.05점을 냈지만 state-space model인 Mamba2는 +0.35점, HGRN2(gated linear recurrent 모델)는 +0.14점으로 개선이 작았고, 저자들은 계열별 adapter를 다음 과제로 남겼다.
  28. 1282Reasoning

    MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning

    • 문제: 공개 추론 연구는 자료, benchmark, 검증 방법이 풍부한 수학과 코딩에 주로 몰려, 과학 추론은 공개 생태계에서 크게 뒤처져 있었다. 과학 benchmark 다수가 객관식이고 post-training 자료도 그 형식을 따르는 경우가 많아, 저자들의 관찰로는 이런 자료로 학습한 모델이 객관식 점수는 부풀고 계산 문제에서 크게 약했으며, 대개 n-gram이나 embedding 유사도에 기대는 decontamination(학습 자료에서 평가 문항을 지우는 작업)은 표현이나 구조를 조금 바꾼 문항에 쉽게 뚫린다. 여러 과학 자료의 참조 정답은 web에서 긁어 왔거나 LLM이 만든 것이라 사실 정확성을 보장하기 어렵고, DeepSeek-R1에서 긴 CoT(풀이 과정 서술)를 그대로 증류한 자료는 overthinking(필요 이상으로 긴 풀이)에 빠지기 쉬워 학습과 추론 효율을 떨어뜨린다.
    • 입력과 출력: 교과서 PDF와 공개 과학 dataset(NaturalReasoning, Nemotron-Science)을 받아, 문항과 단계별 풀이로 된 SFT 자료 두 개(TextbookReasoning, MegaScience), 15개 benchmark를 묶은 평가 체계, 이 자료로 학습한 Llama3.1, Qwen2.5, Qwen3 모델을 낸다. 논문 종류는 자료 구축 pipeline과 학습 실험을 갖춘 dataset 논문이다.
    • 방법: TextbookReasoning은 olmOCR(PDF 글자 인식 도구)로 교과서를 텍스트로 바꾸고, 4,096-token 조각마다 Llama3.3-70B-Instruct가 다단계 추론을 요구하고 원문에 전체 풀이가 있는 문답을 뽑는 엄격한 기준(high-standard)과 완전한 문항과 답이면 뽑는 느슨한 기준(low-standard)으로 문답을 추출한 뒤, MinHash 중복 제거(유사도 threshold 0.6), DeepSeek-V3의 원문 대조 다듬기, 결함 문항 필터링을 거친다. decontamination은 BGE-large-en-v1.5 embedding으로 문항마다 가장 비슷한 benchmark 문항 5개를 찾고, Llama3.3-70B-Instruct가 각 쌍이 paraphrase인지 판정해 하나라도 해당하면 그 문항을 뺀다. MegaScience는 자료마다 응답 길이, 난이도(Qwen2.5-7B-Instruct 응답 16개를 Qwen2.5-32B-Instruct가 0에서 10점으로 채점), 무작위 선택을 Qwen2.5-7B SFT로 비교해 고르고, TextbookReasoning을 뺀 자료에는 DeepSeek-V3로 단계별 풀이를 새로 단다.
    • 구현: TextbookReasoning은 웹에서 모은 교과서 가운데 metadata에 공개 접근 제한이 표시된 책을 빼고, Llama3.3-70B-Instruct로 분야와 수준을 분류해 대학 수준 미만 책을 거른 12.8k권(컴퓨터과학 6,057권, 의학과 생물 2,305권 등)을 썼으며, 추출한 문답 945,683개가 중복 제거, 필터링, decontamination을 거쳐 651,840개가 되었다. MegaScience는 NaturalReasoning 436.4k, Nemotron-Science 173.3k, TextbookReasoning 651.8k를 합친 1261.5k개이고, LLaMA-Factory(fine-tuning 도구)로 learning rate 5e-6, batch 512, 3 epoch 설정에서 Qwen2.5, Qwen3, Llama3.1 base model을 fine-tuning했다. 공식 GitHub 저장소 GAIR-NLP/MegaScience에는 README 기준으로 olmOCR 변환 뒤의 문답 추출부터 decontamination, 참조 정답 추출, 최종 형식 변환까지 단계별 data_process script와 LLaMA-Factory 학습 설정이 있고, 두 dataset과 학습 모델은 Hugging Face에, 평가 코드는 별도 GitHub 저장소 lm-open-science-evaluation에 있다.
    • 결과: 같은 Qwen2.5-7B에 다른 공개 자료로 학습한 모델과 Qwen2.5-7B-Instruct를 함께 비교한 표 6에서, MegaScience 학습 모델은 MMLU(Massive Multitask Language Understanding)를 뺀 14개 benchmark 가운데 7개에서 가장 높았고, 평균 61.01로 Qwen2.5-7B-Instruct의 58.80보다 높았으며, SciBench 48.75와 OlympicArena 40.23을 냈다. Qwen3를 non-thinking mode로 맞춘 비교에서 Qwen3-30B-A3B의 MegaScience 학습 모델 평균은 73.86으로 공식 Instruct의 70.62보다 높았고 Llama3.1-8B도 51.07 대 49.67로 앞섰지만, Qwen2.5-1.5B에서는 공식 Instruct가 2.99 앞섰다. LLM 기반 decontamination은 기존 자료에서 benchmark 유출 문항을 SCP-116K 19K개, NaturalReasoning 66K개, Nemotron-Science 164K개 찾아냈다.
    • 한계: 저자들은 모든 base model에 맞는 하나의 최적 자료 조합을 찾기 어렵고, Llama 계열이나 작은 Qwen2.5처럼 능력이 낮은 모델은 기초 자료나 쉬운 warmup 학습 없이 MegaScience처럼 어려운 자료로 학습하면 응답이 짧아지고 반복이 늘었다고 밝혔다. 자료 선택은 Qwen2.5-7B를 proxy model로 써서 검증해 결과가 그 모델의 능력에 묶였고, 표 7의 수학 평균은 Llama3.1-8B, Qwen2.5-1.5B, Qwen3-1.7B, Qwen3-4B에서 공식 Instruct보다 낮았다. 강화학습(RL)은 후속 과제로 두었고, 긴 CoT를 짧게 압축하는 실험은 계산 자원 제약으로 미뤘다고 적었다.
  29. 1281Research Agents

    Dolphin: Moving Towards Closed-loop Auto-research through Thinking, Practice, and Feedback

    • 문제: 자동 연구에서 AI가 만든 아이디어의 효과를 제대로 평가하기 어렵다. 기존 연구 대부분은 사람이나 LLM이 아이디어 품질을 매기는 데 그쳤고, AI-Scientist는 실험을 하더라도 직접 만든 단순한 dataset을 써서 같은 분야의 기존 방법과 비교하기 어려웠다. 아이디어 생성을 다룬 기존 연구에는 실험 결과를 다음 아이디어 생성에 되돌려 주는 feedback 장치도 없었다.
    • 입력과 출력: 이 논문은 구현과 실험을 갖춘 system 논문이다. DOLPHIN은 연구 주제(예: 3D classification)와 reference code를 받아 관련 논문의 제목과 초록을 읽고 아이디어를 낸 뒤, 실험 계획에 맞게 code를 고쳐 실험하고, 성능을 올린 아이디어를 다음 loop의 아이디어 생성 prompt에 넣는다.
    • 방법: LLM이 주제의 task attribute(모델 입력, 출력 등)를 뽑고 논문 검색 서비스 Semantic Scholar에서 찾은 논문을 1점에서 10점으로 매겨 관련 논문만 남긴다. 아이디어는 idea bank와의 최대 cosine similarity가 0.8 threshold를 넘으면 중복으로 버리고 LLM novelty check를 거치며, 실행 오류가 나면 traceback에서 직접 쓴 code의 함수 이름, 줄, code를 뽑아 local code structure를 만든 뒤 고친다. 실험 결과는 reference code 대비 개선, 유지, 하락으로 나누고, 성능을 올리지 못한 아이디어와 비슷한 아이디어는 다음 loop에서 걸러 낸다.
    • 구현: 아이디어 생성과 결과 분석에는 gpt-4o-2024-08-06, code 수정과 debugging에는 ollama로 실행한 deepseek-v2.5를 썼고, LLM 호출에는 aider를 썼다. 검색하는 논문 수는 총 50편, 아이디어는 loop마다 20개, debugging은 최대 5번이다. README와 파일 목록 기준으로 GitHub 저장소(InternScience/Dolphin)에는 launch_dolphin 실행 script, dolphin_utils, 예제와 문서가 있고, 세 분류 과제의 data는 Google Drive 링크로 받는다.
    • 결과: 과제마다 두 loop(아이디어 40개)를 실험한 결과, 가장 좋은 아이디어는 ModelNet40의 OA(overall accuracy, 전체 정확도)를 저자들이 직접 구현한 baseline PointNet의 91.0%에서 93.9%로, CIFAR-100 정확도를 81.2%에서 82.0%로, SST-2 정확도를 91.0%에서 92.5%로 올렸고, ModelNet40 결과는 사람이 설계한 GPSFormer의 93.8%와 비슷했다. Kaggle 대회로 만든 MLE-bench의 insult detection 과제에서는 AIDE(code 생성 framework)가 만든 code를 81.0에서 84.7로 높였다. loop별 분석에서는 성공적으로 실행된 아이디어 가운데 성능을 올린 비율이 Loop 1의 2/7에서 Loop 3의 4/8로 올랐다.
    • 한계: 저자들은 LLM이 학습 data에서 얻은 지식 때문에 아이디어 생성에서 knowledge leakage가 생길 수 있고, 아이디어 생성에 제목과 초록만 써서 논문의 기술 세부를 놓칠 수 있다고 밝혔다. 지금 LLM의 code 능력으로는 project 수준 code를 다루기 어려워 복잡한 과제는 아직 검증하지 못한다. 3D 비교는 pre-training과 voting을 뺀 조건이고, 실험은 point cloud, 이미지, 문장의 세 분류 과제와 MLE-bench의 세 과제에 걸쳐 있다.
  30. 1280Research Agents

    IdeaScientist: Orchestrating Agents for Grounded Scientific Ideation

    • 문제: 기존 연구 자동화 시스템은 해법 제안과 구현, 실험, 논문 작성을 한 흐름으로 묶어서, 좋은 결과가 좋은 아이디어에서 왔는지 좋은 실행에서 왔는지 가려내기 어려웠다. 연구 제안서는 기계로 확인할 reward가 없어 학습이 어렵고, 제안서 전체에 rubric 점수 하나만 주면 credit assignment(어느 단계가 점수에 기여했는지 가리는 일)가 약하고 reward hacking을 부르기 쉽다.
    • 입력과 출력: 이 논문은 연구 아이디어를 내는 agent 시스템이다. 입력은 문제 정의(과제의 입력과 원하는 출력)와 기존 해법의 약점으로 남은 challenge이고, 출력은 문제 정의, 핵심 novelty, 관련 연구, 방법, 평가 계획, 반증 가능한 예측, 한계를 정해진 schema로 채운 연구 제안서다. 제안서는 측정 결과 없이 쓰고, 선행 연구 인용은 database id로 본문에 단다.
    • 방법: orchestrator가 연구 계획을 관리하며 세 sub-agent를 부르고, gap finder는 가까운 선행 연구의 공통 한계를 찾고, innovator는 다른 분야에서 비슷한 challenge를 푼 mechanism을 가져와 맞추고, report writer는 그 intuition을 완성된 제안서로 쓴다. 각 역할은 사람 논문에서 복원한 참조 산출물을 기준으로 asynchronous GRPO(Group Relative Policy Optimization, 같은 문제에서 나온 여러 rollout의 reward를 서로 비교해 학습하는 RL 방법)로 따로 학습한다. reward는 구조, 과제 준수, 인용, tool 사용 검사로 된 validity gate를 통과한 rubric 점수(참조 없이 매긴 품질 점수, 참조와의 일치 점수, 인용 목록 겹침을 재는 citation F1의 평균)에 0.85, 규칙 준수 항목에 0.15의 가중치를 준다.
    • 구현: Svalbard Idea Vault는 1986년부터 2026년 6월 18일까지의 arXiv 전 분야 논문에, 2026년 1월 1일 이후 논문의 참고문헌을 한 단계 따라가 찾은 누락 논문을 더한 4.7 million편(전문 확보 2.8 million편, 60%)이고, 이를 (문제 정의, challenge, research gap, intuition, 제안서) tuple 2.77 million건으로 분해했다. 2026년 1월 1일 이후 나온 ML 방법론 논문 14,977편을 학습 14,500편, 검증 200편, 시험 277편으로 나눴고, Qwen3.6-27B 위에 역할마다 LoRA(Low-Rank Adaptation, 원래 가중치는 두고 작은 adapter만 학습하는 fine-tuning 방법) adapter를 학습했다. README 기준으로 GitHub 저장소에는 ideation harness, vault 생성 코드, RL reward, 평가 코드가 있고, vault와 학습, 검증, 시험 분할은 Hugging Face dataset에 있으며, ablation 실험, 사람 평가, LaTeX 표 생성 코드는 빠져 있다.
    • 결과: 시험 논문 277편을 Qwen3.6-27B judge로 채점한 overall 점수(novelty 평균과 제안서 품질 평균의 평균)에서, Qwen3.6-27B 위의 IdeaScientist-Trained는 74.6%로 같은 backbone의 open-source baseline 가운데 가장 높은 DeepScientist(60.6%)보다 14.0% 높았고, 범용 agent인 Claude-4.8-Opus 기반 Claude Code(68.7%)보다 5.9%, GPT-5.4 기반 Codex(69.5%)보다 5.1% 높았다. 역할별 검증용 held-out reward는 gap finder가 56.6%에서 66.7%, innovator가 58.8%에서 69.5%, report writer가 78.6%에서 89.1%로 올랐다. IdeaScientist-Base의 이득은 주로 novelty에서 나왔고, 평균 novelty에서 같은 backbone의 가장 강한 baseline과의 차이는 Qwen3.6-27B에서 가장 큰 23.1%였다.
    • 한계: 평가는 실험 전 단계에서 cutoff 이후 사람 논문 방향과의 일치를 LLM judge가 재는 방식이고, judge 검증에 쓴 제안서 50개에서 사람 전문가 두 명의 점수 사이 Pearson 상관은 r = 0.56이었다. blind pairwise 사람 평가 50편에서 DeepScientist는 IdeaScientist-Trained의 유의한 우위에서 유일한 예외였고, IdeaScientist-Base보다 더 자주 이긴 차이도 통계적 유의성이 없었다. 학습과 시험 논문은 ML 방법론 논문으로 한정했고, 모델 5개에 cutoff 이후 논문 10편의 제목만 주는 검사에서 기억 흔적이 없었지만 저자들은 parameter에 남은 기억에 따른 오염 가능성을 사후 평가의 한계로 밝혔다.

연구에서 제품 적용까지

운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.

보유기술 보기