연구자료실
설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.
연구자료 검색
새 논문 요약
요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.
- 1218Research Agents
MLE-STAR: Machine Learning Engineering Agent via Search and Targeted Refinement
- 문제: 기존 MLE(머신러닝 엔지니어링) agent는 LLM이 이미 아는 지식에 기대어 scikit-learn 같은 익숙한 방법으로 쏠리고, 텍스트 분류 대회에도 logistic regression을 제안하는 식으로 과제에 맞는 최신 모델을 놓쳤다. 또 매 반복마다 코드 전체를 한 번에 고쳐서, feature engineering 같은 한 component를 깊게 탐색하기 전에 다른 단계로 넘어갔다.
- 입력과 출력: 이 논문은 Kaggle식 ML 과제를 푸는 agent 시스템이다. 입력은 과제 유형, 데이터 형태, 평가 지표를 담은 과제 설명과 여러 파일로 된 데이터셋이고, 출력은 모델을 학습하고 hold-out 검증 점수를 출력하는 단일 Python 스크립트다. 마지막에 별도 agent가 이 스크립트에 test 데이터 로딩과 submission 파일 생성을 붙인다.
- 방법: retriever agent가 먼저 Google Search로 과제에 맞는 모델과 예제 코드를 찾고, 모델마다 간단한 스크립트를 만든 뒤 검증 점수가 좋은 순서로 합쳐 초기 해법을 만든다. outer loop마다 ablation study 스크립트로 성능에 가장 크게 영향을 준 code block을 고르고, inner loop에서 planner가 이전 시도 점수를 보며 그 block만 고치는 계획을 여러 번 내 가장 좋은 것을 남긴다. 병렬로 만든 해법들은 agent가 스스로 제안하고 다듬는 ensemble 전략으로 합치고, debugging agent, data leakage checker, data usage checker가 실행 오류, test 정보 누출, 데이터 누락을 고친다.
- 구현: 기본 LLM은 Gemini-2.0-Flash이고 Gemini-2.5-Pro와 Claude-Sonnet-4로도 실험했으며, 모델 검색 4개, inner loop 4번, outer loop 4번, 병렬 해법 2개, ensemble 탐색 5라운드에 과제당 24시간 제한을 뒀다. 96 vCPU, 360 GB 메모리, 16 GB V100 GPU 8장에서 해법 하나에 평균 14.1시간이 걸렸고 AIDE는 15.4시간이었다. 부록은 retriever 출력, ablation 코드, 최종 해법 코드 같은 예시 산출물을 저자 GitHub 저장소에 두었다고 적었다.
- 결과: MLE-bench Lite 22개 대회(seed 3개)에서 Gemini-2.5-Pro를 쓴 MLE-STAR는 63.6%의 대회에서 메달을 땄고 금메달 비율은 36.4%였다. 같은 Gemini-2.0-Flash에서 메달 비율은 AIDE의 25.8%에서 43.9%로, 중앙값 이상 비율은 39.4%에서 63.6%로 올랐다. 같은 조건에서 ensemble 없이 37.9%이던 메달 비율은 제안한 ensemble로 43.9%가 됐고, 금메달 비율은 단순 평균 ensemble의 25.8%보다 높은 30.3%였다.
- 한계: Kaggle 대회가 공개돼 있어 LLM이 관련 토론 글을 학습했을 위험이 있고, 저자들은 7개 대회의 상위 토론 글 25개와 최종 해법을 짝지은 75쌍을 Gemini-2.5-Pro judge가 모두 새롭다고 판정한 결과를 근거로 들었다. 평가는 MLE-bench 75개 대회 가운데 난이도가 낮은 Lite 22개에서 했고, Claude-Sonnet-4 실험과 DS-Agent 비교는 각각 과제 4개로 범위가 좁다. AIDE의 o1-preview와 GPT-4o 결과는 MLE-bench 저장소에서 가져온 값이며 seed 수가 16개와 36개로 MLE-STAR의 3개와 다르다.
- 1217Research Agents
MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback
- 문제: 자연과학의 wet-lab 실험은 비싸고 처리량이 적어 어떤 가설을 먼저 시험할지가 중요하지만, 기존 가설 순위 방법은 실험 결과 없이 LLM 내부 추론만으로 순위를 매긴다. 앞선 실험 결과를 반영하는 순위 전략은 실제 실험을 반복해야 해서 개발하고 평가하기 어려웠다.
- 입력과 출력: 새 과제, simulator, 정책을 함께 낸 방법 논문이다. 정책은 연구 질문 하나와 후보 가설 64개(정답 가설 1개와 MOOSE-Chem이 만든 가설 63개)를 받아 한 번에 가설 하나씩 골라 시험하고, 평가는 정답 가설을 찾을 때까지 든 시험 횟수로 한다. simulator는 연구 질문, 후보 가설, 정책에게 숨긴 정답 가설을 받아 0에서 1 사이의 성능 점수를 낸다.
- 방법: CSX-Sim은 LLM으로 정답 가설과 후보 가설을 핵심 기능 요소와 작동 원리로 나누고, 요소별 중요도와 꼭 있어야 하는 critical 요소를 정한 뒤 요소별 원리 유사도의 가중합을 점수로 사용하며, critical 요소가 하나라도 빠진 후보는 0점이 된다. CSX-Rank는 frozen LLM의 context 안에서 배우는 ICRL(in-context reinforcement learning) 정책이다. 기능 요소를 effective, uncertain, ineffective로 분류해 ineffective는 버리고 나머지를 기능별 cluster로 나눈 뒤, 유망한 cluster에서 가설을 골라 시험하고 결과 분석을 누적 요약에 더한다.
- 구현: 모든 실험은 GPT-4o-mini로 했다. simulator 검증용으로 문헌에서 연구 질문 30개와 실제 실험 결과가 보고된 가설 124개(질문당 3개에서 6개)를 모았고, 시뮬레이션 결과는 세 번 돌린 평균이다. 순위 실험은 TOMATO-chem의 문제 51개에서 했고, 공식 저장소에는 Data, Method, Simulator 폴더와 문제별 순위, ablation, simulator 검증 실행 스크립트가 있다.
- 결과: simulator 검증에서 CSX-Sim은 Spearman 상관 0.960, 완전 일치 질문 26/30, RMSE 0.213으로 Matched Score baseline(0.843, 12/30, 0.232)보다 나았다. 정답 가설을 찾는 데 든 평균 시험 횟수는 CSX-Rank가 15.196번으로, 무작위 탐색 32.500번, 실험 전 순위 28.608번, clustering을 뺀 버전 27.980번보다 적었다. 가장 복잡한 noise 조건에서도 CSX-Rank는 32.706번으로 ablation 버전의 36.471번, 40.451번보다 적었고, 후보를 128개로 늘리면 30.7번이 들었다.
- 한계: simulator 점수는 실제 실험 결과와 오차가 있고, 정답 가설이 주변에서 가장 좋다는 가정(A1)도 대체로 맞을 뿐 정답보다 성능이 높은 가설이 있을 수 있다고 저자가 밝혔다. 순위 정책 평가는 모두 simulator 피드백으로 했으며, noise가 복잡해질수록 필요한 시험 횟수가 늘었다. 저자는 문헌 기반 데이터셋과 simulator 가정에서 생길 수 있는 편향도 짚었다.
- 1216AI Agents
AI Agents vs. Agentic AI: A Conceptual Taxonomy, Applications and Challenges
- 문제: 저자들은 기존 survey가 AI Agent와 Agentic AI를 지능형 agent라는 한 이름 아래 섞어 써서 개념이 모호해지고 시스템 설계가 어긋난다고 보았다. 구분이 흐리면 agent 협업이 필요한 일은 덜 설계하고 단일 agent로 풀 일은 과하게 설계하게 된다고 밝혔다.
- 조사 범위: 이 논문은 문헌을 모아 정리한 review(survey)다. Google Scholar, IEEE Xplore, arXiv 같은 학술 DB와 ChatGPT, Perplexity.ai, Grok 같은 AI 검색 도구를 합쳐 열두 곳에서 AI Agents, Agentic AI 같은 검색어로 문헌을 찾았다. 포함 기준은 새로움, 실증 평가, 구조 기여, 인용 영향이다.
- 분류: AI Agent는 LLM과 LIM(Large Image Model, CLIP 같은 이미지 모델)으로 tool을 불러 좁은 과제를 수행하는 단일 시스템이며, 자율성, 과제 특화, 반응성 세 특성으로 정의했다. Agentic AI는 여러 전문 agent가 목표를 나눠 맡고 통신하며 persistent memory와 orchestrator(meta-agent)로 조율되는 시스템으로 정의했다. 비교표(Table 1부터 Table 9)는 Generative AI를 기준으로 두 유형을 대조하고, Generative Agent를 추론한 네 번째 유형으로 더했다.
- 적용 사례: AI Agent 쪽은 고객 지원과 사내 검색, 이메일 분류, 개인화 추천과 기본 보고, 일정 관리 비서 네 영역을 다뤘다. Agentic AI 쪽은 다중 agent 연구 보조, 로봇 협업, 의료 의사결정 지원, 게임 AI와 workflow 자동화 네 영역을 다뤘다. Table 10과 Table 11에는 2023년부터 2025년까지의 대표 AI Agent와 Agentic AI 시스템을 응용 분야와 동작 방식으로 정리했다.
- 과제와 해법: AI Agent의 핵심 한계로 인과 추론 부족, LLM에서 물려받은 hallucination과 얕은 추론, 불완전한 agent 속성(자율성, 능동성), 긴 계획과 복구 실패 네 가지를 꼽았다. Agentic AI에는 agent 사이 오류 전파, 조율 실패, emergent behavior(agent 상호작용에서 생기는 예상 밖 행동)의 불안정, 확장 한계, 설명 어려움을 포함한 여덟 가지 병목을 들었다. 해법으로 RAG, function calling, ReAct loop, memory 구조, 역할 기반 orchestration, 인과 모델링을 포함한 열 가지 설계 전략을 제시했다.
- 한계: 저자들은 agent benchmark가 인공 환경에 기대고 Agentic AI 개발이 엄밀한 실증 검증보다 구조의 새로움을 앞세운다는 비판을 직접 소개했다. 이 논문의 근거는 문헌과 개념 비교이며, 적용 영역의 자세한 예시는 가상 시나리오로 그렸다. 의료 의사결정 지원은 실제 구현이 아직 부족하다고 저자들이 밝혔다.
- 1215Agents / Memory
Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries
- 빌더 에이전트가 날문서를 합성 파일과 참조 링크의 계층 파일시스템으로 바꾸는 Librarian Agents 틀을 만들었다.
- 파일시스템 작업 공간 구성을 MDP로 정식화하고 강화학습으로 빌더 정책을 직접 최적화해 답변 정확도를 높였다.
- BrowseComp-Plus에서 가장 강한 기준보다 평균 33 percentage points 앞섰고 Gemini 3.1 Flash Lite 답변 에이전트로 0.77 정확도를 얻었다.
- 학습하지 않은 BRIGHT 도메인에서도 제로샷으로 pass@1 52%, pass@3 67%를 기록했다.
- 작업 공간 구축 비용은 반복 질문으로 나누어 회수되며, 재사용 평가에서 정확도 0.64 대 기본 빌더 0.24를 보였다.
- 한계로 압축이 바늘찾기 질문에 필요한 세부 사실을 잃을 수 있어서, 원문 참조 링크를 남겨 대비한다고 밝혔다.
- 1214Reasoning / RL
X-RIC: An Agentic RAN-Intelligent Controller Benchmark for Enhancing Reinforcement Learning
- O-RAN 아키텍처에 에이전틱 인공지능을 통합한 eXplainable RIC, 즉 X-RIC 틀을 제안했다.
- BARX 평가 틀이 지연, 규격 준수, 결정성, 정책 효과의 네 축으로 폐쇄 고리 제어 속 에이전틱 추론 후보를 평가했다.
- 전신 언어 모델 TLM은 LLaMA3-8B에 256차원 RAN 상태 인코더를 얹어 망 텔레메트리를 이해하게 만들었다.
- SLA 인식 네트워크 슬라이싱에서 운영 비용 89% 감소, 수렴 75% 가속, 학습 단계 50% 감소, 분산 46% 감소를 달성했다.
- 미세조정하지 않은 LLM 정책은 환각으로 자원 제약을 어겨 비용을 90.3% 늘렸다고 보고했다.
- OpenAirInterface 실제 테스트베드에서 X-RIC500이 eMBB 17 Mbps, URLLC 5 ms 마진을 유지했다.
- 1213Robotics
CarryOn: A Dual-Loop Harness for Personalized and Reliable Robot Assistance
- 고정된 VLA 정책을 보강하는 두 고리 구조의 하니스 CarryOn을 만들었다.
- 계획 고리가 사용자 선호와 장면 기억을 유지하고 대화와 관찰로 갱신해 개인 맞춤 하위 임무를 골라 주었다.
- 실행 고리가 예측된 위험 접촉에서 동작을 걸러 안전망을 쳤다.
- 실패 뒤 반사적 복구 기술이 작업 상태를 되살리고, 오프라인 성찰이 복구 기술을 다듬었다.
- LIBERO-Safety 900 에피소드에서 규칙 위반율을 52.6%에서 6.1%로 낮췄다.
- 12 cm 물체 이동 시련에서 순수 VLA가 26/200을 성공한 데 대해 다듬은 기술 재사용 시 160/200으로 올랐다.
- 1212Research Agents
MolHop: Scaffold-Hopping Molecular Design with Agentic Reinforcement Learning
- Enamine 상업 분자 라이브러리에서 약 1.6M 개의 스캐폴드를 뽑아 H1 에서 H7 까지 굵고 곱게 계층을 나눈 행동 공간을 만들었다.
- 에이전트가 스캐폴드 탐색, 분자 편집, 실행 취소를 같은 흐름 안에서 고르고, 환경이 궤적 기억을 구조화된 상태로 관리해 긴 탐색을 지원하게 했다.
- 훈련 없이 Grok-4.6 을 MolHop 에 연결하자 약물 과제 joint@H1 이 41.0%에서 64.0%로, 상업 화합물 과제가 36.5%에서 69.0%로 올랐다.
- SFT 후 GRPO 로 학습한 MolHop-9B 는 약물 데이터셋 joint@H1 55.5%, 상업 데이터셋 73.5% 로 GPT-5.6-sol, Claude-5-Opus, Gemini-3.1-Pro 를 모두 이겼다.
- MolHop-9B 가 낸 후보의 스캐폴드 Tanimoto 중앙값은 0.123 과 0.115 로, 기준 모델들보다 더 큰 구조 차이를 보였다.
- 스캐폴드 라이브러리나 궤적 기억을 빼면 성능이 크게 떨어져, 계층적 탐색 공간과 기억이 긴 탐색의 핵심임을 확인했다.
- 1211RAG / Agents
Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
- 모델이 추론, 검색 질의 생성, 번역을 한 흐름 안에서 선택하는 정책으로 배우게 했다.
- 최종 번역 품질을 보상으로 GRPO 로 학습해서 어떤 입력에서 검색할지 스스로 판단하게 했다.
- 검색기를 번역 품질에 맞추기 위해 Plackett–Luce 공동 최적화와 번역 품질 대조 학습 두 가지 방법을 만들었다.
- IdiomKB Zh→En 에서 SRAT 는 I5 0.731, MQM -2.74 로 가장 강한 기준 방법들을 이겼다.
- RAGtrans 에서 대조 학습이 검색 정확도를 En→Zh 56.3%에서 70.7%로, En→De 72.6%에서 81.4%로 올렸다.
- Claude Sonnet 4.6 을 얼린 검은 상자 번역기와 함께 쓸 때 SRAT-Claude 는 RAGtrans En→De MQM 을 직접 번역 대비 16.8% 개선했다.
- 1210Memory / Agents
Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory
- 메모리를 두 축으로 정리했다. 축 I 은 경험을 어떤 표현으로 남기는지, 축 II 는 메모리 상태와 관리 정책이 운영 중에 어떻게 바뀌는지를 다룬다.
- 관리 축을 세 층으로 나눴다. T1 은 고정 메모리 재사용, T2 는 안정 정책으로 메모리 갱신, T3 은 피드백으로 관리 정책 자체를 진화시킨다.
- 297 개 아키텍처 분석 결과 T2 동적 메모리가 204 개(68.7%)로 가장 많았고 T3 자기진화 메모리는 17 개(5.7%)에 불과했다.
- 하이브리드 표현이 139 개(46.8%)로 가장 큰 범주였고, 명시적 기록과 원본 증거를 함께 두는 설계가 널리 쓰였다.
- T3 자기진화 메모리 17 개 중 13 개가 명시적 표현 기반이었고, 잠재·파라미터만 쓰는 시스템은 정책 진화 사례가 없었다.
- 82 개 벤치마크 분석에서 교차모달 증거와 장거리 증거는 잘 평가되지만, 충돌 기억 처리와 기억이 없을 때 답 거부는 7 개와 10 개만 직접 평가했다.
- 1209AI / Agents
Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery
- Autonomous Science Bench는 생물·화학·소재의 공개 실험에 기반한 예산제 design-build-test-learn 캠페인 6개로 구성된 자율과학 벤치마크다.
- 에이전트가 설계 묶음을 선택하고 측정값을 받아 다음 실험을 안내한 뒤 예측 모델을 내는 능동 실험 루프를 평가한다.
- 8개 구성 144 시험 파일럿에서 최고 구성은 67% 성공, 가장 어려운 캠페인은 24회 중 3회만 해결됐다.
- 예산은 후보 풀의 최대 11%만 덮하도록 설계되어 균등 탐사만으로는 통과할 수 없다.
- Opus 5.5 in Claude Code가 67%로 최고였고 GPT-5.6 Terra와 GPT-5.6 Luna가 44%와 28%로 뒤를 이었다.
- 1208Agents / Memory
Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents
- Bemula는 LLM 에이전트 장기 기억의 언러닝, 곧 사용자가 요청한 기억만 지우는 능력을 전용 평가하는 최초의 벤치마크다.
- 요청된 사실의 삭제와 요청되지 않은 기억의 보존을 동시에 재는 과제 구성을 갖추었다.
- 평가한 모든 시스템·백본에서 종단 간 잊기 요청 통과율이 1.5%를 넘지 못했고 대부분 통과가 없었다.
- LLM 심판에 대한 100개 표본 사람 검증에서 98% 일치를 확인해 평가 신뢰성을 지지했다.
- 1207Robotics
Agentic Robot Creation through Generation, Verification, and Revision
- RoboForge는 몸체 설계와 행동 생성 양면을 다루는 에이전트 프레임워크로 참조 동작 생성과 정책 학습, 실행 기반 수정을 이어붙였다.
- 롤아웃 피드백이 참조 동작과 보상을 되돌아가 고치는 루프를 유지해 실행에서 드러난 실패를 반영한다.
- 제작 전 설계를 평가하는 계산 지표가 생성 설계의 반복되는 기계적 결함을 드러냈다.
- Eureka식 보상만 다듬는 기준 대비 전체 평점을 2.10에서 3.97로 올려 구조화된 동작 안내의 가치를 보였다.
- 에이전트가 설계한 고릴라 로봇을 실제 제작해 학습된 행동을 물리 로봇에 직접 배포했다.
- 1206Research
A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization
- 저자들은 합성 함수, 하이퍼파라미터 최적화, 데이터베이스 튜닝, 칩 설계, 분자 설계를 아우르는 통일 예산 규칙의 벤치마크 AgenticBBO-Bench 를 만들었다.
- 에이전트 방식은 직접 방식보다 다섯 분야 모두에서 좋았고 평균 상대 향상은 30.3%, BBOB 에서는 0.460 에서 0.661 으로 올랐다.
- GP 기반 수치 도구를 추가해도 성능이 일관되게 오르지 않아 기본 Agentic 평균 0.589 이 + GP Suggest 0.574 와 + GP Tools 0.538 보다 높았다.
- 과제와 변수의 의미 정보는 평균 점수를 0.465 에서 0.595 로 올렸지만 더 구체적인 사전 지식은 신뢰성이 떨어졌다.
- 에이전트 예열 뒤 TuRBO 로 검색을 넘기면 0.570 으로 계속 에이전트로 돌린 경우와 비슷했고 초기 관측에서 시작한 TuRBO 의 0.475 보다 분명히 좋았다.
- 프론티어 과제에서 GPT-6 Astra 가 평균 0.591 로 가장 높고 DeepSeek V4.1 Flash 가 0.584 로 뒤를 따랐지만 모든 영역을 다 이긴 모델은 없었다.
- 1205Research Agents
EvoAlloc: A Self-Evolving Resource Allocation Agent for Efficient Program Evolution
- 프로그램 진화에서 평가는 계산 비용이 커서, 유망한 후보에 제한된 자원을 배분하는 일이 탐색의 중심 결정이었다.
- EvoAlloc 은 이전 탐색과 배분 결과를 재사용 경험으로 주기적으로 정리해 이후 전략 수정에 반영했다.
- 반사실 탐사 장치로 배분에서 버려진 후보를 가끔 직접 평가해 숨은 결과를 드러내고 경험을 보강했다.
- 코딩과 에이전트 하네스 최적화 벤치마크에서 EvoAlloc 은 기준 성능 도달에 전체 평가 59–82%, LLM 토큰 61–89% 를 덜 썼고 같은 예산에서 최종 성능은 8.7–12.0% 더 높았다.
- 같은 전체 평가 예산과 시드에서 EvoAlloc 은 ADAS-AIME 에서 124 개 제안을 검토해 ShinkaEvolve 의 75 개보다 탐색을 넓혔다.
- 탐사율을 바꿔 본 실험에서 최종 성능은 비슷했지만 기준 성능 도달 토큰은 크게 달라졌고 ρ = 0.3 이 가장 효율적이었다.
- 1204Robotics
From Solo to Ensemble: A Hierarchical Framework for Composable Multi-Agent Human-Object Interaction
- 여러 휴머노이드가 같은 물건을 다루는 조정 문제는 접촉 위치, 움직임 방향, 힘 가하는 방법을 함께 맞춰야 해서 어려웠다.
- 저자들은 한 사람용 상호작용 지식을 재사용 가능한 Object-oriented Motion Skill 로 바꾸는 증류 기반 계층 학습 틀을 만들었다.
- 하위 과제에서 증류된 기술은 고정된 실행기로 재사용되고, 상위 정책은 공유 물체와 과제 목표를 보고 지역별 물체 동작을 만들어 냈다.
- 운반 과제에서 이 방법은 4인 H-box 운반에서 성공률 85.63 을 기록해 CooHOI 의 80.96 보다 높았다.
- 증류 원천이 1인 운반뿐임에도 기술은 상위 정책만 바꿔 2인 및 4인 소파 밀기를 지원했다.
- 기술 단독 평가에서 교사 롤아웃 목표의 위치 오차는 Epos 79.8 (mm), 도달률은 TTR 100.0, 궤적 성공률은 Succtraj 98.9 였다.
- 1203Robotics
SpatialHarness: Test-Time Spatial Scaffolding for Fine Robotic Manipulation
- SpatialHarness는 실제 실행과 동기화되는 온라인 시뮬레이션 장면을 유지하고 과제에 중요한 공간 관계를 식별해 보완 가상 시점을 렌더링한다.
- 정책 미세조정이나 물리 센싱 구성 변경 없이 얼린 멀티모달 정책에 공간 정보를 공급한다.
- 같은 얼린 GPT-6 Astra 정책에서 플러그 삽입 성공률을 26.7%에서 66.7%로, 하노이탑을 0%에서 100%로 올렸다.
- 평균 성공률은 18.33%에서 83.33%로 65.00포인트 개선되었다.
- 1202AI / Agents
Agentic-TTT: Training test-time policy for test-time training
- Agentic-TTT는 TTT 절차를 호출 가능한 도구로 만들고 축적된 기술을 진화하는 배포 환경으로 다루는 테스트타임 정책을 강화학습으로 훈련한다.
- 컴퓨트 페널티가 0에서 0.4로 커질 때 직접 답변 비중은 11.8%에서 39.8%로 단조 증가하고 적응 컴퓨트는 35.5% 감소했다.
- 중간 페널티(0.1, 0.2)는 컴퓨트를 약 30% 줄이면서 페널티 없음보다 높은 평균 효용을 내는 유리한 균형을 보였다.
- 도구 가중치를 1에서 4로 올리면 최종 효용이 0.046 개선되고 무효 행동률이 4.08%에서 1.72%로 낮아졌다.
- 1201AI / Agents
SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning
- SynCo는 독립 파라미터를 가진 합성기와 추론기를 다중 에이전트 강화학습으로 공동 최적화하는 데이터 합성 공동 훈련 프레임워크다.
- 합성기가 추론기의 진화하는 능력에서 훈련 과제를 만들어, 정적 데이터셋에서 벌어지는 능력-경험 불일치를 해소했다.
- 수학 추론에서 SYNCO는 78.72%에 도달해 최강 외부 기준선보다 3.76포인트, 고정 합성기보다 2.87포인트 앞섰다.
- 훈련 후반으로 갈수록 그래디언트를 주는 과제 비중은 31.3%에서 9.5%로 줄고 전부 정답인 과제는 34.4%에서 59.9%로 늘었다.
- 검증된 2,940개 과제 중 16.2%만 비퇴화 피드백을 주며, 가르침 가능성은 이 속성과 상관 0.934, 새로움과는 -0.041로 무관했다.
- 1200Machine Learning
DataSense-Bench: The First Step Toward an AI Scientist
- 에이전트는 후보 데이터를 다섯 개의 겹치지 않는 묶음으로 나누고 첫 묶음이 가장 강하도록 순위를 매겨 제출했다.
- 벤치마크는 에이전트가 예측한 첫 순위 묶음으로 학습한 Qwen3-4B의 성능을 표준화된 절차로 평가했다.
- BFCL에서 여섯 에이전트의 첫 묶음은 모두 무작위 선택보다 높았지만 이득은 0.35에서 1.78 % 포인트에 그쳤다.
- TBLite에서는 열 에이전트 중 둘이 무작위 선택보다 낮았고 가장 앞선 에이전트도 0.99 포인트만 앞섰다.
- 순위 예측 능력은 과제마다 일관되지 않았다. GPT-6 Astra는 BFCL 세 실행 모두에서 최고 묶음을 찾았지만 TBLite 세 실행 중 하나에서만 찾았다.
- 같은 에이전트의 독립 실행 세 번 사이에도 선택 규칙 자체가 바뀌는 등 선택 전략이 불안정했다.
- 1199AI / Agents
Narrow and Deep: An Ontology Tower as the Knowledge of an LLM Agent for an Industrial Equipment System
- 저자들은 하나의 장비 시스템을 위한 온톨로지 타워를 제안했다. 이 타워는 측정점에 물리 관계로 유도된 양과 운전 일지에서 가져온 교훈을 더해 깊어진다.
- 연구 대상 타워는 42개 태그, 34개 가정, 33개 바인딩, 24개 지식 노드, 16개 유도량, 13개 설비 요소를 담는 162개 노드와 217개 간선으로 이루어졌다.
- 사전등록 평가에서 타워의 투영 텍스트는 네 모델의 주요 오답 회피율을 0.605에서 0.802로 올렸다.
- 투영 텍스트를 받은 9-billion-parameter 모델은 이 텍스트 없는 가장 큰 모델보다 높은 점수를 받았다. 점수는 0.737 대 0.672였다.
- 운전 일지에 남겨둔 교훈은 에이전트가 거의 찾아 쓰지 못했고, 타워에 편입하거나 프롬프트에 직접 넣었을 때 쓰였다.
- 실기 실행에서 에이전트는 14회 중 12회 제어 변수를 목표 구간에 넣었고, 모든 셋포인트 변경은 안전 계층을 통해서만 일어났다.
- 1198Software Engineering
Chronos Enables Code Agents to Reason over Software Evolution
- Chronos는 병합된 풀 리퀘스트를 Summary, Signals, Motivation, Solution 네 칸으로 이루어진 경험 카드로 뽑았다.
- 카드 사이를 코드 연속성, 개발자 의도, 조직 관계의 열한 가지 관계형 간선으로 연결한 진화 그래프를 만들었다.
- 의미 검색으로 출발 카드를 찾고 가중치를 준 여러 홉 확장으로 연결된 이력을 더 찾아, 에이전트가 골라 읽게 했다.
- SWE-Bench Verified에서 여섯 개 LLM 백본 모두에서 SWE-Agent를 앞질러 평균 해결률을 69.2%에서 72.9%로 올렸고 MiniMax M2.5에서는 79.8%에 도달했다.
- 같은 백본으로 SWE-Bench Pro에서 48.3%에서 51.7%로, FEA-Bench Lite에서 41.0%에서 43.5%로 해결률을 올렸다.
- 100개 과제 사람 평가에서 그래프 기반 검색은 평균 유용 카드 수를 1.24에서 2.87로, 유용 경험을 받은 과제 비율을 68%에서 89%로 늘렸다.
- 1197Research Agents
OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video
- 화면 속 대상의 위치, 실제 이름, 출처가 있는 웹 사실, 답을 만드는 연산(비교, 계산, 세기 등)의 연결을 VGEG 그래프 하나로 묶어 데이터 생성, 학습 보상, 평가에 함께 썼다.
- 웹 동영상 2.5M개를 70k개로 추리는 데이터 엔진으로 학습 궤적 약 110k개(이미지 36k, 여러 이미지 37k, 동영상 35k)와 강화학습 과제 약 10k개를 만들었다.
- 강화학습 보상에 정답 여부와 검색어 품질 외에, 도구 결과가 필요한 사실을 실제로 뒷받침했는지(근거 추적)와 맞는 대상과 장면을 찾아 썼는지(시각 근거)를 따로 매기는 EVGR을 더했다.
- OneSearch-VL-8B는 같은 크기 Qwen3-VL-8B 에이전트보다 OneSearch-MI-Bench에서 20.2점, OneSearch-Video-Bench에서 17.6점, VideoDR에서 27.0점 높았고, 이미지 벤치마크 평균은 58.3으로 OpenSearch-VL-8B보다 1.7점 높았다.
- 세 가지 입력을 함께 학습한 SFT 모델은 벤치마크 평균 55.8로 한 종류만 학습한 경우(51.7~55.1)보다 높았고, EVGR 보상은 평균을 57.3에서 61.1로 올렸다.
- 저자는 외부 검색 도구와 바뀌는 웹페이지 때문에 결과를 똑같이 재현하기 어렵고, 자동으로 만든 VGEG와 모델 판정 보상에 주석 오류나 판정 편향이 섞일 수 있다고 밝혔다.
- 1196Agents
Who Verifies the Verifier? Co-Evolving Inspectable Graders with Self-Improving Agents
- 검증기를 정적 검사, 실행 검사, 좁은 LLM 질문으로 된 작은 결함 검사기의 조합식으로 만들고, 실패 사례를 묶어 새 검사기를 만들고 쓸모없는 검사기는 빼는 방식으로 진화시켰다.
- MBPP+에서 진화한 검증기의 보류 평가 일치도는 사람이 짠 처음 조합의 0.417에서 0.625로 올랐고, 그 안에 든 단순 LLM 판정기(0.55)보다도 높았다.
- 기준 예시를 지키는 두 장치를 끄자 검증기는 채점한 답의 0.97~1.00을 통과시키는 빈 채점기로 무너졌는데, 이 검증기로 학습한 스킬의 과제 점수는 정상 검증기와 비슷하게 나왔다.
- 검증기와 스킬 루프를 함께 돌린 Double Ratchet은 정답 채점을 쓴 같은 루프가 얻은 향상의 106%(MBPP+), 110%(Spider 2.0), 88%(보고서 생성)를 지켰다.
- 보고서 생성 과제에서 스킬이 채점 기준의 빈틈을 이용해 숫자 대신 태그만 쓰자 외부 판정 모델이 이를 잡았고, 검사기 하나를 더해 값 없는 태그를 약 30%에서 약 1%로 줄였다.
- MBPP+의 향상은 시드 3개 모두 같은 방향이었지만 과제 단위 검정의 p 값은 0.12에 머물렀고, 실험 범위는 과제 3종과 Claude 모델 한 계열이다.
- 1195Agents
RunningTab: Direct Workspace Interaction with Environment-Side Tabs
- 파일을 읽었지만 최종 결과물에 반영 안 되는 문제를 '환경 쪽 장부'로 해결했다.
- 에이전트는 요구사항을 추가하고, 환경은 읽은 내용의 출처와 아직 안 연 파일 목록을 기록한다.
- 마무리하려 할 때 미해결 요구사항이 있으면 마지막 확인으로 되돌려준다.
- 사전 색인(인덱싱) 없이 터미널로 워크스페이스 파일에 직접 접근하는 방식과 잘 맞물린다.
- 세 벤치마크 × 세 LLM에서 일관된 성능 향상을 보였다.
- 1194Agents
SciExam for ENSO: Can AI Agents Build Climate Models?
- 정답·루브릭·LLM 심사자 없이, 숨겨진 과학 기준(통계·변수 의존성·예측력)으로만 결과를 평가하는 최초 계열의 벤치마크를 만들었다.
- 에이전트가 자기 피드백용 진단 지표를 미리 얼려둬서, 채점 기준을 결과에 맞춰 조작하지 못하게 설계했다.
- 12개 에이전트 중 6개가 발표된 참고 모델보다 높은 점수를 받았고, 강점은 변수 복원과 예측이었다.
- 상위 에이전트의 모델 구조가 엘니뇨 비대칭을 설명하는 두 경쟁 가설 각각과 호환되어, 열린 과학 논쟁에 직접 관련된 결과를 냈다.
- 연도 정보를 가려도 성적이 유지되어 관측 기록 암기가 아님을 확인했다.
- 1193Computer Vision
Towards Physically Grounded Articulated 3D Assets: A Multi-Agent Pipeline and Benchmark
- 설계/코딩/검토 에이전트를 분리해 한 에이전트가 자기 결과를 스스로 평가하는 편향을 줄였다.
- 물리 시뮬레이터 피드백을 검증 단계에 넣어, 충돌 없는 관절 움직임과 중력에 대한 안정성을 생성 단계에서 잡아낸다.
- 기존과 달리 질량·재질 같은 물리 속성까지 함께 만들어 로봇 시뮬레이션에 바로 쓸 수 있는 자산을 목표로 했다.
- 100개 기준 자산 + 50개 안정성 프롬프트 + 50개 실측 질량 객체를 아우르는 통합 벤치마크를 공개했다.
- 1192LLMs / NLP
RSI-Anything: Unlocking Recursive Self-Improvement with World Models
- 세계 모델의 예측이 실제 관찰과 얼마나 맞는지 계속 확인해서, 정책과 세계 모델 중 뭘 업데이트할지 자동으로 판단하게 했다.
- 코드 수리에서 세계 모델 기반 선택과 적응을 더하자 성공률이 26.3% → 29.2% → 31.2%로 단계적으로 올라갔다.
- 화학 반응 최적화에서 40번의 실험 예산으로 평균 최고 수율 96.15%를 달성해 베이지안 최적화(82.16%)를 크게 앞섰다.
- 연구실 실험 계획 점수가 다섯 버전 동안 21.80%에서 46.01%로 두 배 넘게 상승하며 개선이 누적됨을 보였다.
- 면역과학 응용에서 워크플로 진화와 예측 모델을 연결해 치료 가설 생성까지 end-to-end로 시연했다.
- 1191Research Agents
Learning Scientific Exploration from Human Research Decision Trajectories
- 문제 정의: 과학 탐구는 연구 결정과 행동이 이어지는 과정인데, 논문에는 주로 최종 결과가 남아 버린 아이디어, 빠진 실험, 결과를 만든 ablation이 기록에서 사라진다. 합성 환경에서 만든 궤적은 실제 연구자의 결정 방식과 다를 수 있어, 저자들은 공개 GitHub 저장소의 commit 기록을 탐구 과정의 대리 지표로 쓴다.
- commit의 한계: 일상적인 commit 기록에는 구현 수정, 학습 설정 변경, 데이터셋 교체 같은 낮은 수준의 작업이 섞이고, 결정 하나가 여러 commit에 걸치거나 commit 하나에 여러 결정이 담긴다. 599쌍의 commit 평가 117,852건 중 56.6%가 연구 결정과 무관했고, 처리한 논문 약 15K편 중 결정 궤적을 얻은 비율은 약 4%였다.
- 추출 과정: arXiv PDF 본문에서 GitHub 링크를 모은 뒤, README에 논문 제목 전체가 있고 출판 전 commit이 5개 이상이며 첫 commit부터 출판까지 30일 이상인 저장소만 남긴다. GPT-5.6 Sol이 commit을 시간 순서로 읽어 결정을 적고, 인용한 diff 조각이 저장된 patch 안에 글자 그대로 있을 때만 근거로 인정한다. 검증된 결정이 5개 미만인 저장소는 뺀다.
- 데이터 구성: 논문과 저장소 599쌍에서 결정 13,271개를 얻었다. 실험 51%, 방법 39%, ablation 9%이고, 결과는 유지 76.3%, 포기 11.5%, 대체 12.1%다. 궤적당 결정 수는 5개부터 205개, 중앙값 15개이며, 결정 하나에 평균 7.5개의 근거 인용이 붙는다.
- 평가 방법: 결정의 효과를 재는 법은 열린 질문이라, 따로 둔 실제 연구 궤적을 사용자 시뮬레이션으로 삼아 모델이 낸 다음 결정이 실제 결정과 전략적으로 비슷한지 LLM 판정자(GPT-5.6 Sol과 Opus 5)가 본다. 점수는 구성 요소 일치와 작업 일치를 각각 0점부터 2점으로 매겨 더한 0점부터 4점이다. 고정한 기본 예측 100개를 반복해 매긴 Fleiss' Kappa는 0.691부터 0.831이었다.
- 테스트 시점: Gemini 3.1 Flash Lite가 평가 저장소 134개의 앞선 결정 1개부터 3개로 다음 결정을 낸다. 평균으로 retrieval(학습 궤적 19개 중 관련 2개)은 무작위 2개보다 0.196, 전체 19개보다 0.101 높았다. Opus 5가 뽑은 skill은 retrieval보다 0.181, 최종 논문 skill보다 0.286, 기본보다 0.290 높았고, 순서를 섞은 궤적의 skill보다 늘 높았다.
- 학습: Qwen3-8B를 궤적 125개에서 만든 예시 375개로 SFT한 뒤 Dr. GRPO로 강화학습했다. SFT에서 test perplexity는 계속 내려갔지만 판정 점수는 3 epoch에서 가장 높아, 생성 품질을 보상으로 직접 최적화했다. GPT-5.6 Sol 점수는 기본 1.025, SFT(3 epoch) 1.199, GRPO(7 epoch) 1.505였고, Opus 5는 1.219, 1.333, 1.674였다.
- 남은 한계: 궤적은 공개 저장소 기록을 LLM이 다시 구성한 결과이고, 프로젝트 블로그는 이 궤적이 원 논문 저자의 확인 없이 공개 저장소에서 관찰한 기록이라고 밝힌다. 점수는 실제 결정과의 유사도다. 실험은 AI 학회 논문의 Git 저장소 안에서 이루어졌고, 생물학과 물리학 같은 다른 분야와 Git 밖 플랫폼은 앞으로의 과제로 남는다. 데이터, 코드, 학습한 adapter는 공개되어 있다.
- 1190Human-Computer Interaction
Spmark: improving small-target text selection with smooth-pursuit gaze interaction in hybrid paper–digital environments
- 시선만으로 작은 글자를 고르면 센서의 공간 오차와 의도하지 않은 선택이 문제가 된다. SPMark는 시선 위치와 움직이는 표적을 따라보는 반응을 함께 사용해 선택 의도를 구분한다.
- 시선 가까이에 있는 선택 표적만 활성화하고, 시선과 표적 사이의 거리 및 움직임의 상관관계로 대상을 확정한다. 이를 HoloLens 2 기반의 종이와 디지털 문서를 연결하는 주석 작업에 적용했다.
- 대학생 21명이 참여한 통제 실험과 자유 사용 평가를 수행했다. 저자들은 비교 방식보다 과제 완료율이 높고, 사용자가 느끼는 노력과 좌절감이 줄었다고 보고한다.
- 두 비교 조건 모두 최종 확인에 키보드를 사용했다. 장시간 사용의 눈 피로, 조명과 지연의 영향, 다른 장치에서의 재조정이 남아 있으며 장애가 있는 사용자의 접근성은 검증하지 않았다. 실제 종이의 자동 문자 인식과 결합하는 작업도 후속 과제다.
DOI:10.1007/s10055-026-01497-x
- 1189Machine Learning / Security
RFLDefense: robust federated learning defense against targeted attacks
- 원본 데이터를 서버에 모으지 않는 연합학습에서도 악성 모델 갱신으로 특정 입력에 오답을 유도할 수 있다. 이 연구는 참여자별 데이터 분포가 다른 조건에서 이러한 공격을 방어한다.
- 혼합 유사성 검사와 층별 부호 일관성 검사를 조합한다. 모델 전체를 한꺼번에 판정하지 않고 각 층의 이상 징후를 살펴 정상적인 기여까지 일괄 제거하는 문제를 줄이려 한다.
- Isolation Forest의 이상 점수로 갱신의 가중치를 조정하고 층별로 집계한다. 저자들은 공개 데이터셋 실험에서 정상 입력의 성능을 유지하면서 여러 백도어 공격을 억제했다고 보고한다.
- 중앙 서버가 침해되지 않았고 악성 참여자가 절반 이하라는 조건을 전제로 한다. 추가적인 서버 계산이 필요하며, 구현 세부사항과 추가 실험 자료는 저자에게 요청해야 한다. 공개 코드 실행이나 현장 재현은 확인하지 않았다.
DOI:10.1186/s42400-026-00679-z
연구에서 제품 적용까지
운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.
보유기술 보기