연구자료실
설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.
연구자료 검색
새 논문 요약
요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.
- 1433Research
LongTails: Automated Research in Optimization
- 저자들은 최적화 문제의 복잡도 상한을 찾고 개선하는 자동 연구 프레임워크 LongTails를 만들었다.
- 틀은 문제 설정을 정의하는 Setup과 목표 예산을 정의하는 Complexity로 나눠 명세를 분리했다.
- 에이전트가 알고리즘을 설계하고 수렴을 증명하면 틀이 증명을 검사해 인정된 복잡도가 실제로 도달 가능함을 보장했다.
- 모든 검증은 Lean 4 형식 증명 도구로 수행되었다.
- 저자들은 이미 100개 넘는 새 결과를 얻었다고 밝혔다.
- 에이전트가 더 나은 복잡도를 얻는 단일 실행은 약 2–7 hours 걸렸다.
- 1432Robotics
Robo-MLT: Dual-System Robotic Manipulation for Long-Horizon Medical Laboratory Tasks
- 저자들은 명시적 작업 흐름 감시와 학습된 동작 생성을 결합하는 이중 체계 프레임워크 Robo-MLT를 제안했다.
- 느린 체계는 가벼운 다중 프레임 감시기로 활성 계획 단계를 추적했다.
- 빠른 체계는 Qwen3-VL에 조건화된 흐름 정합 정책으로 활성 기술을 연속 동작으로 실행했다.
- 표본 수준에서 Robo-MLT는 혈액 가스 분석과 시험관 분류에서 각각 89.00%와 92.25%의 완료율을 냈다.
- 작업 흐름 수준 경로를 쓰면 방해 시험에서 90%와 85%의 회복율을, 학습된 트리거를 빼면 65%와 55%를 냈다.
- 끝에서 끝 제어 지연은 364 ms이고 지속 제어 속도는 20 Hz로 측정되었다.
- 1431Research Agents
Embodied Science Agents: Making Embodied Experimental Design Learnable
- 저자들은 기존 자율실험실이 실험을 상징 작업으로만 다뤄 물리적 감각이 끊겼다고 진단했다.
- 제안한 체화 과학 에이전트(ESA)는 디지털 에이전트가 기억 기반 추론과 베이즈 최적화를 맡고 로봇 에이전트가 기기를 직접 조작하게 했다.
- 폐수 처리 실험에서 200 million 넘는 가능한 조건을 탐색하는 과제를 스스로 수행했다.
- 15 continuous rounds 동안 최종 용액 투과율을 82%에서 99.7%까지 올렸고 이는 잔류 염료 농도 98.5% 감소에 해당한다.
- 실험 최적화는 처음에 라틴 초입방 표본 설계로 시작한 뒤 베이즈 최적화가 다음 조건을 제안하는 방식으로 돌아갔다.
- 단일 장비 세트에서 약 45 hours 동안 멈춤 없이 자율 운영하며 실험 전 과정을 수행했다.
- 1430Research Agents
Blind Variation, Selective Retention: Improving Creative Idea Generation in AI Scientists
- 저자들은 과제 정보를 일부러 제한해 아이디어 생성을 익숙한 접근에서 벗어나게 만들었다.
- 같은 과제에서 검증된 제안과 결과를 학습해 값비싼 실증 평가에 넣을 후보를 골라냈다.
- 다섯 생성 모델과 12 scientific tasks에 걸쳐 프레임워크를 평가했다.
- 폐기 비율 50%에서 선택적 보존 모델은 창의성 상위 5% 제안의 79%, 유용성 상위 5% 제안의 82%를 보존했다.
- 다섯 명의 박사급 연구자가 각각 30 proposal pairs에 주석을 달아 총 150 pairs를 만들고 사람 판단과의 일치를 확인했다.
- 과제 정보가 늘수록 상위 1%에 드는 고창의성 제안의 비중이 줄어들어 제한된 정보가 창의성을 높인다는 결론을 뒷받침했다.
- 1429Robotics
Reliability-Adaptive Multimodal Relative Pose Tracking for Underwater Leader-Follower Robots
- 저자들은 움직이는 물속 로봇 두 대의 여섯 자유도 상대 자세를 추적하는 신뢰도 적응형 다중 모드 인식 프레임워크를 제안했다.
- 빛 흡수와 산란, 색 왜곡, 부유 입자가 광학 측정의 신뢰도를 크게 떨어뜨린다고 저자는 설명했다.
- 두 선체 종류, 세 조명 조건, 아홉 궤적 패턴의 모든 조합에 대해 각각 12 trials를 모아 총 648 trials의 다중 모드 데이터를 수집했다.
- 수조 실험에서 프레임워크는 평균 이동 오차 3.8 cm를 달성했다.
- 탑재 NVIDIA Jetson AGX Orin에서 융합 네트워크는 17.62 ms의 추론 지연을 냈다.
- 모든 648 trials의 측정 값을 담은 다중 모드 데이터셋을 공개할 예정이다.
- 1428Research
DeepResearch RewardBench: Evaluating Reward Models for Deep Research Report
- 저자들은 심층 리서치 보고서 평가용 보상 모델을 전용으로 측정하는 최초의 벤치마크를 만들었다.
- 데이터 만들 때에는 보고서 점수 차가 10/30 points보다 큰 쌍만 골라 변별력을 확보했다.
- 평가는 7B에서 235B에 이르는 19 models을 세 그룹으로 나눠 수행했다.
- 평가는 7B에서 235B에 이르는 19 models를 세 그룹으로 나눠 수행했다.
- 사람 채점자들의 초기 일치율은 63%였고 토론 뒤 약 85%로 올라갔다.
- 저자들은 이 벤치마크가 연구 지향 에이전트의 평가와 개선에 필요한 시험대가 되기를 기대했다.
- 1427Software Engineering
CLEAR: Structured Specifications for Controllable Long-Horizon ML Research Engineering
- 저자들은 연구 문서가 실행 가능한 명세가 아니어서 구현 결정이 생성 순간으로 미뤄지는 것이 오류 연쇄의 근본 원인이라고 진단했다.
- CLEAR는 이질적인 연구 산출물을 사람이 검증할 수 있는 구조화 실행 명세로 먼저 바꾼 뒤 실행 코드를 생성했다.
- 명세를 나눈 국소 단위로 생성과 수리를 하므로 전체를 다시 만드는 일을 피했다.
- MLE-Bench Lite에서 CLEAR는 77.27%의 메달 획득률을 달성하고 대표 과제에서 수리 반복을 크게 줄였다.
- AiScientist와 비교해 비용을 35.16% 줄이면서 경쟁 가능한 성적을 유지했다.
- 한 분석에서는 평균 실행 비용이 $7 수준으로 나타나 더 비싼 방법 대비 비용을 85.6% 줄였다.
- 1426Research
IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
- 저자들은 여섯 최신 언어 모델과 네 연구 분야에서 90,000개가 넘는 연구 제안을 모아 연구 감각을 측정했다.
- LLM 에이전트의 인용 일치는 약 26%, 아이디어 일치는 18%로 사람 수준에 크게 못 미쳤다.
- 각 에이전트는 20 steps 예산 안에서 작업했고 각 집단은 300 proposals를 썼으며 이는 두 차례에 걸쳐 150개씩 작성되었다.
- 2026년 이전에 학습된 두 모델은 2026 논문을 볼 수 없어 결과가 데이터 누수 없이 깨끗하다고 저자는 말했다.
- 블라인드 전문가 평가에서 AI 제안은 모든 품질 항목에서 2026 논문보다 낮았고 특히 예상 성공에서 20 points 뒤졌다.
- 저자들은 연구 감각의 병목이 무엇을 연구할지 아는 데 있지 않고 그것을 구체적 접근으로 바꾸는 데 있다고 해석했다.
- 1425Reasoning / Survey
Human-Supervised Artificial Intelligence Researchers in Electric Power Systems: Knowledge, Physics, Simulation, and Governance for Large Language Models
- 저자들은 전력계통 분야의 언어 모델 연구와 관련 과학 워크플로, 물리 기반 전력 AI 연구를 폭넓게 검토했다.
- 제안한 지식·물리·시뮬레이션·거버넌스 틀에서 언어 모델은 정보를 옮기고 작업을 조율하는 역할을 맡았다.
- 시뮬레이터와 검증 도구가 모델을 시험하고 전문가는 핵심 가정, 안전 경계, 최종 결론의 권한을 유지했다.
- 연구 과정은 주장을 출처로 추적하고 계산을 재현하고 실패와 승인을 검토할 수 있게 자료를 보존해야 한다고 요구했다.
- 이 기반 위에 단계별 발전 로드맵과 연구 보고 요건을 제안했다.
- 평가는 연구 산출물과 그 검증에 초점을 맞춰야 한다고 결론지었다.
- 1424Research Agents
ARE-bench: Benchmarking Agents'Research Ability in Real-World Researcher Sessions and Workspaces
- ARE-bench은 실제 연구자 세션과 진행 중인 작업 공간 위에서 에이전트의 연구 수행 능력을 평가하는 75과제 벤치마크다.
- 각 과제는 실제 사용자 요청에 anchor를 두고 작업 공간을 정리 없이 경계까지 재생해 이전 작업 흔적을 보존한다.
- 벤치마크는 7개 연구 단계, 33개 요구사항, 150개 하위 요구사항, 1,173개 이진 체크리스트 항목으로 이루어졌다.
- 7개 프론티어 모델 중 최강 모델도 모든 체크리스트 항목을 통과한 과제가 66.2%에 그쳤다.
- 설계와 실행 단계가 모든 모델에서 가장 어려운 단계로 나타났다.
- 배달 계약과 일반 규범만 검사하면 약 69%던 세 모델이 이력과 작업 공간 요구사항까지 검사하면 28.44%에서 40.00%로 떨어졌다.
- 1423Research Agents
DrugCoding: A Scientific Programming Agent for Drug Discovery
- DrugCoding은 과학 작업 계획, 적응형 모델 라우팅, 멀티에이전트 협업, 프로그램 도구 실행을 하나로 묶은 신약 발견 에이전트 시스템이다.
- 연구 목표를 의존성 그래프로 분해하고 각 작업에 적합한 전문 모델을 적용 범위와 성능, 비용으로 골라 실행한다.
- 다중 턴 벤치마크 M-TCDD에서 7개 언어 모델 평균 Pass@1 97.35%로 최강 기본선 Codex의 88.11%를 9.24% 앞섰다.
- 상위 10% 어려운 과제 집합에서는 평균 97.92%로 과학 연구 에이전트들을 제쳤다.
- 실패 분석에서 과학 입력 값의 정확한 보존이 성능 우위의 주요 원인으로 나타났다.
- 멀티에이전트 구성은 단일 에이전트 대비 평균 0.56% 향상에 그쳐 모델에 따라 편차가 컸다.
- 1422Agents
PegasusAI Studio: Legible Cyberinfrastructure and Accountable AI Agents for Scientific Workflows
- PegasusAI Studio는 Pegasus와 HTCondor 기반의 AI 보조 과학 게이트웨이로 공유 인프라에서 에이전트 워크플로 운영을 지원한다.
- 시설이 관리하는 하나의 지식 베이스를 여러 코딩 에이전트의 고유 설정 형식으로 컴파일해 일관되게 전달한다.
- 에이전트가 터미널 출력 대신 워크플로와 스케줄러의 구조화된 상태로 실행 실패를 진단하게 한다.
- 에이전트의 모든 행동이 사용자 신원과 스케줄러 자격 증명 아래 돌게 해 시설이 감사할 수 있게 한다.
- EHT M87 재구성에서 두 번 실패한 실행을 사용자 승인 아래 복구해 세 번째 실행 55 작업 전부를 무결점으로 완료했다.
- 중력파 재분석 워크플로는 350 작업 전부를 54분 18초에 실패 없이 완료했다.
- 1421Robotics
Curie's Jarvis: Autonomous Robotic Chemistry Experiments from Printed Protocols
- Curie's Jarvis는 인쇄된 실험 지시서 사진에서 단계를 읽어 로봇 팔이 화학 실험을 수행하게 하는 시스템이다.
- 네 개 카메라에서 종이 라벨을 읽어 똑같이 생긴 용기를 구분하고 카메라 간 투표로 확정한다.
- 고정 위치나 마커 없이 보통 벤치에서 작동하며 매 단계 전에 대상을 다시 찾는다.
- 한 프로토콜은 5회 중 5회, 다른 프로토콜은 5회 중 4회를 사람 개입 없이 완료했다.
- 160회 위치 찾기에서 인쇄 라벨과 세 사람의 손글씨 모두 모든 용기를 정확히 식별했다.
- 실험에 쓸 분량은 미리 계량해 두므로 로봇이 정확한 양을 옮기는 능력은 평가하지 않았다.
- 1420Agents
SciMARS: Multi-Agent Recursive Self-Improvement for Closed-Loop Scientific Discovery
- SciMARS는 멀티에이전트 팀의 역할 절차와 조율 계약을 별도 편집기가 따로 고치는 재귀 자기개선 프레임워크다.
- 공유 증거 그래프가 관찰, 발견, 계획, 미해결 질문을 출처와 함께 기록해 역할 사이에 전달한다.
- SciMARS + Memory는 에이전트가 증거를 기록하고 검색하고 받는 방식을 고치는 세 번째 편집기를 추가한다.
- Autonomous Science Bench에서 GPT-6-Astra로 18회 중 12회를 해결해 기본 팀의 8회를 앞섰다.
- ScienceAgentBench 38과제 중 14를, AppWorld 20과제 중 11을 풀어 기본 팀의 11과 5를 넘었다.
- GLM-5.3 코호트에서는 18회 중 2회 해결로 기본 팀 1회보다 소폭 앞섰다.
- 1419Research Agents
Can Frontier Auto Researchers Reconstruct Human Research Decisions in AI?
- AutoHRS는 자동 연구 에이전트의 출력을 아이디어 생성, 실험 설계, 논문 종합 세 단계로 나눠 사람 연구와 비교하는 평가 프레임워크다.
- ICLR 2026 구두 발표 논문 152편에서 456개 연구 궤적을 만들어 평가 말뭉치를 구축했다.
- 정규화 점수로 아이디어 생성 0.29, 실험 설계 0.36, 논문 종합 0.65를 기록해 세 단계 모두 사람 연구와 큰 차이를 보였다.
- 생성된 아이디어의 78.4%가 참고 논문에서 식별 가능한 요소들을 조합하는 방식으로 만들어졌다.
- 연구 방향을 더 세분화해서 주면 아이디어 재구성 점수가 0.29에서 0.54까지 일관되게 올라갔다.
- 연구 유형별로는 실증 분석 0.49, 방법론 0.32, 벤치마크 0.18로 벤치마크 연구 재구성이 가장 어려웠다.
- 1418Research Agents
A Physical Testbed for Self-Driving Laboratories: Comparing Bayesian and Agentic Optimization in a Minimal Closed-Loop Color Formulation Task
- 상용 로봇과 측정 장비를 통합한 테스트베드가 6개 캠페인에서 누적 24시간 넘게 무인 닫힌 순환 실험을 수행했다.
- 각 캠페인은 48번의 닫힌 순환 반복을 약 4시간에 걸쳐 사람 개입 없이 완료했다.
- 염료 혼합 목표 맞추기 과제에서 평균 RMSE가 9.95 × 10−3 OD로 떨어지는 것을 확인했다.
- LLM 에이전트 최적화가 목표 1에서 52%, 목표 2에서 32% 적은 반복으로 목표에 도달했다.
- LLM 에이전트 최적화는 베이지안 최적화가 48번 안에 못 맞춘 목표 3을 11번 만에 맞췄다.
- LLM 에이전트는 캠페인 중에 선형 모델, Hill 곡선, 멀클리스-멘텐 곡선 등 여러 모델을 스스로 바꿔가며 사용했다.
- 1417Research Agents
SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization
- SwarmEvolve는 각 라운드마다 수백 개의 저비용 에이전트가 떼를 지어 잠재 공간에서 추론하고 KV 캐시로 정보를 주고받는 진화 탐색 프레임워크다.
- 신규성 필터가 에이전트의 은닉 상태 벡터 사이 거리를 직접 재어 가장 다른 아이디어의 에이전트만 남긴다.
- 아이디어 결합은 요약 에이전트가 떼의 모든 구성원의 KV 캐시를 받아 하나의 새 프로그램을 쓰는 방식으로 잠재 공간에서 일어난다.
- 21개 수학 및 과학계산 문제에서 최고 평균 점수를 받았고 다른 최신 프레임워크의 60분 최고 점수를 중앙값 3~8분 만에 도달했다.
- 기존 프레임워크보다 시간당 5~13배 많은 프로그램을 평가했다.
- Qwen3 8B 같은 작은 모델로도 세 문제에서 AlphaEvolve가 프론티어 모델로 처음 찾은 해를 개선했다.
- 1416Research Agents
BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories
- BEAKER는 자율주행 화학실험실의 두뇌 역할을 평가하는 전문가 제작 문제 1,000개와 11개 과제 유형으로 이루어진 벤치마크다.
- 모든 문제와 주석은 화학 전문가와 embodied AI 전문가가 AI 도움 없이 직접 만들고 검토했다.
- 28개 멀티모달 모델을 평가한 결과 행동가능성이 28개 모델 평균 22.2로 가장 큰 약점이었다.
- 최고 성능 모델 Claude Opus 4.7의 전체 점수는 59.2로 사람 전문가 93.3과 34.1점 차이가 났다.
- 전문가 캡션을 함께 주면 중간 길이 영상의 순서 추론 점수가 세 모델 모두 대략 두 배로 올라갔다.
- 화학 특화 모델과 과학 특화 모델은 범용 모델을 일관되게 앞서지 못했다.
- 1415Reasoning / Efficiency
SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding
- SpecPilot은 가벼운 초안 모델로 LLM 디코딩을 빠르게 하는 speculative decoding을 배포마다 자동 최적화하는 자율 에이전트 루프다.
- 비용 모델이 현재 시스템과 한계 사이의 가장 큰 차이를 찾고, 병렬 에이전트가 여러 방향을 탐색해 성공한 것을 통합했다.
- 토큰 포싱이 모든 출력 토큰을 기존 시스템과 대조해 보상 해킹을 잡아냈다.
- 루프가 무손실 12-bit 가중치 형식인 W12, 하이브리드 순환 대상 모델용 트리 검증, 2단계 검증, 3개 배칭 기법을 발견했다.
- 단일 요청에서 AR 대비 가속을 4.46×에서 10.87×로, 배칭에서 1.94×에서 3.93×로, 학습이나 품질 손실 없이 올렸다.
- 구조화된 메모리가 검증된 최적화 140개를 저장해 새로운 드래프터, 모델, GPU 플랫폼으로 재사용했다.
- 1414Research
From FAIR to AI-FAIR Metadata-First Infrastructure for AI-Enabled Science
- 저자들은 생태학과 생물다양성 과학의 데이터 인프라가 파편화됐고 가치 흐름이 대체로 한쪽 방향이라고 진단했다.
- AI-FAIR 메타데이터 기준을 구조, 과학, 계보(provenance), 거버넌스의 네 가지로 정의했다.
- 질문-데이터-모델 삼각형 안에서 모든 연결을 양방향으로 만들어, 모델이 만든 개선 결과가 다시 데이터 원천으로 돌아가는 순환을 제안했다.
- 에이전트가 메타데이터를 찾아 체크리스트 항목을 평가하면, 점수 계산은 결정적 규칙으로 처리하는 자동 평가 도구를 만들었다.
- 데이터 발행 기관들이 이 평가 도구로 자기 데이터의 기준선 점수를 만드는 시범 적용을 시작했다.
- 1413Research Agents
rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment
- 최전선 모델 여섯 개에 최신 NLP 논문 일곱 편을 주고 최소 실행 실험을 제안, 예측, 순위 매기게 했다.
- 제안된 415개 실험 중 194개가 건전하고 가치 있고 새롭다고 판정됐고, 논문을 넘어서고 뻔하지 않은 실험은 73개였다.
- 에이전트의 첫 선택은 감사자가 가장 가치 있게 본 실험과 38% 일치해 무작위 20%보다 나았다.
- 에이전트 예측의 Brier 점수는 0.192로 기저율 0.240보다 정확했으나, 여섯 판사 평균 0.179보다 못했다.
- 팀은 단일 연구자보다 평균 0.71개 더 좋은 실험을 냈지만 통계적으로 유의하지 않았고, 조건당 비용은 $15.31 대 $23.93로 컸다.
- 감사 결과 66%의 실험은 논문 위에 세워졌고 44%는 뻔한 후속 실험 목록에 있어서, 새 방향을 여는 실험은 드물었다.
- 1412Research
Rebuilding a Field's Open-Problem Catalog from the Literature: A Two-Layer Knowledge Graph, and Why Status Must Stay Proposed
- 데이터베이스 연구 1,053 문제와 AI 연구 1,000 문제의 두 카탈로그에 증거층을 얹은 그래프를 만들었다.
- 재구축한 그래프는 기존 카탈로그 그래프가 답한 질문을 그대로 유지했고, 데이터베이스에서 47 of 47, AI에서 34 of 35가 같은 답을 냈다.
- 증거층은 카탈로그 큐레이터가 인용한 적 없는 바깥 문헌까지 연결해서, 336 문제에 770 편의 관련 논문을 붙였다.
- 상태 판정 감사에서 41개 판정 가운데 9개만 정확했고 30개는 부분 정확, 2개는 틀렸으며 반박 판정은 0 of 34로 미해결 문제를 실제로 반박하지 못했다.
- 저자는 설계 결론으로 상태 변경은 증거와 함께 제안으로만 남기고 사람 검토자를 구조의 일부로 만들어야 한다고 썼다.
- 레이블 충돌 결함으로 논문 수 집계가 2,679 대신 8,769로 잘못 커진 사례를 보고하고, 빌드 시점에 이 충돌을 오류로 막도록 고쳤다.
- 1411Research Agents
From AutoResearch to Continual AutoResearch: Do Agents Learn Across Tasks?
- 같은 에이전트의 지속 실행과 초기화 실행을 같은 과제 흐름, 데이터, 예산에서 짝지어 비교하는 CONTINUAL AUTORESEARCH 환경을 제안했다.
- 평가는 합성 과제, 기호 회귀, 시계열 예측, 테이블 오토ML을 아우르는 아홉 과제군으로 이뤄졌다.
- CLI 방식 최전선 에이전트 다섯 개를 평가했고, 지속 상태가 다섯 모두의 고정 예산 연구 효율을 높였다.
- 시간 수렴 이득은 Kimi K3가 +21.3, Sonnet 4.6이 +20.9, Opus 5가 +7.5, GPT-5.6-Sol이 +6.1, GPT-5.4가 +3.0 포인트였다.
- 평균 최종 성능 이득이 뚜렷한 에이전트는 Sonnet 4.6의 +7.6 포인트뿐이었고, 나머지는 0 근처거나 소폭 감소했다.
- 기억 절제 실험에서 관련 인사이트 카드는 초기화와 탐색을 바꿨지만 최종 성능을 일관되게 좋게 하지는 않았다.
- 1410Research Agents
Reimagining computational quantum research with AI scientists
- OmniQ라는 전문가 검수 가상 연구 환경에서 논문 59편을 재현 과제로 바꾸고, LLM 기반 에이전트 시스템 다섯 개와 서드파티 하니스 여섯 개를 평가했다.
- 재현 실험에서 60편 중 18편에서 논문 설명, 공개 코드, 보고 결과가 어긋나는 재현성 문제를 찾아냈다.
- 정리된 과제에서 최고 성적은 Claude Code와 Opus 5.5 조합으로 약 93%를 재현했고, 최저는 Meta-Harness와 DeepSeek 조합으로 19%였다.
- Residual Agents는 검증된 복구 작업을 재사용 경험으로 증류해, DeepSeek V4.1 Flash의 재현 성공률을 68%에서 약 85%로 올렸다.
- 서드파티 에이전트 하니스는 재현을 반드시 좋아지게 하지 않았고 성능을 낮추기도 했다.
- 재현된 결과 전부를 모델 컨텍스트 프로토콜 기반 확장 플랫폼에 담아 검증된 연구 워크플로를 AI 과학자가 다시 쓸 수 있게 했다.
- 1409Information Retrieval
A Sequential Decision Framework for Evaluating LLM-Guided Search
- 검색 과정을 select(기존 랭킹에서 다음 문서를 판단하기)와 spawn(새 랭킹 만들기) 두 행동으로 표현하는 틀을 제안했다.
- 애드혹 검색, MTF, Thompson 샘플링, ISJ, CAL 같은 기존 검색 전략을 같은 환경에서 동작하는 정책으로 서술했다.
- 실험을 TREC Deep Learning 2019 컬렉션에서 했고, 관련성 판단에는 GPT-4o-mini를, 질의 재작성 같은 복잡한 작업에는 GPT-5를 썼다.
- 전역 판단 예산 실험에서 질의 재작성 뒤 MTF 정책이 모든 검색 파이프라인과 예산에서 가장 높은 재현율을 보였다.
- 단일 랭킹을 위에서부터 순서대로 판단하는 애드혹 방식은 모든 파이프라인에서 판단 예산을 가장 못 쓰는 정책이었다.
- 검색 파이프라인 자체도 정책만큼 성능에 영향을 주었고, SPLADE와 하이브리드 파이프라인이 판단 하나당 더 많은 관련 문서를 찾았다.
- 1408RAG / Agents
CORE: Coarse-to-Fine Search with Context Management for Deep Research
- CORE는 학습 없이 쓸 수 있는 깊은 연구 검색 하네스로, 굵게-가늘게 검색과 문맥 관리를 함께 쓴다.
- 하네스는 조밀한 검색기로 문단을 굵게 찾은 뒤, 늦은 상호작용 재랭커의 토큰 단위 유사도를 다시 써서 각 문단에서 가장 관련 있는 짧은 조각만 에이전트에게 돌려준다.
- 문맥 관리는 에이전트가 이미 찾은 원문 주변을 펼쳐 보게 하고, 검색에 반복되는 조각을 간단한 참조로 바꿔 문맥 낭비를 줄였다.
- 세 에이전트 모델과 세 벤치마크에서 CORE는 최고 수준의 정답 정확도와 근거 재현율을 보였고, 553M 문서까지 있는 말뭉치에서도 그랬다.
- 가장 큰 ClimbMix 말뭉치에서 GPT-5.4와 함께 CORE는 정확도 68.42%로 OpenResearcher의 56.14%와 Tongyi DeepResearch의 50.88%보다 높았다.
- 구성 요소 분석에서 굵은 검색만 쓸 때 62.61%였던 정확도가 굵게-가늘게 검색으로 70.84%, 문맥 관리를 더한 완전한 CORE에서 80.12%로 올랐다.
- 1407AI / Agents
DelegateEval: Evaluating Platforms for Personal External Service Agents
- 저자들은 개인의 지식과 경험, 방법, 서비스 범위를 담아 외부 고객 요청을 받아 일하고 사후 지원까지 하는 개인 외부 서비스 에이전트를 정의했다.
- DelegateEval은 에이전트 시스템을 플랫폼 단위로 평가하는 프레임워크로, 큰 언어 모델과 재사용 가능한 스킬, MCP 같은 프로토콜, 실행 가능한 도구 환경을 함께 다룬다.
- 평가는 생성 용이성부터 효율과 가치까지 여덟 개 차원으로 나뉘고, 서비스 생성부터 반복되는 서비스 이력까지 전 과정을 관찰한다.
- 이 논문은 프레임워크와 실험 설계까지만 제시했고, 완전한 데이터셋과 실행 환경, 통일된 채점 프로토콜, 모델 간 비교 결과는 아직 만들지 못했다.
- 고품질 저술 작업에서 453명을 무작위로 나눈 실험에서 ChatGPT가 평균 완료 시간을 약 40% 줄이고 결과 품질을 약 18% 올린 선행 연구를 인용해, 시간과 품질을 함께 측정해야 한다고 주장했다.
- AI 도구를 쓸 수 있게 한 2025년 무작위 연구에서 16명의 숙련 오픈소스 개발자는 완료 시간이 약 19% 늘어났고, 참가자들은 스스로 빨라질 것으로 기대했으므로 효율 이득은 측정으로 확인해야 한다고 지적했다.
- 1406Research Agents
FrontierPhysics: Evaluating Agents for End-to-End Physics Research
- FrontierPhysics는 42명의 물리학자가 자기 연구를 바탕으로 만든 56개 과제로, 이론·계산·실험 물리의 아홉 분야를 다루는 종단 평가 벤치마크다.
- 각 과제는 에이전트가 문헌을 조사하고 연구 계획을 세우고 연구와 실험을 수행한 뒤 구조화된 결과물과 과학 논문을 내도록 요구한다.
- 평가는 결정적 검증기가 수치 결과를 확인하고, 검토 에이전트가 전문가가 만든 루브릭으로 논문과 과정을 채점하는 둘을 결합한다.
- 182개 제출 중 56개만 통과했고, 과제 하나를 만드는 데 저자들이 원래 연구에 평균 약 270일을 썼다고 보고했다.
- 22개 모델 26개 구성 가운데 어느 구성도 자기 168회 시도 중 46회를 넘는 통과율을 보이지 못했고, 최고인 Claude Opus 5.5는 27.4%였다.
- 사람이 168개 시도 궤적을 직접 분석한 결과, 실패의 주된 원인은 부족한 물리 지식이나 실행 오류가 아니라 48%의 엄밀하지 않은 추론과 34%의 전문가 직관 부족이었다.
- 1405Research Agents
Letting AI Formulate the Research Question: Autonomous Research Agents
- 시스템은 상용 코딩 에이전트에 지침 문서와 질문 설정, 동료 심사 두 스킬을 준 단순한 구성이다. 연속 다섯 실행 모두 질문 설정부터 수정된 재계산 가능한 논문까지 노트북 계산만으로 끝냈고 사람의 연구 개입은 없었다.
- 개발 13회 실행에서 연구 영역을 정하는 한두 문장을 바꾸자 후보 질문 주제가 크게 달라졌다. 사회 문제 힌트 한 문장을 넣었을 때 같은 모델의 후보 15개 중 14개가 사회 문제로 옮겨갔다.
- 평가 실행에서 에이전트는 아홉 개 사회 분야에 걸쳐 후보 질문 77개를 작성했고 모두 사회나 환경 문제였다. 대부분의 후보는 공개 검증 데이터가 없거나 기술 접근이 막힌 이유로 버려졌다.
- 비평가 모델은 매 실행에서 선택된 질문의 비교와 측정 방식을 바꿨고, 심사자는 모든 초안을 검증 입구에서 재실행해 보고된 숫자를 재현했다. 심사 결과 40개 지적은 모두 채택 또는 일부 채택되었다.
- 외부 AI 평가에서 Gemini 4 Argon은 다섯 논문 모두를 워크숍 수준으로 보고 전체 점수 평균 5.4를 줬으며, Muse Wonder는 더 엄격해 평균 4.1을 줬다. 두 심사자 모두 참신성과 일반성을 낮게 평가했다.
- 한계로 다섯 실행과 한 가지 연구 모델은 작은 표본이고 비교 실험이 없으며, 모든 평가가 AI 모델 판단에 의존한다. 사람 평가는 별도로 계획 중이다.
- 1404Research Agents
How Specific Do I Need to Be? Effects of User Query Underspecification on Deep Research Agents
- 실제 연구자와 에이전트 대화에서 뽑은 초기-최종 질의 쌍 203개 가운데 176개에 초기 질의에 없는 정보가 담겨 있었다. 저자들은 이를 근거로 빠지는 정보 유형을 도출했다.
- 빠진 정보 세 유형인 범위, 용어, 선호가 176쌍의 94%를 덮었고, 각각 45%, 37%, 33%에서 나타났다.
- DR Tulu, Tongyi-DR, GPT-5.4 세 에이전트에서 범위나 용어 하나만 빠져도 루브릭 기반 점수가 통계적으로 유의하게 떨어졌고, 질의가 더 불명확할수록 하락이 커졌다.
- 인용 정밀도는 완전 불명확 조건에서도 유의한 변화가 없어서, 불명확성은 환각을 늘리지 않고 사용자 정보 요구와의 정렬을 해쳤다.
- 에이전트 대부분은 불명확을 알아채지 못하고 답했고, 가정을 밝히고 진행한 경우가 알아채지 못한 경우보다 답 품질 하락이 더 큰 조건도 네 개 중 세 개였다.
- 검색 행동에서는 탐색 전환이 늘고 사용자 질의에서 온 토큰 비중은 줄며 추적 불가 토큰 비중은 늘었는데, 새 문서를 더 많이 가져와도 이후 검색에 활용은 늘지 않았다.
연구에서 제품 적용까지
운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.
보유기술 보기