연구자료실

설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.

연구자료 검색

새 논문 요약

요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.

  1. 99Architecture

    Stronger Normalization-Free Transformers

    • 전통적 정규화 계층(예: Batch Norm, Layer Norm)은 심층 신경망 학습을 안정화하지만, 오버헤드(메모리 접근, 동기화)와 배치 크기에 대한 민감성을 야기한다.
    • Dynamic Tanh(DyT) 같은 기존의 정규화 없는 방법은 정규화에 필적하는 성능을 달성했지만 이를 체계적으로 능가하지는 못해, 추가 개선의 여지를 남겼다.
    • 정규화 없는 Transformer에서 점별 함수의 본질적 속성이 학습 동역학과 모델 성능에 어떻게 영향을 미치는지에 대한 체계적 이해가 부족했다.
    • 점별 함수의 네 가지 본질적 속성(영점 중심성, 유계성, 중심 민감도, 단조성)을 체계적으로 분석하여, 효과적인 정규화 없는 Transformer 구성요소를 위한 설계 원칙을 도출했다.
    • 도출한 원칙을 바탕으로 점별 함수를 광범위하게 실증적으로 탐색했으며, 그 결과 오차 함수(erf)를 가장 성능이 우수한 설계로 식별했다.
    • 오차 함수에 스케일·이동·바이어스 파라미터를 적용해 'γ·erf(αx+s)+β' 형태로 매개변수화한 점별 함수 Dynamic erf(Derf)를 개발했으며, 이는 Transformer 아키텍처의 모든 정규화 계층을 직접 대체하는 통계 비의존적 대안으로 기능한다.
  2. 98Cybersecurity / Agents

    Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing

    • 기존 AI 사이버보안 벤치마크는 추상화된 환경에서 수행되는 경우가 많아, 실제 운영 시스템의 운영적 현실성과 복잡성이 결여되어 있다.
    • 실제 환경에서 활성화된 엔터프라이즈 네트워크 침투 테스트에서 AI 에이전트의 성능을 인간 사이버보안 전문가와 실증적으로 비교하는 데에는 상당한 공백이 존재했다.
    • 공격적 보안을 위한 현재의 AI 에이전트 아키텍처는 동적인 운영 환경에서 컨텍스트 관리와 장기 과제에 어려움을 겪는 경우가 많다.
    • 대규모의 이질적인 실제 대학 엔터프라이즈 네트워크(호스트 8,000개, 서브넷 12개)에서 인간 사이버보안 전문가와 다양한 AI 에이전트를 비교 평가했다.
    • 복잡한 사이버보안 과제를 위해 설계한 새로운 멀티 에이전트 AI 스캐폴드 ARTEMIS를 도입했으며, 슈퍼바이저 에이전트, 서브 에이전트, 동적 프롬프트 생성, 트리아지 모듈을 특징으로 한다.
    • 기술적 복잡성과 가중치를 반영한 비즈니스 영향을 기반으로 취약점 발견을 정량화하는 통합 점수 체계를 개발하여, 참가자 간 직접 비교를 가능하게 했다.
  3. 97Benchmarks / Factuality

    The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality

    • 대형 언어 모델(LLM)은 사실과 다른 부정확한 정보를 자주 생성하여, 실제 응용에서의 신뢰할 수 있는 배포를 저해한다.
    • LLM 사실성에 대한 기존 벤치마크는 흔히 좁은 능력(예: 컨텍스트 기반 또는 일반 지식 회상)에 집중하여 총체적 평가를 제공하지 못한다.
    • 실제 LLM 응용은 서로 다른 양식과 지식 소스에 걸친 사실적 능력의 조합을 요구하는데, 현재의 평가 프레임워크는 이를 적절히 다루지 못한다.
    • The FACTS Leaderboard는 FACTS Multimodal, FACTS Parametric, FACTS Search, FACTS Grounding v2의 네 가지 별개의 하위 리더보드로 구성되며, 각각 LLM 사실성의 특정 차원을 평가한다.
    • 이 벤치마크는 인간 주석과 비교해 엄밀히 검증된 정교한 자동 심판을 활용하여, 수천 개의 다양한 질문에 걸쳐 모델 응답을 평가한다.
    • 모든 평가는 Kaggle에 의해 공정하게 수행되며, 공개 및 비공개 데이터 분할을 갖추어 벤치마크의 무결성을 보장하고 과적합을 완화한다.
  4. 96RAG

    CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning

    • 전통적인 검색 증강 생성(RAG) 시스템은 검색기와 생성기가 별도로 최적화되는 분리된 최적화 문제를 겪으며, 이로 인해 검색된 정보와 생성기의 실제 필요 사이에 불일치가 발생한다.
    • RAG 시스템은 흔히 길고 압축되지 않은 텍스트 컨텍스트를 처리하여 높은 추론 비용, 중복 텍스트 처리, LLM에서의 컨텍스트 오버플로, 그리고 임베딩 기반 검색과 원시 텍스트 기반 생성 간의 구조적 불일치를 초래한다.
    • 검색에서 문서 선택의 이산적 특성은 생성기로부터 검색기로의 직접적인 그래디언트 흐름을 막아, 진정한 종단 간 공동 학습과 검색기의 다운스트림 과제 정렬을 저해한다.
    • Salient Compressor Pretraining(SCP) 단계는 합성 QA 쌍과 패러프레이즈를 사용해 압축기가 문서를 핵심 정보를 보존하는 간결하고 의미적으로 풍부한 연속적 '메모리 토큰'으로 정제하도록 학습시킨다.
    • CLaRa는 사전 계산된 압축 문서 표현과 함께 언어 모델링 손실을 사용해 질의 추론기와 생성기를 공동으로 학습시킴으로써, 단일한 종단 간 미분 가능 프레임워크 내에서 검색과 생성을 통합한다.
    • 이산적인 상위 k개 문서 선택을 통과하는 그래디언트 흐름을 가능하게 하기 위해 Straight-Through(ST) 추정기를 사용하여, 질의 추론기가 생성기의 다운스트림 과제 목표로부터 약한 지도를 받도록 한다.
  5. 95Code Generation / Agents

    DeepCode: Open Agentic Coding

    • 기존 LLM 기반 코딩 에이전트는 길고 멀티모달한 과학 논문을 기능적 코드 저장소로 변환할 때 정보 과부하와 컨텍스트 병목에 어려움을 겪는다.
    • 흔한 실패 양상으로는 단편화된 사양의 보존, 모듈 전반의 전역 일관성 유지, 불충분하게 명시된 설계의 완성, 종단 간 실행 충실성 확보의 어려움이 있다.
    • 기존의 범용 및 특화된 과학 코드 에이전트는 자율 소프트웨어 공학 과제에서 재현 점수가 인간 전문가에 한참 미치지 못해 성공이 제한적이었다.
    • DeepCode는 다단계 프레임워크를 채택한다. Blueprint Generation은 원시 문서를 구조화된 사양으로 정제하여 정보 과부하를 완화한다.
    • Code Generation은 진화하는 코드베이스의 상태 유지형 구조적 인덱싱을 위해 CodeMem을 활용하여 전역 일관성을 보장하고, 고품질 코드 코퍼스로부터 조건부 지식 주입을 위해 CodeRAG를 사용한다.
    • Automated Verification and Refinement는 정적 분석과 샌드박스 실행 피드백을 통합해 폐쇄 루프 오류 수정을 수행함으로써, 합성된 저장소의 기능적 충실성을 보장한다.
  6. 94Search Agents / Efficiency

    Budget-Aware Tool-Use Enables Effective Agent Scaling

    • 표준적인 도구 보강 LLM 에이전트는 본질적인 '예산 인지'가 부족하여 자원을 비효율적으로 사용하고, 도구 호출 예산을 늘려도 금세 성능 한계에 부딪힌다.
    • 에이전트의 테스트 시점 확장에서 LLM 토큰 소비와 외부 도구 상호작용의 경제적 비용을 함께 평가하는 체계적 연구나 공식 비용 지표가 없었다.
    • 에이전트는 흔히 얕은 탐색을 수행하거나 추가로 사용 가능한 자원을 전략적으로 활용하지 않고 조기에 종료하여, 차선의 결과와 낭비된 연산을 초래한다.
    • 프롬프트 수준의 정책 지침과 상태 업데이트를 통해 에이전트에게 실시간의 연속적인 예산 인지를 제공하는 경량의 플러그 앤 플레이 모듈로 'Budget Tracker'를 개발했다.
    • 연속적 예산 인지를 활용해 에이전트의 계획(제약 분해, 구조화된 동적 계획)과 자기 검증 전략을 동적으로 조정하는 학습 불필요 프레임워크로 BATS(Budget Aware Test-time Scaling)를 도입했다.
    • 내부 LLM 토큰 소비와 외부 도구 상호작용의 경제적 비용을 모두 포괄적으로 반영하는 통합 비용 지표를 정식화하여, 확장 효율성을 투명하게 평가할 수 있게 했다.
  7. 93Agents / Theory

    Detailed balance in large language model-driven agents

    • 대형 언어 모델(LLM) 기반 에이전트의 창발적 행동은 그 거시적 동역학을 이해할 통합 이론 프레임워크가 부족하다.
    • LLM 에이전트의 복잡한 내부 엔지니어링은 흔히 '블랙박스' 행동을 초래하여, 그 동적 특성을 예측하거나 분석하기 어렵게 만든다.
    • 현재 LLM에 대한 이론적 이해는 주로 미시적 토큰 특성에 집중되어 있어, 창발적이고 목표 지향적인 에이전트 행동을 설명하지 못한다.
    • 에이전트 내 LLM의 생성 과정을 정의된 상태 공간에서의 마르코프 전이 과정으로 정식화한다.
    • LLM의 암묵적 '포텐셜 함수'(VT)를 가설로 세우고, 최소 작용 원리에 기반한 방법으로 이를 정량적으로 추정한다.
    • 실험적 검증은 LLM이 생성한 상태 간 전이 확률을 측정하여 다양한 과제와 모델에 걸쳐 세부 균형 조건을 통계적으로 확인하는 것을 포함한다.
  8. 92Math Reasoning / Benchmarks

    Towards Robust Mathematical Reasoning

    • 기존 수학적 추론 벤치마크(예: GSM8K, MATH, AIME)는 포화 상태에 가까워지고 있어, 고급 모델 능력을 변별하는 데 유용성이 제한된다.
    • 현재의 많은 벤치마크는 주로 최종 답 일치에 의존하는데, 이는 모델이 견고한 다단계 추론을 보이지 않은 채 추측하거나 암기하도록 만들 수 있다.
    • 증명을 생성하고 엄밀하게 평가하는 능력처럼 더 깊은 수학적 이해를 평가하기 위한 포괄적인 평가 프레임워크가 부족하다.
    • 강건한 문제 해결을 위한 IMO-AnswerBench, 엄밀한 증명 작성을 위한 IMO-Proof Bench, 증명 평가를 위한 IMO-GradingBench의 세 가지 벤치마크로 구성된 포괄적 모음 IMO-Bench를 도입한다.
    • IMO-AnswerBench는 네 개 범주에 걸친 400개의 올림피아드 문제를 활용하며, 데이터 암기를 방지하기 위한 명시적 '강건화' 기법(패러프레이징, 수치 변경)을 적용한다.
    • IMO-Proof Bench는 기초 및 고급 세트로 나뉜 60개의 IMO 수준 증명 문제를 제공하며, 전통적인 IMO 채점을 본떠 인간 전문가가 0~7점 척도로 주로 평가한다.
  9. 91Research Agents

    Enterprise Deep Research: Steerable Multi-Agent Deep Research for Enterprise Analytics

    • 현재의 자율 에이전트는 도메인 특화성과 매끄러운 통합이 부족하여, 기업이 기하급수적으로 증가하는 비정형 데이터를 실행 가능한 인사이트로 전환하는 데 어려움을 겪는다.
    • 기존 딥 리서치 시스템은 흔히 불투명한 '블랙박스'로, 투명성, 감사 가능성, 실시간 조정 가능성이 부족하여 동적인 기업 환경에 적합하지 않다.
    • 대부분의 현재 시스템은 개방형 도메인 웹 데이터를 위해 설계되어, 데이터베이스나 파일 같은 이질적이고 독점적인 내부 기업 데이터 소스를 적절히 처리하지 못한다.
    • 모듈식 멀티 에이전트 구조가 마스터 리서치 에이전트, 특화된 검색 에이전트(웹, 학술, GitHub, LinkedIn), 시각화 에이전트, 그리고 적응형 질의 분해 및 실행을 위한 성찰(Reflection) 메커니즘을 조율한다.
    • 인간이 해석 가능한 todo.md 파일을 유지하는 Research Todo Manager를 통해 '조정 가능한 컨텍스트 엔지니어링'을 도입하여, 실시간 자연어 인간 개입으로 에이전트 계획과 우선순위를 동적으로 조정할 수 있게 한다.
    • 확장 가능한 Model Context Protocol(MCP) 기반 도구 생태계를 활용하여 파일 분석이나 NL2SQL 에이전트 같은 도메인 특화 도구를 통합함으로써, 다양하고 독점적인 기업 데이터 소스에 대한 추론을 수행한다.
  10. 90LLMs / Reasoning

    Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model

    • 오픈소스 1조 매개변수 '사고 모델'의 부재로 인해 더 넓은 AI 연구 커뮤니티가 고급 추론 능력에 접근하기 어려웠다.
    • 강화학습(RL)을 1조 매개변수 Mixture-of-Experts(MoE) 모델로 확장하는 과정에서 학습-추론 불일치로 인한 상당한 불안정성에 직면했다.
    • 긴 추론 궤적을 처리하는 비효율성과 RL 인프라의 시스템적 병목이 전례 없는 규모에서 상당한 난제를 제기했다.
    • Long Chain-of-Thought 지도 미세조정과 대규모 강화학습을 포함한 다단계 파이프라인으로 학습된 1조 매개변수 MoE 모델 Ring-1T를 개발했다.
    • 확률 편차에 대한 양측 마스킹 보정을 통해 잡음이 있는 그래디언트 갱신을 억제함으로써 학습을 안정화하는 RL 알고리즘 변형 IcePop을 도입했다.
    • 동적이고 예산 통제된 분할을 사용해 효율적인 궤적 처리를 위한 C3PO++를 설계하고, 1조 매개변수 규모에 맞춘 고성능 분산 RL 인프라 ASystem을 구축했다.
  11. 89Reasoning / Inference

    Reasoning with Sampling: Your Base Model is Smarter Than You Think

    • 강화학습(RL)이 LLM에 근본적으로 새로운 추론 능력을 가르치는지, 아니면 단지 기존의 잠재된 능력을 첨예화할 뿐인지가 불분명하다.
    • 현재 RL 기반 LLM 사후 학습 방법은 높은 연산 비용, 선별된 데이터셋에 대한 의존, 외부 검증기의 필요성을 내재한다.
    • RL로 사후 학습된 모델은 흔히 '다양성 붕괴'를 겪어, 단일 시도 성능 향상을 위해 다중 시도 추론 성능(pass@k)을 희생한다.
    • 기본 LLM의 '파워 분포', 즉 원분포를 지수 α(α≥1)로 거듭제곱한 분포에서 샘플링하며, 이는 원래 분포를 수학적으로 재가중하여 더 높은 우도의 시퀀스를 선호한다.
    • 마르코프 연쇄 몬테카를로(MCMC) 기법인 Metropolis-Hastings(MH) 알고리즘을 사용하여 정규화되지 않은 파워 분포에서의 근사 샘플링을 가능하게 한다.
    • 반복적이고 블록 단위의 자기회귀적 MCMC 접근법을 도입하여 시퀀스 구간을 점진적으로 정제함으로써, 복잡도를 관리하고 긴 시퀀스 생성의 믹싱 시간을 개선한다.
  12. 88Continual Learning

    Continual Learning via Sparse Memory Finetuning

    • 대형 언어 모델(LLM)은 새로운 정보로 갱신할 때 이전에 습득한 지식을 잃어버리는 치명적 망각을 겪는다.
    • 재현 기반이나 정규화 기법 같은 현재의 LLM 지속 학습 방법은 흔히 연산 비용이 크거나, 데이터 효율이 낮거나, 새로운 학습과 기존 지식 유지 사이의 트레이드오프를 수반한다.
    • LLM은 일반적으로 배포 후 정적 모델로 동작하여, 실시간 정보, 사용자 피드백, 변화하는 세상 지식에 적응하는 능력이 제한된다.
    • 이 논문은 주어진 토큰마다 방대한 메모리 풀의 극히 일부만 본질적으로 접근하는 메모리 계층 구조를 사용하는 희소 메모리 미세조정을 제안한다.
    • 새로운 학습 배치에서 가장 지식 특이적인 메모리 인덱스를 식별하기 위해 TF-IDF 유사 순위 점수를 적용하여 일반 지식과의 간섭을 최소화한다.
    • 미세조정 중에는 TF-IDF 점수로 식별된 상위 t개 메모리 인덱스만 갱신하고, 그 외의 모든 메모리 매개변수와 기본 LLM 매개변수는 그래디언트 마스킹을 통해 고정된 상태로 유지한다.
  13. 87Vision / Compression

    DeepSeek-OCR: Contexts Optical Compression

    • 대형 언어 모델(LLM)은 입력 시퀀스 길이가 늘어남에 따라 연산량이 이차적으로 증가하여 상당한 연산 및 메모리 문제에 직면하며, 이로 인해 긴 텍스트 컨텍스트를 처리하는 능력이 제한된다.
    • 비전-언어 모델(VLM)의 기존 비전 인코더는 복잡한 배포, 과도한 이미지 분할, 고해상도 문서에 대한 높은 활성화 메모리 소비 같은 한계를 겪는다.
    • 전통적인 OCR 모델은 LLM과 통합해 긴 컨텍스트를 이해할 때 최적의 비전-텍스트 압축률이나 정확한 텍스트 디코딩에 필요한 최소 비전 토큰 수를 명시적으로 다루지 못했다.
    • DeepSeek-OCR은 새로운 380M 매개변수 DeepEncoder와 DeepSeek3B-MoE 디코더로 구성된 종단 간 비전-언어 모델이다.
    • DeepEncoder는 SAM-base와 CLIP-large 모델을 핵심적인 16배 토큰 압축기(2계층 합성곱 신경망)와 결합하여 고해상도 이미지를 효율적으로 처리하고, 활성화 메모리를 줄이며, 최소한의 비전 토큰을 생성한다.
    • 이 모델은 타일링을 통해 초고해상도 입력을 처리하는 동적 'Gundam' 모드를 포함한 여러 해상도 모드를 지원하며, 전통적 OCR, 복잡한 인공 이미지(차트, 수식, 도형), 일반 비전 데이터를 아우르는 다양한 데이터셋으로 학습된다.
  14. 86Benchmarks / Agents

    LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries

    • AI 에이전트는 유망한 프로토타입 성능을 보이지만, 실제 동적 운영 환경에 배포되면 신뢰성과 견고성이 부족하다.
    • 도구로 보강된 LLM을 위한 기존 벤치마크는 단일 단계 도구 호출만 평가하거나, 합성 환경에서 동작하거나, 낮은 과제 복잡도에 집중하는 한계가 있어 실제 도구 상호작용의 복잡성을 포착하지 못한다.
    • 다양하고 시간에 따라 변화하는 외부 도구를 다루는 에이전트의 구체적인 실패 양상을 진단할 명확한 프레임워크가 없었다.
    • 다양한 MCP 지원 도구를 다단계로 조율해 사용해야 하는, 신중하게 선별된 101개의 실세계 질의로 벤치마크 LiveMCP-101을 구성했다.
    • 정답 실행 계획과 병렬 실시간 실행을 활용해 라이브 MCP 도구 응답의 동적이고 진화하는 특성을 반영하는 새로운 평가 방법론을 제안했다.
    • 인간 전문가가 검증한 LLM-as-a-judge 방식을 활용해 최종 출력과 에이전트의 실행 궤적 모두에 세밀한 점수를 제공했다.
  15. 85Reasoning / RL / Survey

    A Survey of Reinforcement Learning for Large Reasoning Models

    • LLM을 LRM으로 변모시키는 RL의 급속한 성공은 계산 자원, 최적 알고리즘 설계, 확장 가능한 고품질 훈련 데이터와 관련된 상당한 난관에 직면해 있다.
    • LLM에 대한 기존 RL 응용은 주로 인간 정렬에 집중하여, 복잡한 추론 능력을 근본적으로 개선할 RL의 잠재력을 간과했다.
    • 추론 모델을 위한 RL의 복잡하고 빠르게 진화하는 지형을 이해하고 탐색할 통합 프레임워크의 부재가 체계적인 연구 개발을 저해한다.
    • 저자들은 포괄적인 문헌 검토를 수행하여, 이 분야를 보상 설계, 정책 최적화, 샘플링 전략이라는 기초 구성요소로 체계화한다.
    • 이 서베이는 객관적 피드백이 있는 과제에서 추론을 강화하기 위한 핵심 패러다임으로서 '검증 가능한 보상을 활용한 강화학습(RLVR)'을 도입하고 강조한다.
    • RL의 '샤프닝 대 발견' 역할과 RL과 지도 미세조정(SFT) 간의 상호작용 같은, 기초적 문제와 진행 중인 논쟁을 규명하고 논의한다.
  16. 84Multi-Agent / Debate

    Talk Isn't Always Cheap: Understanding Failure Modes in Multi-Agent Debate

    • 멀티 에이전트 토론이 복잡한 추론 과제에서 대규모 언어 모델(LLM) 성능을 보편적으로 향상시킨다는 통념이 있다.
    • 여러 LLM이 상호작용할 때, 특히 역량이 다양한 이질적 그룹에서 발생하는 구체적인 실패 양상에 대한 이해가 부족하다.
    • 멀티 에이전트 토론이 언제 그리고 왜 유익하기보다 해로울 수 있는지를 규명할 필요가 있다.
    • LLM이 여러 라운드에 걸쳐 동료의 입력을 바탕으로 응답을 반복적으로 수정하는 표준 멀티 에이전트 토론 프레임워크를 사용했다.
    • 세 개의 다양한 데이터셋(CommonSenseQA, MMLU, GSM8K)에서 세 LLM(GPT-4o-mini, LLaMA-3.1-8B-Instruct, Mistral-7B-Instruct-v0.2)으로 구성된 이질적 그룹을 사용해 경험적 연구를 수행했다.
    • 순차적 수정 추적, 사회적 영향 평가(동료 동의에 따른 답변 뒤집힘 확률), 그리고 아첨을 완화하기 위한 개입을 통해 실패 양상을 분석했다.
  17. 83Agents / RL

    AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning

    • 복잡하고 다중 턴이며 장기적인 과제를 위해 LLM 에이전트를 처음부터 훈련할 수 있는 통합적이고 상호작용형인 강화학습(RL) 프레임워크가 없다.
    • 프롬프팅이나 지도 미세조정(SFT) 같은 기존 LLM 에이전트 개발 방법은 흔히 독점 모델이나 인간이 선별한 데이터에 의존하여, 확장성과 적응성, 내재적 자기 개선을 제한한다.
    • LLM에 대한 전통적 RL 응용은 대부분 단일 턴 과제에 국한되거나, 다중 턴 에이전트 의사결정으로 확장될 때 불안정성과 비효율성 문제에 직면한다.
    • 다양한 다중 턴 장기적 과제를 지원하기 위해 환경, 에이전트, 훈련 모듈을 분리한 모듈식 오픈소스 프레임워크인 AgentGym-RL을 도입한다.
    • RL 훈련 중 최대 턴 수를 적응적으로 늘려 탐색과 활용의 균형을 맞춤으로써 최적화 안정성과 효율성을 개선하는, 새로운 점진적 상호작용 스케일링 전략 ScalingInter-RL을 개발한다.
    • 주류 온라인 RL 알고리즘(예: PPO, GRPO)을 지원하고 다양한 현실적 환경 전반의 확장성과 신뢰성을 위한 엔지니어링 최적화를 포함하는 통합 RL 파이프라인을 통합한다.
  18. 82Reasoning / Parallelism

    ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute

    • 순차적 LLM 추론은 '터널 시야'를 보이는데, 이는 초기 오류가 계산량 증가에도 불구하고 수익 체감과 정체로 이어지는 현상이다.
    • 현재의 '깊이' 스케일링 접근법은 일정 지점을 넘어서면 비효율적이어서, 복잡한 추론 과제에서 추가적인 성능 향상을 끌어내지 못한다.
    • 기존 병렬 또는 탐색 기반 방법은 흔히 외부 검증자나 도메인 특화 구성요소에 의존하거나, 상당한 추가 계산 비용을 발생시킨다.
    • ParaThinker는 여러 독립적 사고 경로를 생성하는 병렬 추론과 이 경로들을 단일 최종 답변으로 통합하는 요약의 2단계 과정을 사용한다.
    • 특수 제어 토큰('think i', 'summary')을 사용하여 모델의 다양한 추론 경로 생성과 이후의 통합을 유도한다.
    • 사고 특화 위치 임베딩이 표준 RoPE를 보강하여 병렬 경로 간 위치 모호성을 해소함으로써, 구별된 처리와 효과적인 요약을 보장한다.
  19. 81RL / Writing

    ACE-RL: Adaptive Constraint-Enhanced Reward for Long-form Generation Reinforcement Learning

    • 장문 생성을 위한 기존 지도 미세조정(SFT) 접근법은 희소하고 비용이 큰 고품질 데이터셋에 크게 의존한다.
    • 현재의 강화학습(RL) 방법은 거칠고 주관적인 평가 지표를 사용하여, 고품질 장문 작성에 핵심적인 미묘하고 지시 적응적인 요구를 포착하지 못한다.
    • LLM은 복잡한 장문 생성 과제에서 세밀하고 다면적이며 지시 특화된 요구사항을 일관되게 충족하는 데 어려움을 겪는다.
    • 강력한 LLM을 사용하는 자동화 파이프라인이 고수준 사용자 지시를 콘텐츠 완전성, 구조적 논리, 문체적 형식에 걸친 검증 가능한 제약 체크리스트로 분해한다.
    • 새로운 보상 메커니즘은 길이 보상과 세밀한 제약 보상을 결합하며, 더 작은 검증자 LLM이 각 제약의 충족 여부를 3단계 판정으로 평가한다.
    • 훈련에는 Group Relative Policy Optimization(GRPO) 알고리즘이 사용되며, 이 포괄적 보상을 통해 LLM이 길이와 지시 적응적 요구를 모두 충족하는 장문 응답을 생성하도록 유도한다.
  20. 80RAG / Efficiency

    REFRAG: Rethinking RAG based Decoding

    • 대규모 언어 모델(LLM)을 사용하는 검색 증강 생성(RAG) 시스템은 길게 검색된 컨텍스트를 처리할 때 상당한 시스템 지연과 높은 메모리 소비에 직면한다.
    • 이로 인해 더 긴 컨텍스트로 지식을 강화하는 것이 흔히 시스템 효율성과 처리량을 저하시키는 트레이드오프가 발생한다.
    • 범용 LLM 장문 컨텍스트 추론 최적화는 RAG 컨텍스트에 내재된 특유의 '블록 대각 어텐션 패턴'과 중복 연산을 적절히 다루지 못한다.
    • 경량 인코더를 사용하는 프레임워크가 RAG 컨텍스트를 청크 임베딩으로 압축하여, 디코더 전용 LLM의 유효 입력 시퀀스 길이를 크게 줄인다.
    • 인코더와 디코더는 다음 단락 예측 및 재구성 과제를 포함한 지속적 사전학습(CPT) 체계를 통해 정렬되며, 복잡도를 관리하기 위해 커리큘럼 학습을 적용한다.
    • 강화학습 정책이 중요한 컨텍스트 청크를 전체 토큰 시퀀스로 동적으로 확장하고 덜 중요한 청크는 감지(압축)하여, 유연하고 임의 위치의 압축을 가능하게 한다.
  21. 79Reasoning / RL

    Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning

    • 경험적 성공에도 불구하고, 강화학습(RL)이 LLM의 복잡한 추론을 어떻게 개선하는지에 대한 메커니즘적 이해는 불투명한 채로 남아 있었다.
    • '아하 모먼트'와 '길이 스케일링' 효과 같은 RL 훈련 중의 의문스러운 현상들은 통합적인 설명이 부족했다.
    • 기존 RL 알고리즘은 생성된 모든 토큰에 무차별적으로 최적화 압력을 가하는 경우가 많아 비효율적인 학습을 초래한다.
    • LLM이 생성한 토큰을 고수준 계획 토큰(예: 논리적 책략)과 저수준 실행 토큰(예: 계산)으로 기능적으로 분해했다.
    • 주관적인 수작업 주석을 피하면서 계획 토큰을 경험적으로 식별하는 데이터 기반 방법인 'Strategic Grams(SGs)'를 도입했다.
    • 식별된 계획 토큰에 대한 어드밴티지 신호를 증폭하여 최적화를 집중시키는 RL 알고리즘인 Hierarchy-Aware Credit Assignment(HICRA)를 개발했다.
  22. 78Research Agents / RL

    SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents

    • 대규모 언어 모델(LLM)에 고급 추론과 도구 사용 능력을 장착하여, 환각 같은 문제를 완화하면서 복잡하고 장기적인 과제를 수행하게 한다.
    • 경직된 멀티 에이전트 오케스트레이션 없이도 작동하며 더 나은 일반화를 제공하는, Deep Research(DR)를 위한 효과적인 자율 단일 에이전트 시스템을 개발한다.
    • 기존 방법이 안정성에서 어려움을 겪고 베이스 모델의 추론 능력을 저하시킬 수 있는, 다중 턴 에이전트형 과제에 대한 강화학습(RL)을 안정화한다.
    • 특정 LLM 계열을 위해 세 가지 도구('인터넷 검색', '페이지 열람', '코드 인터프리터')의 최소 집합과 반복적 단일 턴 워크플로우를 갖춘 에이전트형 추론 스캐폴딩을 개발했다.
    • 에이전트형 훈련을 위해 까다로운 다중 홉 QA와 장문 보고서 작성 과제를 생성하는 새로운 합성 데이터 생성 파이프라인을 구축했다.
    • 다중 턴 상호작용에 대한 안정적인 정책 최적화를 보장하기 위해 길이 정규화 REINFORCE 목적함수, 궤적 필터링, 부분 롤아웃을 특징으로 하는 종단간 강화학습 레시피를 구현했다.
  23. 77Medical AI / RAG

    Retrieval-augmented reasoning with lean language models

    • 최첨단 검색 증강 생성(RAG) 및 추론 시스템은 대형 외부 언어 모델에 의존하는데, 이는 민감한 데이터를 다루는 응용에서 프라이버시와 보안 위험을 초래한다.
    • 대형 프런티어 언어 모델을 로컬에서 배포하고 구동하는 것은 높은 자원 요구로 인해 많은 조직에게 계산상 부담이 크다.
    • 범용 언어 모델은 전문 도메인에서 깊고 검증 가능한 전문성을 결여하는 경우가 많아, 중요한 응용에서 부정확성이나 환각을 유발한다.
    • 연구진은 추론 및 생성을 위한 효율적인 언어 모델 백본으로 1.5B부터 32B 파라미터에 이르는 Qwen2.5-Instruct 모델을 사용했다.
    • 의미 임베딩, 벡터 데이터베이스, 그리고 관련 정보를 유지하면서 컨텍스트 길이를 관리하기 위해 문서 전체를 검색하고 사전 요약하는 새로운 전략을 사용하여 검색 시스템을 개발했다.
    • 경량 언어 모델의 지도 미세조정을 감독하기 위해, 다양한 사용자 질의와 상세한 추론 궤적을 포함한 합성 도메인 특화 데이터를 고성능 모델(GPT-4o 및 DeepSeek-R1)로 생성했다.
  24. 76Computer Use Agents

    OpenCUA: Open Foundations for Computer-Use Agents

    • 가장 뛰어난 컴퓨터 사용 에이전트(CUA) 시스템 대부분은 독점적이고 비공개 소스여서, 그 역량과 한계, 위험에 대한 연구를 저해한다.
    • 실시간 사용자 상호작용과 접근성 트리를 포함하여, 다양하고 대규모인 컴퓨터 사용 데이터를 수집할 확장 가능한 오픈소스 인프라가 부족하다.
    • 기존 오픈소스 CUA 데이터셋은 범위, 규모, 다양성이 제한적이며, 일반적인 컴퓨터 사용 응용보다는 특정 도메인에 집중되어 있다.
    • Windows, macOS, Ubuntu 전반에 걸쳐 인간의 컴퓨터 사용 시연(화면 영상, 마우스/키보드 신호, 접근성 트리)을 매끄럽게 캡처하는 크로스 플랫폼 애플리케이션인 AGENTNET TOOL을 개발했다.
    • 여러 운영체제와 200개 이상의 애플리케이션 및 웹사이트에 걸친, 최초의 대규모(22,625개 궤적) 다양성 컴퓨터 사용 과제 데이터셋인 AGENTNET을 구축했다.
    • 에이전트의 계획 수립과 오류 복구를 개선하기 위해, 새로운 성찰적 장문 Chain-of-Thought(CoT) 추론 합성과 다중 이미지 이력 컨텍스트 인코딩을 통합한 확장 가능한 훈련 파이프라인을 제안했다.
  25. 75Computer Use Agents

    ComputerRL: Scaling End-to-End Online Reinforcement Learning for Computer Use Agents

    • 그래픽 사용자 인터페이스는 본질적으로 인간 중심으로 설계되어 기계의 상호작용을 복잡하게 만들기 때문에, 견고한 LLM 기반 GUI 에이전트 개발은 어렵다.
    • 행동 복제 같은 기존 방법은 확장성 문제, 제한된 일반화, 다양하고 복잡한 데스크톱 과제에 대한 부실한 오류 복구 능력이라는 한계를 겪는다.
    • 데스크톱 자동화에 강화학습을 적용하는 것은 높은 계산 부담, 느린 수렴 속도, 불안정성, 그리고 장기 훈련 중 정책이 탐색 역량을 상실하는 경향(엔트로피 붕괴)으로 인해 제약을 받아 왔다.
    • API-GUI 상호작용 패러다임은 직접적인 GUI 상호작용과 프로그래밍 방식의 API 호출을 통합하며, 효율성과 다재다능함을 높이기 위해 API 개발을 위한 LLM 기반 자동화 워크플로우로 이를 보완한다.
    • 효율적인 데이터 수집을 위해 수천 개의 동시 가상 데스크톱 환경을 오케스트레이션할 수 있는, 분산 다중 노드 클러스터링 인프라를 갖춘 확장 가능하고 안정적인 Ubuntu 환경이 개발되었다.
    • 다중 LLM 기반 행동 복제, 검증 가능한 보상을 갖춘 스텝 수준 Group Relative Policy Optimization(GRPO), 그리고 주기적 RL-SFT 교대를 통한 지속적 탐색을 위한 Entropulse 전략을 특징으로 하는 완전 비동기 RL 프레임워크가 구현되었다.
  26. 74Agents / Distillation

    Chain-of-Agents: End-to-End Agent Foundation Models via Multi-Agent Distillation and Agentic RL

    • 기존 멀티 에이전트 시스템(MAS)은 LLM 백본이 다중 턴 멀티 에이전트 워크플로우에 맞게 본래적으로 훈련되지 않았기 때문에, 높은 계산 오버헤드, 일반화 문제, 종단간 데이터 중심 학습의 부재라는 한계를 겪는다.
    • 기존 도구 통합 추론(TIR) 모델은 경직된 '사고-행동-관찰' 워크플로우에 제약되어, 유연한 멀티 에이전트 협업 패턴을 본래적으로 지원하지 못한다.
    • MAS와 TIR 패러다임 모두 단일 통합 LLM 안에서 복잡하고 동적인 멀티 에이전트 멀티 도구 오케스트레이션을 학습하기 위해 종단간 훈련을 효과적으로 활용하지 못한다.
    • Chain-of-Agents(CoA) 패러다임은 단일 LLM의 디코딩 과정 안에서 멀티 에이전트 협업을 통합하여, 다양한 역할 수행(예: 사고, 계획, 성찰) 에이전트와 도구 에이전트(예: 검색, 크롤, 코드 생성)를 동적으로 활성화한다.
    • 에이전트형 지도 미세조정(SFT) 프레임워크는 전문가 수준의 멀티 에이전트 시스템 궤적을 CoA 호환 훈련 데이터로 증류하며, 점진적 품질 필터링을 사용해 고품질의 복잡한 문제 해결 패턴을 보장한다.
    • 에이전트형 강화학습(RL)은 결과 기반 보상을 통해 LLM의 멀티 도구 오케스트레이션 정책을 추가로 정교화하여, 까다로운 과제 특화 질의에서 전략적 도구 사용과 적응적 추론을 강화한다.
  27. 73Routing / Efficiency

    Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing

    • 높은 성능(정확도, 추론)과 연산 효율(비용, 지연)의 균형을 맞추는 것은 대규모 언어 모델 발전의 핵심 과제다.
    • 최첨단 독점 LLM은 흔히 상당한 운영 비용과 자원 요구를 수반하여, 광범위하고 비용 효율적인 배포를 제약한다.
    • 기존 LLM용 테스트 시점 라우팅 방법은 흔히 종합 성능에만 주로 집중하거나, 추가 신경망의 복잡한 학습을 요구하여 오버헤드를 더한다.
    • 각 질의에 대해 최적 모델을 동적으로 선택하도록 다양한 LLM 앙상블을 조율하는 테스트 시점 라우팅 프레임워크 Avengers-Pro를 개발했다.
    • 이 프레임워크는 질의 임베딩, 질의의 k-평균 클러스터링, 클러스터별 모델 단위의 성능-효율 점수화라는 세 가지 경량의 비지도 연산에 의존한다.
    • 온라인 추론 중에 들어오는 질의를 임베딩하여 가장 가까운 클러스터에 할당하고, 트레이드오프 파라미터 α로 조정 가능한 종합 성능-효율 점수가 가장 높은 모델로 라우팅한다.
  28. 72Vision / Reasoning

    Visual Structures Helps Visual Reasoning: Addressing the Binding Problem in VLMs

    • 대규모 비전-언어 모델(LVLM)은 정확한 계수, 공간 추론, 상세한 장면 묘사 같은 정밀한 시각 이해에 어려움을 겪는다.
    • LVLM은 결합 문제를 겪어, 복잡한 장면 내에서 지각 특징을 올바른 시각적 대상과 공간 속성에 안정적으로 연결하지 못한다.
    • 기존 LVLM은 흔히 시각 특징을 병렬로 처리하여, 특히 어수선한 환경에서 간섭과 오귀속 오류를 일으킨다.
    • VISER 방법은 입력 이미지에 등간격 수평선을 추가하여, 이미지를 별개의 시각 구획 또는 행으로 분할한다.
    • '이미지에 존재하는 수평선을 기준으로 이미지를 순차적으로 스캔하라'와 같은 간결한 텍스트 지시를 원본 프롬프트 앞에 덧붙여, LVLM이 영역별로 내용을 처리하도록 유도한다.
    • 이 경량의 모델 비종속적 접근법은 무시할 만한 연산 오버헤드만 도입하며, 아키텍처 변경, 미세조정, 다중 질의 추론을 필요로 하지 않는다.
  29. 71Reasoning / Data

    NaturalThoughts: Selecting and Distilling Reasoning Traces for General Reasoning Tasks

    • 추론 시연의 어떤 특성이 소형 언어 모델로의 추론 능력 증류에 가장 효과적인지에 대한 체계적 이해가 부족했다.
    • 소수의 수작업으로 선별한 예시로 추론 증류에 충분하다는 지배적인 'Less is More' 가설은 주로 도메인 특화 맥락에서 비롯된 것으로, 일반 추론에 대해서는 재평가가 필요했다.
    • 대규모 언어 모델은 흔히 과잉 사고를 보여 지나치게 긴 추론 트레이스를 생성하며, 이는 추론 비용을 늘리고 실제 배포 효율을 떨어뜨린다.
    • 저자들은 다양한 NaturalReasoning 질문에 대해 DeepSeek-R1(교사)이 생성한 추론 트레이스를 도메인, 메타 추론 전략, 장황함에 따라 주석한 데이터셋 NaturalThoughts를 구축했다.
    • 다양성(예: 질문 주제, 의미 임베딩, 추론 전략)과 난이도(예: 응답 길이, 장황함, 모델 일치도)에 기반한 데이터 선택 전략을 체계적으로 탐구했다.
    • 학생 모델이 추론 시점에 추론 깊이를 조정할 수 있도록, 무작위 및 난이도 기반 혼합을 포함한 혼합 System-1/System-2 증류 접근법을 제안하고 평가했다.
  30. 70Research Agents / Survey

    Deep Research Agents: A Systematic Examination And Roadmap

    • 기존 LLM과 RAG를 넘어 동적 추론, 적응적 계획, 반복적 도구 사용을 통합하는 새로운 부류의 AI 시스템에 대한 명확한 정의와 분류 체계가 부재하다.
    • 산발적인 연구 노력을 통합 프레임워크로 모아 공통 아키텍처 패턴과 기반 기술을 이해할 필요가 있다.
    • 기존 평가 벤치마크는 고급 AI 연구 에이전트의 완전한 엔드투엔드 역량을 충분히 평가하지 못하는 한계가 있다.
    • 이 논문은 딥 리서치(DR) 에이전트를 형식적으로 정의하고, 정적 워크플로와 동적 워크플로, 단일 에이전트와 멀티 에이전트 시스템을 구분하는 통합 분류 프레임워크를 제안한다.
    • 정보 획득 전략(API 대 브라우저 기반), 다양한 도구 사용 역량(코드 인터프리터, 멀티모달 처리), 긴 맥락 최적화를 위한 메모리 메커니즘을 포함한 기반 기술을 체계적으로 분석한다.
    • SFT, RL, 비모수적 지속 학습 같은 현재의 튜닝 패러다임을 평가하고, 주요 산업 구현 사례를 검토하며, DR 에이전트를 위한 기존 벤치마크를 비판적으로 평가한다.

연구에서 제품 적용까지

운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.

보유기술 보기