연구자료실

설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.

연구자료 검색

새 논문 요약

요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.

  1. 69Security / Agents

    From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows

    • LLM 기반 AI 에이전트와 그 복잡한 생태계의 빠른 확산은 표준화되고 견고한 보안 관행을 결여하여 광범위한 취약점으로 이어진다.
    • 현재의 통합은 흔히 임시방편적 인증과 취약한 검증 메커니즘에 의존하여 다양한 형태의 악용에 매우 취약하다.
    • LLM 에이전트에 대한 기존 보안 연구는 파편화되어, 호스트-도구 간에서 에이전트 간 상호작용에 이르는 전체 통신 스택을 가로지르는 위협을 다루는 통합된 엔드투엔드 프레임워크를 제공하지 못했다.
    • 호스트-도구 및 에이전트-에이전트 통신을 아우르며 전체 LLM 에이전트 생태계에 걸친 보안 위험을 체계적으로 분석하는 통합 엔드투엔드 위협 모델을 개발했다.
    • 30여 가지의 서로 다른 공격 기법을 입력 조작, 모델 손상, 시스템 및 프라이버시 공격, 프로토콜 취약점의 네 가지 주요 영역으로 분류했다.
    • 각 위협 범주에 대해 엄밀한 수학적 정식화를 제공하여, 공격자 역량, 목표, 영향받는 계층을 명시적으로 정의함으로써 체계적 분석을 가능하게 했다.
  2. 68RAG / Agents

    ARAG: Agentic Retrieval Augmented Generation for Personalized Recommendation

    • 개인화 추천을 위한 기존 검색 증강 생성(RAG) 시스템은 미묘한 사용자 선호를 충분히 포착하지 못하는 단순한 검색 메커니즘(예: 코사인 유사도)에 의존한다.
    • 기존 RAG 방법은 암묵적 선호를 이해하고, 긴 형식의 사용자 문서를 처리하며, 다면적 맥락 요인에 기반해 항목을 동적으로 순위 매기는 데 어려움을 겪는다.
    • 추천에 대규모 언어 모델(LLM)을 직접 사용하는 것은 연산 부담이 크고 환각에 취약하며 고정된 지식 컷오프로 제한되어, 견고한 그라운딩이 필요하다.
    • ARAG는 전문화된 LLM 에이전트들이 협력하여 개인화 추천을 위한 맥락 검색과 항목 순위를 정교화하는 멀티 에이전트 프레임워크를 제안한다.
    • 복잡한 추천 과제를 분해하기 위해 사용자 이해 에이전트(UUA), 자연어 추론(NLI) 에이전트, 맥락 요약 에이전트(CSA), 항목 순위 에이전트(IRA)를 활용한다.
    • 에이전트들은 칠판 방식 협업으로 동작하며, UUA와 NLI가 병렬로 실행된 뒤 CSA, 그다음 IRA가 이어져 사용자 선호를 종합하고 이를 후보 항목과 정렬한다.
  3. 67Scientific AI / Survey

    AI4Research: A Survey of Artificial Intelligence for Scientific Research

    • 대규모 언어 모델(LLM)과 그 과학 혁신 응용에서의 빠른 발전에도 불구하고, 과학 연구의 전 주기(AI4Research)를 구체적으로 다루는 포괄적이고 체계적인 서베이가 부재했다.
    • 기존 서베이는 일반적으로 과학적 발견을 위한 AI(AI4Science) 같은 보다 좁은 하위 영역에 집중하여, 학술 워크플로에 대한 AI의 폭넓은 영향에 관한 이해가 파편화되었다.
    • 통합된 관점의 부재는 체계적 이해를 저해하고 과학 연구의 모든 단계에 AI를 활용하는 추가 발전을 가로막았다.
    • 저자들은 AI 응용을 연구 주기 내 다섯 가지 주요 과제, 즉 과학적 이해, 학술 서베이, 과학적 발견, 학술 저술, 학술 동료 심사로 분류하는 체계적 분류 체계를 개발했다.
    • AI4Research를 형식적으로 정의하고 보다 좁은 AI4Science와 구분하였으며, 각 단계에서의 AI 역할을 이해하기 위한 엄밀한 구성요소별 프레임워크를 제공했다.
    • 각 구성요소에 대해 광범위한 문헌 검토를 수행하여 현재의 방법론, 선구적 연구, 실증적 요약을 종합하고, 도구, 데이터셋, 벤치마크 같은 실용 자원을 정리하여 함께 제시했다.
  4. 66Agents / SLMs

    Small Language Models are the Future of Agentic AI

    • AI 에이전트에 대한 현재 지배적인 LLM 중심 패러다임은 추론에 필요한 막대한 연산 수요로 인해 높은 경제적 비용을 초래한다.
    • 범용 LLM은 에이전트형 워크플로에서 흔한 반복적이고 전문적인 하위 과제를 수행할 때 운영 비효율과 지연 증가를 보인다.
    • LLM 구동에 따르는 막대한 에너지 소비는 환경 지속가능성 우려를 제기하며, 이들은 흔히 좁은 에이전트형 과제에 대한 정밀한 전문화가 부족하다.
    • 이 논문은 대부분의 에이전트형 호출에 대한 주된 연산 단위로서 전문화된 소형 언어 모델(SLM)로의 패러다임 전환을 제안한다.
    • 일상적이고 전문적인 과제에는 SLM을 활용하고 복잡한 일반 추론에는 LLM을 남겨두는 이종 에이전트 아키텍처를 옹호한다.
    • 데이터 수집, 과제 클러스터링, 미세조정, 지속적 개선을 포함하여 LLM 중심 에이전트 애플리케이션을 SLM 전문가로 전환하는 실용적인 6단계 알고리즘을 제공한다.
  5. 65Reasoning / Small Models

    Tina: Tiny Reasoning Models via LoRA

    • 대규모 언어 모델에서 견고한 다단계 추론을 달성하는 것은 여전히 중대한 과제로 남아 있다.
    • 지도 미세조정이나 강화학습 같은 현재의 LLM 추론 향상 방법은 자원 집약적이며, 흔히 막대한 연산 능력과 대형 모델을 요구한다.
    • RL 파이프라인의 높은 비용과 복잡성은 언어 모델을 위한 RL 기반 추론에 대한 접근성과 폭넓은 연구를 제약한다.
    • 초기 추론 적성으로 알려진 작은 15억 파라미터 기반 모델 DeepSeek-R1-Distill-Qwen-1.5B를 활용한다.
    • GRPO 방식 알고리즘을 사용한 파라미터 효율적 강화학습을 위해 Low-Rank Adaptation(LoRA)을 적용하여, 모델 파라미터의 일부만 업데이트한다.
    • 비용 효율성과 기존 모델과의 직접 비교 가능성을 확보하기 위해, 두 개의 NVIDIA L40S GPU와 공개된 추론 데이터셋을 이용한 최소주의적 학습 설정을 활용한다.
  6. 64RL / Inference

    TTRL: Test-Time Reinforcement Learning

    • 추론 과제에 대규모 언어 모델용 강화학습을 적용하는 것은 보상 추정에 필요한 사람이 주석을 단 정답 레이블의 높은 비용과 희소성으로 인해 병목에 부딪힌다.
    • 기존 LLM용 RL 방법은 지도된 보상 신호에 크게 의존하기 때문에, 새로 마주하거나 레이블이 없는 테스트 데이터에서 지속적인 자기 개선이 어렵다.
    • 추론 시점에 명시적 보상 신호를 얻을 수 없다는 점은 사람의 개입 없이 LLM이 새로운 분포에 적응하고 일반화를 향상시키는 능력을 제한한다.
    • RL을 사용해 테스트 시점에 LLM이 파라미터를 업데이트하고 일반화를 향상시킬 수 있게 하는 프레임워크인 테스트 시점 강화학습(TTRL)을 도입한다.
    • 모델 출력을 반복 샘플링하고 다수결 투표로 합의 출력을 도출함으로써, 명시적 정답 레이블 없이 보상 신호를 생성한다.
    • 각 샘플 출력이 다수결로 결정된 의사 레이블과 일치하는지에 따라 규칙 기반 이진 보상을 계산하며, 이를 GRPO와 같은 RL 알고리즘으로 모델 정책을 최적화하는 데 사용한다.
  7. 63Vision-Language

    Describe Anything: Detailed Localized Image and Video Captioning

    • 기존 비전-언어 모델은 이미지와 영상 내 특정 영역에 대해 상세하고 정확한 캡션을 생성하는 데 어려움을 겪는다.
    • 상세한 국소 캡션 모델을 학습시키기 위한 고품질 데이터셋의 가용성이 제한적이다.
    • 현재의 평가 지표는 종종 포괄적인 세부 정보가 부족한 참조 캡션에 의존한다.
    • 다중 세분성 영역 캡션을 위해 포컬 프롬프트와 국소화 비전 백본을 갖춘 DAM 아키텍처를 개발했다.
    • 분할 데이터셋과 레이블이 없는 웹 이미지를 활용하는 SSL 기반 데이터 파이프라인 DLC-SDP를 구축했다.
    • 참조 캡션 없이 상세 국소 캡션을 평가하기 위한 DLC-Bench를 도입했다.
  8. 62GUI Agents

    UI-TARS: Pioneering Automated GUI Interaction with Native Agents

    • 기존 GUI 에이전트는 확장성을 제약하는 텍스트 기반 표현과 모듈형 프레임워크에 크게 의존한다.
    • 엔드투엔드 GUI 에이전트를 학습시키기 위한 대규모 고품질 데이터가 부족하다.
    • 복잡한 GUI 시나리오는 현재 접근법이 갖추지 못한 고도의 인식, 추론, 조율 능력을 요구한다.
    • 스크린샷을 직접 처리해 인터페이스와 상호작용하는 엔드투엔드 모델 UI-TARS를 개발했다.
    • 자동 수집과 큐레이션을 통해 인식, 그라운딩, 동작 트레이스를 위한 대규모 데이터셋을 구축했다.
    • 사고 증강과 반성 튜닝을 통해 시스템 2 추론 능력을 통합했다.
  9. 61LLMs / Efficiency

    BitNet b1.58 2B4T Technical Report

    • 대규모 언어 모델은 계산 집약적이어서 상당한 메모리와 에너지를 요구하고 높은 지연을 유발한다.
    • 이러한 자원 요구는 엣지 디바이스 및 실시간 응용에서의 LLM 배포를 제약한다.
    • 이전의 1비트 양자화 기법은 성능을 저하시키거나(사후 학습 양자화), 경쟁력 있는 모델 크기로 확장되지 못했다.
    • 1.58비트 가중치와 8비트 활성값을 위한 맞춤형 BitLinear 계층을 갖춘 수정된 Transformer 구조를 구현한다.
    • 전례 없는 4조 토큰 사전 학습으로 시작하여 지도 미세 조정과 Direct Preference Optimization으로 이어지는 다단계 학습 방식을 활용한다.
    • GPU와 CPU 모두에서 효율적인 W1.58A8 연산을 위한 맞춤형 커널을 갖춘 특수 추론 라이브러리를 개발하고 오픈소스로 공개한다.
  10. 60Reasoning / RL

    Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

    • 전통적 RL이 새로운 전략을 발견하는 것과 유사하게, RLVR이 LLM에 새로운 추론 능력을 획득하게 한다는 통념이 있다.
    • 현재의 RLVR이 LLM이 풀 수 있는 문제의 범위를 진정으로 확장하는지, 아니면 단지 기존 해법의 샘플링을 최적화할 뿐인지에 대한 엄밀한 조사가 없다.
    • 전통적 평가 지표는 LLM의 전체 추론 잠재력이나 '추론 능력 경계'를 정확히 포착하지 못하는 경우가 많다.
    • k회 시도 내에 풀 수 있는 문제의 비율을 측정하여 LLM의 '추론 능력 경계'를 정의하는 견고한 평가 지표로 pass@k를 도입했다.
    • 다양한 LLM 계열, 크기, 여러 RL 알고리즘(PPO, GRPO 등), 다양한 과제 영역(수학, 코드, 시각적 추론) 전반에 걸쳐 추론 능력을 체계적으로 평가했다.
    • RLVR이 생성한 추론 경로가 새로운 것인지 아니면 이미 기반 모델의 분포 안에 있는지 판단하기 위해, 퍼플렉서티 분석과 해결 가능 문제 커버리지를 포함한 심층 분석 기법을 활용했다.
  11. 59Architecture / Training

    NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation

    • 전통적 역전파는 '가중치 수송 문제'와 순방향·역방향 패스의 동기화 요구 때문에 생물학적으로 타당하지 않다.
    • 전체 역전파는 중간 활성값을 저장해야 해 상당한 메모리 부담을 초래하며, 순차적 의존성 때문에 네트워크 계층 간 진정한 병렬화를 제한한다.
    • 역전파의 전역 오차 신호와 순차적 신용 할당은 평생 학습 시나리오에서 파국적 망각과 간섭 같은 문제를 유발할 수 있다.
    • 노이즈 제거 확산 및 흐름 정합 모델에서 영감을 받은 블록 단위 신경망 학습 방법 NoProp을 도입한다.
    • 각 네트워크 블록은 해당 블록 내에서만 지역적 역전파를 활용하여 목표 레이블의 잡음 섞인 버전을 '노이즈 제거'하는 법을 독립적으로 학습한다.
    • 입력과 목표 레이블을 모든 블록에 '브로드캐스트'하여, 전역 오차 신호 전파 없이도 각 블록의 목적을 독립적으로 최적화할 수 있게 한다.
  12. 58Agents / Self-Awareness

    Agentic Knowledgeable Self-awareness

    • 현재의 LLM 에이전트는 '상황적 자기 인식'이 부족하여 성찰이나 외부 지식 같은 인지 자원을 무분별하고 비효율적으로 사용한다.
    • 기존 에이전트 학습 방법은 예상치 못한 신호에 취약하고 '패턴 붕괴'에 빠지기 쉬우며, 획일적인 접근 방식 때문에 높은 추론 비용을 초래한다.
    • 에이전트는 복잡하고 동적인 환경에서 자신의 능력을 동적으로 평가하는 데 어려움을 겪어 차선의 의사 결정에 이른다.
    • KnowSelf는 에이전트의 실시간 인지 자원 필요를 판단하기 위해 3단계 상황 분류(Fast, Slow, Knowledgeable Thinking)를 도입한다.
    • 경량 오프라인 지식 시스템을 구축하고, 에이전트가 탐색한 궤적에 필요한 사고 유형을 나타내는 특수 토큰을 덧붙여 자기 인식 데이터셋을 생성한다.
    • 2단계 미세 조정 과정(SFT 및 RPO)으로 에이전트가 상황 단서를 적절한 인지 반응과 연결하도록 학습시켜, 추론 중에 성찰이나 외부 지식을 동적으로 활성화할 수 있게 한다.
  13. 57Knowledge Graphs / LLMs

    LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph

    • 기존 KG 강화 LLM 접근법은 크고 계산 비용이 높은 모델과 복잡한 KG 순회 전략에 의존한다.
    • 현재 방법은 지식 그래프 내 구조적 정보를 효과적으로 활용하지 못해 정보 중복과 부정확한 추론을 초래한다.
    • 추론 그래프 검색, 소형 Transformer 어댑터를 통한 지식 임베딩, 혼합 프롬프트 추론을 결합한 3-모듈 프레임워크다.
    • LLM 파라미터는 동결한 채 Knowledge Adapter만 조정하는 파라미터 효율적 학습 방식이다.
    • 텍스트 내용과 그래프 구조를 모두 임베딩으로 변환하여 소프트 프롬프트로 사용함으로써 지식 통합을 개선한다.
    • LLM 기반 점수화를 적용한 제약된 너비 우선 탐색이 지식 그래프에서 관련 추론 경로를 검색하는 데 도움을 준다.
  14. 56Pre-training / Reasoning

    Rethinking Reflection in Pre-Training

    • 대규모 언어 모델의 '성찰' 같은 복잡한 인지 능력이 주로 사후 학습 단계(미세 조정, 강화 학습 등)에서 출현한다는 통념이 있다.
    • 다양한 사전 학습 단계 전반에 걸쳐 성찰을 측정하는 체계적이고 확장 가능한 방법이 없다.
    • 표준 추론 데이터셋을 사용한 성찰 벤치마킹은 성찰 행동이 희소하고 오류 패턴이 다양하여 어렵다.
    • 세밀한 측정 프레임워크를 제공하기 위해 성찰의 여러 측면(상황적, 자기, 명시적, 암묵적)을 정의했다.
    • 추론 사슬에 인간과 유사한 오류를 도입하여 성찰을 체계적으로 유도하고 측정하기 위해, 적대적 사고 사슬(CoT) 데이터셋을 생성하는 프로그래밍 방식을 개발했다.
    • 프롬프트 기반 LLM 분류기를 사용해 명시적 성찰을 탐지하고 네 가지 핵심 지표인 정확도, 명시적 성찰 비율, 명시적 성찰 정확도, 암묵적 성찰 정확도를 측정했다.
  15. 55Reasoning / Efficiency

    Concise Reasoning via Reinforcement Learning

    • 강화 학습(RL)을 통해 추론 과제에 맞춰 강화된 대규모 언어 모델(LLM)은 과도하게 장황한 사고 사슬 출력을 생성하는 경향이 있어 높은 계산 비용과 추론 지연을 초래한다.
    • 추론 정확도를 위해 응답 길이가 필요한지에 대해 기존 문헌에는 상충하는 관찰이 존재하는데, 일부는 더 긴 응답이 정확도를 높인다고 보는 반면 다른 일부는 수익 체감을 발견한다.
    • RL 학습이 응답 길이에 영향을 미치는 근본 메커니즘과, 이러한 장황함이 추론의 본질적 구성 요소인지 아니면 부산물인지는 충분히 이해되지 않았다.
    • 추론을 마르코프 결정 과정(MDP)으로 구성하여, 음의 보상이 어떻게 정책을 장황함으로 이끄는지 규명하기 위해 Proximal Policy Optimization(PPO)과 Generalized Reinforcement Learning with Policy Optimization(GRPO)의 손실 동역학에 대한 이론적 분석을 수행했다.
    • 새로운 2단계 RL 학습 절차를 제안했다. 먼저 어려운 문제에 대한 추론 강화를 위한 초기 단계를 거친 후, 가끔 풀 수 있는 문제로 이루어진 작은 데이터셋에서 간결함을 명시적으로 강제하는 두 번째 단계를 진행한다.
    • 양의 보상이 더 짧은 응답을, 음의 보상이 더 긴 응답을 유도하는 PPO의 고유한 특성(GAE λ가 1보다 작음)을 활용하여, 정확도를 희생하지 않고 모델을 간결함으로 이끌었다.
  16. 54Interpretability

    OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

    • 대규모 언어 모델(LLM)은 '블랙박스'로 작동하여 특정 출력을 생성하는 이유를 이해하기 어렵게 만든다.
    • 영향 함수 같은 기존 해석 가능성 방법은 현대 LLM 학습 데이터셋의 수조 토큰 규모에서 계산적으로 다루기 어렵다.
    • LLM에서 암기의 정도를 효율적으로 분석하거나, 사실 주장의 출처를 찾거나, 생성된 텍스트의 기원을 식별할 도구가 부족하여 투명성, 저작권, PII에 대한 우려를 야기한다.
    • OLMOTRACE는 확장된 infini-gram 인덱스를 활용하여 수조 토큰 규모의 학습 데이터셋 내에서 최대 축약 없는 일치 구간을 효율적으로 찾는 시스템을 개발했다.
    • 방법론은 다섯 단계로 구성된다. 최대 일치 구간 식별, 길고 고유한 구간 필터링, 포함 문서 검색, 중복 병합, 그리고 BM25를 사용한 관련성 기준 문서 재순위화다.
    • 프로덕션 시스템은 Google Cloud의 고-IOPS SSD를 활용하여 대규모 데이터에 대한 실시간 성능에 필요한 디스크 I/O 처리량을 보장한다.
  17. 53Reasoning / Survey

    Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models

    • 현재의 LLM은 과도한 계산과 불필요한 사고 같은 비효율적인 추론 행동을 보인다.
    • 추론 능력과 계산 비용 사이의 트레이드오프를 최적화하는 방법에 대한 체계적 이해가 부족하다.
    • 추론 비효율과 잠재적 해결책을 분류하는 구조화된 프레임워크를 개발한다.
    • 최적화 접근법을 행동 규제(사후 학습)와 사용 개선(테스트 시점)으로 분류한다.
    • 추론 비효율은 모델 행동(길이 편향, 기만적 사고)과 모델 사용(부적절한 알고리즘 선택, 계산 자원 할당) 양쪽에서 비롯된다.
    • 해결책은 사후 학습 측면(데이터 품질, 구조)과 테스트 시점 전략(예산 할당, 적응형 디코딩)을 모두 다루어야 한다.
  18. 52Reasoning / Efficiency

    Z1: Efficient Test-time Scaling with Code

    • 대규모 언어 모델은 추론 과제 중에 과도한 토큰을 소비하는데, 특히 정교한 사고 단계가 필요 없는 단순한 문제에서도 그렇다.
    • 기존 접근법은 토큰 사용을 제어하면서 테스트 시점에 추론 능력을 확장하는 효율적인 방법이 부족하다.
    • 균형 잡힌 짧은 궤적과 긴 궤적으로 신중하게 선별한 코드 추론 데이터셋(107K개 예시)으로 모델을 미세 조정한다.
    • 추론 토큰 수를 제한하고 임계값 초과 시 직접 답변을 강제하는 'Shifted Thinking Window'를 구현한다.
    • 문맥 구분자를 제거하여 추론 깊이를 유연하게 조정할 수 있게 한다.
    • 더 긴 추론 궤적과 더 큰 데이터셋 규모가 효과적인 추론 유도에 핵심적이다.
  19. 51Search / Agents

    Open Deep Search: Democratizing Search with Open-source Reasoning Agents

    • 기존 독점 검색 AI 솔루션은 투명성, 혁신, 커뮤니티 주도 개발을 제한한다.
    • 현재의 오픈소스 검색 도구는 정교한 질의 처리 및 문맥 검색 능력이 부족하다.
    • 질의 재구성, 고급 검색, 문맥 증강을 갖춘 Open Search Tool을 제시한다.
    • 질의를 해석하고 도구 사용을 조율하는 두 가지 추론 에이전트 구조인 ReAct와 CodeAct를 제시한다.
    • 어떤 기반 언어 모델과도 통합 가능한 플러그앤플레이 프레임워크다.
    • 결과 품질에 기반한 적응형 웹 검색이 효율성과 정확도를 향상시킨다.
  20. 50Interpretability

    Why do LLMs attend to the first token?

    • 대규모 언어 모델이 첫 번째 토큰에 불균형하게 주의를 기울이는 '어텐션 싱크'라는 지속적이고 설명되지 않은 현상에는 기능적 설명이 부족했다.
    • 랭크 붕괴, 표현 붕괴, 과도한 압착을 포함한 깊은 Transformer의 정보 열화 문제는 특히 긴 시퀀스에서 개별 토큰 정보의 손실을 초래한다.
    • 어텐션 싱크가 왜 발생하며 어떤 기능적 목적을 수행하는지에 대한 근본적 이해가 기존 문헌에는 빠져 있었다.
    • 이 논문은 어텐션 싱크를 과도한 혼합 및 표현 붕괴와 이론적으로 연결하고, 싱크가 정보 흐름을 어떻게 조절하는지 정량화하는 새로운 과도한 압착 한계를 도출한다.
    • 최첨단 LLM인 Gemma 7B와 LLaMa 3.1 계열에 대한 광범위한 실증 검증을 섭동 분석, 어텐션 패턴 정밀 조사, 표적 절제 연구를 통해 수행했다.
    • 통제된 사전 학습 실험을 통해 문맥 길이, 모델 규모, 그리고 어텐션 싱크의 형성 및 강도 사이의 인과 관계를 입증했다.
  21. 49Medical AI / RAG

    RARE: Retrieval-Augmented Reasoning Modeling

    • 대규모 언어 모델(LLM)은 전문 도메인에서 지식 환각과 불충분한 추론 능력을 보인다.
    • 검색 증강 생성(RAG) 같은 기존 접근은 주로 추론 시점에 지식을 보충할 뿐, 학습 중 도메인 특화 추론의 체계적 학습은 소홀히 한다.
    • 도메인 지식을 위한 기존의 파인튜닝이나 사전 학습은 비용이 크고 지식 얽힘을 초래하며, 파라미터 예산 제약 때문에 환각에 취약하다.
    • 도메인 지식을 검색 가능한 출처로 외부화하고 도메인 특화 추론 패턴을 LLM 내부에 내재화한다.
    • 교사 모델을 활용해 검색된 지식을 포함한 고품질의 단계별 추론 응답을 증류한다.
    • 검색된 지식을 프롬프트에 주입하는 마스킹 손실 목적함수를 사용해 경량 학생 모델을 학습시켜, 모델이 제공된 정보를 통합하고 그것으로 추론하는 데 집중하도록 강제한다.
  22. 48Research Agents

    CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation

    • 기존 자율 과학 발견(ASD) 시스템은 종종 연구 파이프라인의 특정 부분에 집중하거나 도메인 특화 언어에 의존해 잠재적 발견의 범위를 제한한다.
    • 대규모 언어 모델을 과학적 발견에 활용하면서 코드 기반 실험을 강조하는 종단간 반자동 시스템이 필요하다.
    • LLM 기반 ASD 시스템의 발견에 대한 신뢰성과 재현성을 평가하는 것은 언어 모델 출력의 본질적 변동성과 생성된 코드의 불충실 가능성 때문에 어렵다.
    • CODESCIENTIST는 아이디어 발상, 계획, 실험 구성 및 실행, 보고, 메타 분석 단계로 구성된 반자동 종단간 과학 발견 워크플로우를 구현한다.
    • 아이디어 발상에 'LLM-as-a-mutator' 유전 탐색 접근을 사용해 연구 논문의 단편과 코드 블록을 결합함으로써 다양한 연구 아이디어를 생성한다.
    • 이 시스템은 계측된 샌드박스에서 코드를 생성·실행하며, 반복적인 생성-실행-반성-디버그 주기를 사용하고, 재현성을 보장하기 위해 각 실험마다 여러 차례 독립 실행을 수행한다.
  23. 47LLMs / Enterprise

    Command A: An Enterprise-Ready Large Language Model

    • 범용 대규모 언어 모델(LLM)은 검색 증강 생성(RAG), 복잡한 에이전트 작업, 견고한 다국어 지원 같은 특정 엔터프라이즈 워크플로우에 대한 최적화가 부족한 경우가 많다.
    • 대규모 최신 LLM을 엔터프라이즈 환경에 배포하는 것은 종종 연산 집약적이고 비용이 많이 들어 온프레미스 또는 프라이버시 보존 배포를 저해한다.
    • 파국적 망각이나 성능 트레이드오프 없이 다양한 능력을 단일 LLM에 통합하는 것은 대규모 모델 학습에서 여전히 난제로 남아 있다.
    • Command A는 새로운 하이브리드 어텐션 메커니즘과 Grouped-Query Attention을 갖춘 디코더 전용 Transformer를 활용해 효율성과 성능의 균형을 맞춘다.
    • 분산 사후 학습 접근은 여섯 개의 전문화된 전문가 모델(예: Code, Safety, RAG)을 도메인별 데이터로 학습한 뒤 그 파라미터를 병합해 통합 능력을 갖춘 'soup' 모델로 만드는 과정을 포함한다.
    • 정제 단계는 Self-improving Robust Preference Optimization(SRPO)과 인간 정렬 및 특정 능력을 위한 온라인 RLHF를 포함한 고급 지도 파인튜닝(SFT) 및 강화 학습(RL) 기법을 통합한다.
  24. 46Benchmarks / Research Agents

    PaperBench: Evaluating AI's Ability to Replicate AI Research

    • 기존 AI 에이전트 벤치마크는 장기적이고 개방형인 머신러닝 연구개발(ML R&D) 작업에 대한 성능을 평가하기에 범위와 복잡성이 부족한 경우가 많다.
    • 특히 안전성 및 거버넌스 프레임워크를 위해, AI 모델의 자율성과 과학 연구 수행 역량에 대한 엄밀하고 객관적이며 확장 가능한 척도가 필요하다.
    • 연구 논문의 인간 복제는 시간이 많이 들고 주관적인 과정이어서 AI 에이전트의 일관된 평가를 위해 확장하기 어렵다.
    • OpenAI 연구진은 AI 에이전트가 원본 코드베이스에 접근하지 않고 처음부터 실증 결과를 복제하도록 요구하는, 최근 ICML 논문 20편으로 구성된 벤치마크 PaperBench를 도입했다.
    • 각 논문에 대해 원저자와 공동 개발한 상세한 계층적 루브릭이 8,316개의 구체적 기여 항목에 걸쳐 세분화된 이진 합격/불합격 기준을 제공한다.
    • 인간 채점 벤치마크(JudgeEval)에 대해 F1 점수 0.83으로 검증된 LLM 기반 자동 판정기 SimpleJudge가 에이전트 제출물에 대한 확장 가능하고 일관된 평가를 제공한다.
  25. 45Image Generation

    Fractal Generative Models

    • 전통적 생성 모델은 원시 이미지처럼 고차원이고 비순차적인 데이터에 요구되는 연산 부담과 인위적 순차화에 어려움을 겪는다.
    • 높은 해상도에서 고충실도 픽셀 단위 이미지 생성을 달성하는 것은 막대한 차원 수 때문에 연산적으로 실현 불가능하고 어렵다.
    • 기존 딥러닝의 모듈화는 종종 계층이나 단순 블록에 국한되어, 전체 생성 모델을 구성하기 위한 상위 수준의 추상화가 결여되어 있다.
    • 기존 생성 모델을 원자적 생성 모듈로 재귀적으로 호출해 자기 유사적 구조를 형성하는 새로운 생성 모델링 패러다임 'fractal generative models'를 제안한다.
    • 이 프레임워크는 이미지 패치에 대한 분할 정복 전략을 사용해 픽셀 단위 이미지 생성을 위한 자기회귀(AR) 모델(FractalAR/FractalMAR)로 구체화된다.
    • 각 계층 수준에서 다중 스케일 패칭과 국소 어텐션 메커니즘을 활용해 고해상도 이미지 생성에 따른 2차 연산 비용을 대폭 줄인다.
  26. 44RL / Agents

    Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward Systems

    • 기존 보상 모델은 인간 선호에 지나치게 의존해 잠재적 편향과 정확성 문제를 일으킨다.
    • 현재 접근들은 사실 정확성과 지시 준수에 대한 체계적 검증이 부족하다.
    • 전통적 보상 모델은 여러 중요한 평가 기준을 동시에 포착하지 못하는 경우가 많다.
    • 전문화된 검증 에이전트와 인간 선호 신호를 결합한 멀티 에이전트 보상 시스템을 개발했다.
    • 어떤 검증 에이전트를 호출할지 지능적으로 결정하는 라우터 구성 요소를 만들었다.
    • 여러 평가 출처의 점수를 결합하는 통합 메커니즘을 구현했다.
  27. 43Math Reasoning

    LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

    • 대규모 언어 모델(LLM)을 위한 강화 학습은 학습 작업에 난이도의 점진적 구배를 요구하지만, 이는 종종 확보되지 않아 학습 정체나 파국적 성능 저하로 이어진다.
    • 수학과 같은 복잡한 추론 영역은 모델이 풀 수 있는 문제와 현재 풀 수 없는 문제 사이의 큰 격차 때문에 상당한 난제를 제기한다.
    • 기존 LLM 학습 및 개선 방법은 종종 방대한 인간 큐레이션 데이터셋이나 지속적인 인간 감독·피드백에 크게 의존한다.
    • LADDER 프레임워크는 재귀적 문제 분해를 가능하게 하며, LLM이 변환 라이브러리와 유도된 프롬프팅을 사용해 복잡하고 현재 풀 수 없는 문제의 점진적으로 더 단순한 변형으로 이루어진 트리를 자율적으로 생성한다.
    • 견고한 수치 검증 프레임워크가 해답의 정확성을 평가해 강화 학습을 위한 명확하고 객관적인 보상 신호를 제공한다.
    • Test-Time Reinforcement Learning(TTRL)은 추론 시점에 이전에 풀지 못한 테스트 문제에 대해 문제별로 집중된 변형을 생성해 LADDER를 확장하며, 개별적인 어려운 질문에 대한 표적적·동적 학습을 가능하게 한다.
  28. 42Alignment / Safety

    Forecasting Rare Language Model Behaviors

    • 표준 LLM 평가는 수천 개의 쿼리를 다루지만 배포된 모델은 수십억 개를 처리하므로, 드물지만 잠재적으로 유해한 행동에 대한 상당한 사각지대가 생긴다.
    • 제한된 테스트에서 안전해 보이는 행동도 배포 시 훨씬 많은 쿼리에 노출되면 상당한 위험을 초래할 수 있다.
    • 전통적 평가 방법은 근본적인 규모 격차와, 동일한 쿼리에 대해 서로 다른 응답을 생성할 수 있는 언어 모델의 확률적 특성을 고려하지 못한다.
    • Anthropic, Mila, UC Berkeley 연구진은 제한된 평가 데이터를 사용해 배포 규모에서 바람직하지 않은 LLM 행동의 위험을 예측하는 Gumbel-tail method를 개발했다.
    • 이 방법은 모델을 반복적으로 샘플링해 목표 행동을 보이는 응답의 비율을 측정함으로써 각 쿼리의 유발 확률을 추정한다.
    • 이 방법은 극단값 이론, 구체적으로는 Gumbel 분포를 활용해 소수의 평가 쿼리로부터 이러한 유발 확률의 꼬리 행동을 모델링하고 외삽한다.
  29. 41Reasoning / RL

    Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs

    • 일부 대규모 언어 모델(LLM)은 검증 가능한 추론 작업에 대한 강화 학습(RL)을 통해 상당한 자기 개선을 달성하는 반면, 다른 모델은 동일한 학습에도 빠르게 정체된다.
    • LLM이 추가 연산 자원을 자기 개선에 효과적으로 활용할 수 있게 하는 근본적인 본질적 특성이나 초기 역량이 무엇인지는 불분명하게 남아 있었다.
    • LLM 추론에서 RL 기반 자기 개선의 성공과 실패를 결정짓는 기초적 특성에 대한 이해가 부족했다.
    • GPT-4o-mini 분류기를 사용해 LLM 추론 궤적에서 네 가지 인지 행동(검증, 백트래킹, 하위 목표 설정, 역방향 연쇄)을 식별·정량화하는 프레임워크를 개발했다.
    • 자기 개선 역량이 서로 다른 모델(Qwen-2.5-3B 대 Llama-3.2-3B)을 대상으로 Countdown 게임에서 비교 강화 학습(RL) 실험을 수행했다.
    • 특정 인지 행동이 풍부한 합성 데이터로 모델을 파인튜닝하고 이러한 행동을 증폭하도록 사전 학습 데이터를 큐레이션하는 등 표적 개입을 적용해 자기 개선을 유도했다.
  30. 40Reasoning / Survey

    LLM Post-Training: A Deep Dive into Reasoning Large Language Models

    • 사전 학습된 대규모 언어 모델(LLM)은 종종 사실 정확성에 어려움을 겪으며 환각이나 논리적으로 일관되지 않은 출력을 생성한다.
    • LLM 추론은 명시적 논리 추론보다는 통계적 패턴에 주로 기반하므로 복잡한 추론 작업에서 한계를 보인다.
    • 방대한 사전 학습에도 불구하고 LLM은 인간의 의도, 선호, 윤리적 고려와 완전히 정렬되지 않을 수 있어, 신뢰할 수 있는 배포를 위해서는 추가적인 정제가 필요하다.
    • 이 논문은 LLM의 기존 사후 학습 방법론을 체계적으로 조사·분류하며 추론 능력 향상에서의 역할에 초점을 맞춘다.
    • 기법들을 서로 연결된 세 가지 주요 단계, 즉 파인튜닝(예: instruction, CoT, PEFT), 강화 학습(예: RLHF, DPO, RLAIF), 테스트 시점 스케일링(예: CoT 프롬프팅, Tree-of-Thoughts, MCTS)으로 구성한다.
    • 이 조사는 각 기법이 LLM 행동을 정제하고 견고성을 개선하며 다양한 응용에서 적응성을 보장하는 데 기여하는 구체적인 지점을 부각한다.

연구에서 제품 적용까지

운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.

보유기술 보기