연구자료실

설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.

연구자료 검색

새 논문 요약

요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.

  1. 610Computer Vision

    MonkeyOCRv2: A Visual-Text Foundation Model for Document AI

    • 1.13억 장 17개 언어의 최대 규모 문서 이미지 사전학습 코퍼스(MonkeyDoc v2) 구축
    • 이미지-텍스트 생성 + 픽셀 수준 문서 복원 jointly 학습으로 글자 수준 시각 인식 확보
    • CRNN 인식 정확도 58.7%→67.3%, 110M UniMERNet-T가 325M UniMERNet-B 능가
    • 0.7B 문서 파싱 모델로 MDPBench 오픈소스 SOTA, 이전 최고 3B dots.mocr 대비 +2.8%
    • 비전 인코더를 frozen 상태에서 Qwen3-VL-235B, GPT-5.2 등 대형 VLM보다 우수한 문서 이해 달성
    • CLIP, DINO, SAM 대비 8개 벤치마크에서 일관된 우위 입증
  2. 609Robotics

    From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence

    • WAM을 action-conditioned predictive model로 정의하고 개입 결과를 명시적으로 예측하는 모델로 분류
    • 모델·표현 갭, 목표함수·표준화 갭, 생태계·시스템 갭의 3가지 구조적 한계 식별
    • Embodied brain: 물리적 관찰을 통합하고 개입을 비교하여 상태 전이 의도를 출력하는 중심 모델
    • Physical harness: brain 출력을 실행 도구·컨트롤러로 변환, 검증, trace 기록
    • 공유 계약(shared contracts)으로 이종 데이터·태스크·컴포넌트를 상호 비교 가능하게 만듦
    • 폐루프 post-training으로 검증된 상호작용을 재사용 가능한 경험으로 전환
  3. 608Computer Vision

    Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

    • MLLM의 image-conditioned prompt log-likelihood를 보상으로 사용하여 선호 라벨·파인튜닝 불필요
    • Self-SpectraReward: 통합 모델(UMM)의 이해 브랜치가 자체 생성 브랜치를 평가하는 폐루프 자가개선
    • 9개 MLLM 백본(4B~235B), 4개 모델 패밀리, 3개 RL 알고리즘, 2개 diffusion 모델로 대규모 검증
    • 더 큰 보상 MLLM이 항상 더 좋은 것은 아님; 보상-정책 정합이 보상 모델 크기보다 중요
    • Self-SpectraReward가 235B 외부 모델보다 우수한 성능을 보이며 정책-보상 정합의 중요성 입증
    • 5개 OOD 텍스트-이미지 벤치마크에서 기존 MLLM 파생 보상 방법들을 일관되게 능가
  4. 607LLMs / NLP

    Metacognition in LLMs: Foundations, Progress, and Opportunities

    • 메타인지를 모니터링(상태 평가)과 제어(전략 조정)의 루프로 정의하고 LLM 연구를 분류
    • 심리학 기반 측정, 신경피드백, 신뢰도 기반, 해석가능성 기반 등 다양한 메타인지 측정 방법 정리
    • 메타인지가 할루시네이션 감소, 신뢰성 향상, 인간-AI 협업 개선에 기여함을 문헌에서 확인
    • 추론 모델, 에이전트, 다중에이전트 시스템, 메모리, 검색·도구 사용에서의 메타인지 응용 분석
    • 모델 크기·post-training·샘플링 온도가 메타인지 능력에 미치는 영향 체계 정리
    • 메타인지 평가의 간격(gap)과 향후 연구 방향(도메인 일반성, 아키텍처 설계 등) 제시
  5. 606Research

    Qwen-Music Technical Report

    • 25Hz 단일 코드북 Music Semantic Token으로 곡 전체를 압축 표현하여 LLM 예측 공간 확보
    • Melody-CoT 메커니즘으로 선율을 명시적 중간 표현으로 계획 후 토큰 생성하여 음악성·구조 일관성 향상
    • Qwen-Music-Render: semantic-conditioned DiT + Spec-VAE + Band-Mode Refiner로 48kHz 스테레오 합성
    • 500만 시간+ 다국어 음악 데이터로 학습, 품질 등급별 커리큘럼 + 다단계 post-training(SFT→DPO→GSPO)
    • 전문 평가자 블라인드 테스트에서 MiniMax 2.6 대비 66.7%, Mureka V8 대비 58.3% 승률 달성
    • 16개 객관적 지표 중 13개에서 SOTA 달성 (SongBench, SongEval, AudioBox-Aesthetic)
  6. 605Machine Learning

    Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals

    • 탐색(proxy)과 정렬(primary)의 분리로 post-training을 모듈화·비동기화·재사용 가능한 파이프라인으로 재구성
    • proxy의 절대 분포가 아닌 상대적 개선 신호를 전이하여 weak-to-strong improvement 지원
    • Qwen3-1.7B 등 소형 proxy의 탐색 신호가 더 큰 primary 모델의 성능을 조절 가능하게 향상
    • GRPO 대비 OPD 기반 분포 정렬이 70 스텝 이내에 수렴하여 탐색 효율성 입증
    • 전이 강도를 스케일링 계수로 조절 가능하여 다양한 설정에서 견고한 성능
    • 탐색 신호의 캐싱·재사용·크로스모델 전이가 가능하여 비용 효율성 크게 향상
  7. 604Computer Vision

    ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space

    • SGP(파노라마+포인트클라우드)라는 단일 표현으로 모든 입력 모달리티를 통합 처리
    • 14B VACE 기반 파노라마 비디오 생성기에 3DRL 포스트트레이닝으로 3D 일관성 향상
    • 풍부한 입력(다중뷰, 비디오)은 엄격한 기하학 파이프라인으로 처리하여 환각 최소화
    • 반복적 FLUX 기반 수리 모듈로 파노라마 해상도 한계 및 뷰 불일치 해결
    • ABot-3DGS 데이터 엔진으로 완전 정합된 (RGB, point-map, pose) 훈련 데이터 생성
    • 실내/야외/항공 전 영역을 단일 파이프라인에서 지원하며 지도 POI 연동 가능
  8. 603Robotics

    Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model

    • 38B 파라미터 단일 자회귀 프레임워크에서 5가지 생성 태스크(이미지 생성, 편집, embodied 장면 생성, 전이, 비디오 생성)를 통합 학습
    • 구조화된 제어 포맷으로 작업공간·배경·전경·대상·조명을 독립 제어 차원으로 분리하여 multi-view 일관성 보존
    • GPT-Image-2.0을 embodied 장면 생성 및 전이에서 인간 평가 1위, World Arena embodied 비디오 생성 1위 달성
    • 생성된 합성 데이터로 π0.5 로봇 정책의 OOD 성공률을 36.9%→63.2%로 26.3%p 향상
    • 순차적 world modeling을 통해 정적 장면 생성에서 확장 가능한 궤적 생성 엔진으로 발전
    • 코드와 체크포인트를 공개하여 embodied intelligence 데이터 엔진으로 활용 가능
  9. 602Computer Vision

    The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs

    • VLM 내부 활성화에 GT count·출력 count·오류 여부 3종 프로브 학습 — 오류를 신뢰성 있게 예측
    • SVCCA: 정답 프로브와 출력 프로브가 부분 공유 부공간이지만 잘못 정렬된 방향으로 readout — 오류의 구조적 원인
    • 인과적 steering: count 방향 강화 시 카운팅 성능 향상, 무작위 방향은 성능 저하 — 인과성 검증
    • Detector-guided self-correction: 오류 예측 시에만 선택적 재프롬프트 — 최대 15.6% 절대 향상
    • 무파라미터 업데이트: 추론 시점 개입만으로 개선 — 실용적 적용 가능
    • 프로브 F1과 교정 gains의 강한 양의 상관(ρ=0.803) — 내부 오류 신호 품질이 교정 효과 결정
  10. 601Robotics

    B-spline Policy: Accelerating Manipulation Policies via B-spline Action Representations

    • 이산 액션 청킹을 연속 B-spline 곡선으로 대체 — 시간적 재스케일링으로 실행 속도 가속
    • 추론 시점 세그먼트 정렬: 인접 B-spline 세그먼트 간 부드러운 전환 보장, 고속 실행 시 필수
    • Table Cleaning: 4X 속도에서 완료 시간 50% 단축(23.57s→11.80s), 성공률 유지(13/20 vs 14/20)
    • Diffusion Policy + ACT 백본 모두에 drop-in 통합 가능 — 기존 파이프라인 수정 최소
    • PushT 시뮬레이션: 4X 속도에서 점수 0.59→0.73, 시간 7.19s→2.87s로 동시 향상
    • 비균일 시간 구조 대응: 도달(빠름)~파지(정밀) 등 태스크 단계별 제어 입도 자동 할당
  11. 600AI / General

    Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading

    • 46개 장기 horizon 터미널 태스크(9카테고리): 실험 재현, 소프트웨어 엔지니어링, 멀티모달 분석, 게임, 과학 계산 등
    • 서브태스크 기반 밀집 보상: binary pass/fail이 아닌 부분 점수로 중간 진행도 가시화
    • 태스크당 평균 9.9M 토큰, 231 에피소드, 85.3분 실행 — 기존 Terminal-Bench/SWE-Bench보다 훨씬 더 요구적
    • 최강 모델 GPT-5.5도 15.2% pass@1(R≥0.95), 평균 pass@1은 4.3% — 큰 개선 여지 존재
    • 주요 실패: 시간 초과 후 부분 진행 + 조기 종료(false finish) — 약한 자기 검증이 핵심 병목
    • 밀집 보상이 false finish 패턴을 드러내는 데 필수 — binary 평가는 이를 놓침
  12. 599Computer Vision

    Glob3R: Global Structure-from-Motion with 3D Foundation Models

    • 동결된 3D 기반 모델(Pi3X) + 경량 밀집 매칭 헤드로 피드포워드 예측을 최적화 가능한 기하 제약으로 변환
    • 키프레임 기반 슬라이딩 윈도우 전략: 트랙과 상대 포즈를 윈도우 간 전파, 청크 단위 한계 극복
    • KITTI 평균 RMSE 13.21m — Scal3R(14.55), LoGeR(18.65) 등 최신 방법 대비 10~50% 개선
    • ETH3D: R@1 91.58, T@1 73.27 — 최신 학습 기반 SfM(AMB3R) 대비 회전·병진 정확도 대폭 향상
    • NeRF/뉴럴 렌더링에서 2~3dB PSNR 향상 — 정제된 포즈의 실용적 가치 입증
    • 전역 motion averaging + bundle adjustment로 스케일 불일치 해소 및 밀집 기하 복원
  13. 598Machine Learning

    TSRouter: Dynamic Modality-Model Selection for Time Series Reasoning

    • LLM(수치 정확도)과 VLM(전역 패턴)의 상호 보완성을 활용한 최초의 모달리티+모델 공동 라우팅 프레임워크
    • 이질적 그래프(task·query·modality·model) + GNN으로 복잡한 상호작용 모델링
    • 4개 시계열 추론 태스크에서 16~46% 상대 향상 — 비용 인식 최적화로 Pareto frontier 구성
    • 학습 데이터 10%만 사용해도 최고 baseline(전체 데이터)을 크게 능가하는 데이터 효율성
    • GPT-5로 노드 프로파일링 → 사전학습 임베딩으로 초기화, 새 모델/태스크에 zero-shot 일반화
    • 사용자 정의 α 파라미터로 성능-비용 트레이드오프 실시간 조절 가능
  14. 597Research

    A complete ultrametric on von Neumann's incomplete tensor products

    • 무한 텐서곱의 동치류 집합 Γ에 수렴 지수 기반 pseudo-ultrametric d 정의 — 강 삼각부등식 만족 및 완비성 증명
    • 게이지 불변 변형 d~ 정의: 위상 변화에 둔감, 폰 노이만 약동치와 정합
    • 유니터리 U(1∉σ(U))의 곱이 모든 동치류를 최대 거리 1로 이동함을 증명
    • d~를 디코히런스 지수로 해석 — 환경 N 자유도 모니터링 시 분기율 exp(-Nd~~)로 감쇠
    • 에버렛 다세계 모델: 우주 = 무한 큐비트 텐서곱, 세계 = 섹터, 시간 = 이산 유니터리 스텝
    • 초거리 공간의 위계적 구조가 분기 트리의 leaf space와 정확히 대응
  15. 596Computer Vision

    PanoWorld: Real-World Panoramic Generation

    • 파노라마 ERP의 회전 등변성을 활용해 회전을 기하 변환으로 처리, 평행이동만 명시 모델링
    • DPRC: 파노라마 레이 기반 밀집 조건부로 정확한 동작 제어, GMA: 기하 인식 메모리 증강으로 장면 지속성 확보
    • World360 데이터셋: 70K 실제 UAV 클립 + 50K AirSim360 시뮬레이션, 다고도 비행 궤적 포함
    • Matrix-3D 대비 FID 27.64→(480p), 16.93→(720p), PSNR 궤적 정확도 2~4점 향상
    • Causal Forcing 기반 실시간 생성: H20 GPU 1장에서 161프레임 8초 생성 (기존 ~4분48초)
    • 3단계 훈련 파이프라인으로 모델링·메모리·제어를 점진적 최적화
  16. 595Computer Vision

    Scalable Visual Pretraining for Language Intelligence

    • 문서를 텍스트로 파싱하지 않고 원본 시각 패치에서 직접 next-latent prediction으로 사전학습하는 VP 프레임워크 제안
    • GPQA Diamond 최대 +3.22, MMLU-Pro +2.1 — 4개 백본에서 TP 대비 일관된 우위 입증
    • 토큰 예산 25%로 동등 이상 성능 달성 — 시각 표현이 텍스트보다 압축 효율적
    • 시각 구조 밀도가 높은 문서(그림, 수식, 표)에서 VP gains이 가장 큼 — 정보 손실 회복 효과
    • 멀티모달 모델뿐 아니라 언어 전용 모델에서도 VP가 유효 — 아키텍처 비종속적
    • 동결된 비전 인코더 + 학습 가능한 투영층만으로 autoregressive 백본에 시각 스트림 통합
  17. 594Machine Learning

    Mach-Mind-4-Flash Technical Report

    • 35B MoE(3B 활성) 모델이 포스트트레이닝만으로 100B+급 성능 달성 — 사전학습 컴퓨트 확장 없이
    • MOPD(Multi-Teacher On-Policy Distillation): 도메인별 RL 전문가를 독립 학습 후 routed reverse-KL로 융합, 혼합 보상 RL의 시소 현상 제거
    • HMPO: 단일 단계 토큰 효율 최적화로 추론 사슬 19~46% 압축, 정확도 손실 0.7pp 이하
    • AIME'26 92.70, BFCL-v4 75.80, ClawBench 84.20 — 3B 활성 파라미터로 1T급 모델과 경쟁
    • SonicMoE GEMM 커널 + 세그먼트 공유 전문가 융합으로 17% end-to-end 훈련 가속
    • 토큰 효율성에서도 Pareto frontier를 재구성 — 유사 정확도에 토큰 사용량 대폭 절감
  18. 593Computer Vision

    Video Generation Models are General-Purpose Vision Learners

    • 비디오 생성 확산 모델을 다용도 비전 인식의 사전학습 패러다임으로 제안 — NLP의 next-token prediction에 해당하는 비전의 촉매 역할
    • 반복적 디노이징을 단일 순방향 패스로 변환해 depth, normal, segmentation, pose, keypoint 등을 텍스트指令로 제어
    • D4RT, VGGT-Ω 등 최고 성능 전용 모델과 동등하거나 우수하면서 학습 데이터는 7~500배 적게 요구
    • V-JEPA, VideoMAE V2 등 기존 사전학습 방식 대비 확산 기반 사전학습이 우수함을 실험적으로 입증
    • 합성 human 비디오만으로 학습해도 실제 영상·OOD 객체로 zero-shot 일반화 발생 — 세계 모델 내재의 증거
    • 전용 헤드·손실 없이 통합 backbone+head+loss 구조로 태스크 확장이 데이터 포맷 설계만으로 가능
  19. 592AI Agents

    Atomic Task Graph: A Unified Framework for Agentic Planning and Execution

    • 핵심 아이디어: 에이전트 태스크 해결을 atomic tool-use 노드와 입출력 의존성 edge로 구성된 DAG로 표현
    • Interface-preserving recursive graph compilation: coarse 태스크를 atomic 단위까지 재귀 분해하면서 부모 노드의 입출력 인터페이스를 보존해 그래프 진화를 추적 가능
    • Dependency-aware execution: 독립 브랜치를 병렬 실행해 평균 스텝을 ReAct 대비 ALFWorld 31.42→18.36, ScienceWorld 47.35→29.72로 단축
    • Minimal necessary subgraph repair: 에러 발생 시 검증된 영역을 보존하고 영향받은 최소 subgraph만 수리 → Mistral-7B에서 수리 제거 시 ALFWorld 7.72점 하락
    • Pre-execution thought experiment: 실행 전 경량 검증으로 위험 계획을 사전 감지(24.6%~27.4% 위험 계획 탐지, 74%+ 정밀도)
    • 환각 행동 비율 12.14% (ReAct 42.86% 대비 71.7% 상대 감소), 3개 벤치마크 평균 성공률 25.51→56.10 (Mistral-7B 기준)
  20. 591Computer Vision

    Understanding and Mitigating the Video-Action Generalization Gap via Temporal Ratio

    • VAG gap: 비디오 파운데이션 모델의 compositional prior가 로봇 행동 파인튜닝 후 상실되는 현상을 체계적으로 정의하고 분석
    • Temporal Ratio(TR): action head의 attention이 현재 프레임 대비 미래 latent rollout에 얼마나 집중하는지를 측정하는 지표로, compositional generalization 능력의 예측 변수로 작동
    • TR은 task phase에 따라 동적 변화: planning 단계에서 상승, 정밀 manipulation 단계에서 하강 — 이는 자연스러운 attention 패턴
    • TR-Adaptive Guidance: planning 구간에서 compositional conditioning 신호를 적응적으로 증폭하는 inference-time 기법
    • LIBERO 벤치마크에서 OOD 평균 성공률을 기존 VAM 대비 5배 이상 향상 (기존 ~10% → 가이드 적용 59.4%)
    • 실제 bimanual 로봇 작업(YAM)에서도 평균 83.3% 달성, π0(36.7%)과 π0.5(55.0%)를 크게 상회
  21. 590AI / General

    Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

    • '아는-쓰는 갭(Knowing-Using Gap)' 정식화: 암기는 거의 완벽하지만 일반화(다단계 추론)는 크게 뒤처지는 현상
    • self-patching 기법 도입: 특정 층의 표현을 다른 위치로 이동시켜 일반화 실패를 즉시 회복하는 인과적 진단 도구
    • 지식-회로 미정렬 가설: 암기된 표현이 초기/후기 층에는 있지만 중간 추론 층으로 라우팅되지 않아 실패 발생
    • Qwen-2.5(1.5B~7B), LLaMA-3.2(1B~8B) 6개 모델 × 생의학/학술 2개 도메인 교차 검증으로 견고성 입증
    • 고정 휴리스틱(전체 층의 0.8L→0.5L, 0.1L→0.5L 두 쌍만 사용)으로 오라클 개선의 58-75% 회복
    • CoT 프롬프팅이나 무관련 패칭보다 self-patching이 월등히 우수하여 구조적 원인임을 지지
  22. 589AI / General

    Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

    • '행동 상태 붕괴(behavioral state decay)' 개념 정의: 정보가 맥락에 있어도 행동에 영향을 주지 못하는 실패 모드
    • 별도 메모리 에이전트가 구조화된 메모리 뱅크를 유지하며 선택적 개입 여부를 결정하는 2단계 플러그앤플레이 아키텍처
    • Terminal-Bench 2.0에서 Sonnet 4.5 성능 37.6%→45.9% (+8.3pp), τ²-Bench에서 55.0%→61.8% (+6.8pp) 달성
    • 상위 모델(Opus 4.6)에서도 +2.4~2.5pp 개선 효과가 유지되어 강한 모델에서도 유효
    • 능동적 개입이 수동적 메모리 노출, 항상 주입, 어드바이저 모델, Mem0 검색보다 우수함을 폐널레이션으로 입증
    • Qwen3.5-27B를 SFT+GRPO로 훈련한 오픈웨이트 메모리 에이전트도 Terminal-Bench에서 +3.5pp transfer 달성
  23. 588LLMs / NLP

    What LLM Forecasters Know but Don't Say: Probing Internal Representations for Calibration and Faithfulness

    • 내부 프로브가 언어화 신뢰도보다 ECE를 절반 수준(0.044 vs 0.093)으로 낮춰 교정 성능 대폭 향상
    • CoT 증거 제거 시 23% 사례에서 예측은 바뀌지만 추론 과정은 변하지 않는 불성실성 발견 (ρ=0.22)
    • 프로브의 행동 변화 추적 정확도(ρ=0.57)가 CoT(ρ=0.22)를 크게 상회하며, CoT가 숨기는 영향도 84% 방향 정확도로 감지
    • forced answering 실험에서 예측 답안의 상당 부분이 추론 시작 전에 이미 결정되어 있음을 확인
    • 사전 추론 답 분포의 엔트로피로 질문을 3단계 분류해 30-47% 토큰 절감, 정확도 손실 없음
    • GLM-4.7-Flash, GLM-4.5-Air에서도 프로브 only 교정이 유효하여 가중치 업데이트 없이 교정 개선 가능
  24. 587Machine Learning

    Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

    • Product-key memory 희소 addressing으로 GDN 대비 ~4,000× 더 큰 상태 메모리 확장 (8B 기준)
    • 동일 FLOPs, 동일 파라미터에서 GDN 및 full attention 대비 우수한 학습 손실 달성
    • RULER 장문 회상: 128k에서 GDN 20.0% → SDM 31.2% (1.4B, +11.2%p 절대 향상)
    • 학습 가능한 초기 상태(learned M₀)로 사전학습 지식 저장, 공통 지식·추론 태스크 성능 추가 향상
    • 8B 규모에서 GDN 대비 추론 1.49× 느리지만 full attention 대비 6× 빠른 디코딩
    • 읽기/쓰기 분포가 가용 용량에 적응적으로 변화: 쓰기는 집중, 읽기는 분산 패턴
  25. 586Computer Vision

    AnchorPrune: Relevance-Anchored Contextual Expansion for Visual Token Pruning

    • 릴레반스 앵커 구성 후 문맥 확장이라는 순차적 설계로 비대체적 쿼리 증거를 우선 보호
    • 토큰의 novelty 프로파일에서 앵커 크기를 자동 적응 결정 (고정 비율 할당 아님)
    • CLIP 정렬/비정렬, 이미지/비디오 VLM 모두에 적용 가능한 아키텍처 인식 설계
    • LLaVA-NeXT-7B에서 160/2,880 토큰(5.6%)만으로 full 성능의 97.6% 유지
    • 극단 압축(32 토큰)에서 기존 relevance-diversity 통합 방식 대비 3.7~5.7%p 높은 성능
    • 훈련 불필요, 아키텍처 수정 없이 기존 VLM에 바로 적용 가능한 경량 프레임워크
  26. 585Robotics

    Native Video-Action Pretraining for Generalizable Robot Control

    • 의미론적 시각-액션 토크나이저(SemVAE)로 시각 표현과 액션을 공유 잠재 공간에 정렬
    • 인과적(causal) 사전학습으로 양방향 아키텍처 적용 시의 치명적 망각 회피, 처음부터 scratch 학습
    • Sparse MoE 백본으로 모델 용량 확장하면서도 스텝당 활성 연산량은 유지
    • Foresight Reasoning 비동기 추론으로 225Hz 실시간 폐루프 제어 달성 (baseline 35Hz에서 6.5× 속도 향상)
    • 10-15개 데모로 few-shot 일반화 달성, π0.5 및 LingBot-VA 대비 시뮬레이션·실제 평가 모두 우수
    • 멀티청크 예측(MCP)으로 단기 시각 연속성이 아닌 궤적 수준 역학 학습 유도
  27. 584Robotics

    EmbodiedGen V2: An Agentic, Simulation-Ready 3D World Engine for Embodied AI

    • 통합 sim-ready 표현: 메트릭 기하·충돌 기하·물리 파라미터·어포던스 주석을 단일 에셋에 통합
    • 모델 무관 에셋 파이프라인: TRELLIS/SAM3D/Hunyuan3D를 플러그인으로 연결, mesh repair·convex decomposition·texture baking 자동화
    • Task-driven Scene Graph: 자연어 과제를 분해하여 로봇·배경·조작 대상·방해물의 공간 제약을 풀고 물리적으로 안정된 6-DoF 배치 생성
    • Vibe Coding: 상태 저장 agent-skill harness로 자연어 명령→물리 검증된 bounded edit→시뮬레이터 export 워크플로우 구현
    • 크로스 시뮬레이터: MuJoCo·Isaac Sim·Genesis·SAPIEN·Bullet 대상 USD/MJCF/URDF 자동 export
    • 온라인 RL 검증: 생성 환경으로 VLA 정책 학습 시 시뮬 성공 9.7%→79.8%, 실제 로봇 21.7%→75.0%
  28. 583Machine Learning

    Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

    • GRPO의 group-wise 샘플링을 single-rollout로 대체하여 비동기 RL에서 대기 시간 제거 및 off-policy 감소
    • 직접 양측 토큰 수준 클리핑(Direct Double-Sided IS): rollout log-prob를 직접 사용하여 old-policy 추적 비용 제거
    • skip-observation GAE: multi-turn 에이전트 궤적에서 observation 토큰을 건너뛰고 action 간 advantage 계산
    • value model을 actor보다 더 자주 업데이트 + frozen attention 파인튜닝으로 single-rollout 안정화
    • GLM-5.2(750B-A40B) RL 파이프라인에 실배포: 약 1000 스텝 안정 학습 달성, GRPO 대비 일관된 성능 향상
    • 모의 온라인 학습 환경에서 보상 기준 변경 시 빠른 적응 확인 → 비정상 환경 적응력 입증
  29. 582Computer Vision

    Infinite Worlds with Versatile Interactions

    • 인과적 비디오 생성으로 1시간+ 무단하 강화, 오류 누적(accumulated error)에 강한 anti-drift 학습 파라다임 적용
    • 실시간 증류 모델: 720p 해상도 60fps로 무한 세계를 실시간 렌더링, 단일 GPU 배포 가능한 1.3B 버전 포함
    • 풍부한 인터랙션: 전투·궁술·마법 시전·사격·날씨 변화 등 기존 월드 모델 대비 압도적 액션 다양성
    • Pilot 에이전트(행동 계획·실행) + Director 에이전트(환경 콘텐츠 생성)로 구성된 agent harness 통합
    • 3-source 데이터 엔진: egocentric 영상 + 게임/Unreal Engine 합성 + 웹 비디오의 multi-granularity 주석 파이프라인
    • 전체 오픈소스(코드·체크포인트), 경쟁 모델(Matrix-Game-3.0, Genie 3 등) 대비 유일한 hour-level 무한 생성 달성
  30. 581Computer Vision

    Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence

    • MoE(희소 전문가) 구조 도입으로 dense 대비 추론 효율과 모델링 용량의 트레이드오프 개선
    • 데이터 프로파일링 엔진: 인터넷 비디오 + 로봇 조작/네비게이션/egocentric 데이터를 통합 분석·필터링·리밸런싱
    • 다차원 보상 시스템: 미적 품질을 넘어 물리적 합리성(physical rationality)과 과제 완수(task completion) 신호를 정렬에 반영
    • 단일 스트림 Diffusion Transformer + Multi-Modal 3D RoPE로 T2I/T2V/I2V를 하나의 프레임워크에서 통합
    • QK-Norm과 AdaLN-Single 변조로 심층 트랜스포머 안정성 확보, cascaded refiner로 품질 향상
    • embodied intelligence 분야 최초的大規模 오픈소스 MoE 비디오 기반 모델로, 코드와 체크포인트 공개

연구에서 제품 적용까지

운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.

보유기술 보기