연구자료실
설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.
연구자료 검색
새 논문 요약
요점은 편집자가 정리한 메모입니다. 원저자의 표현과 다를 수 있으니 원문을 확인하세요. 2026-11-20 갱신.
- 850LLMs / NLP
LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers
- 라우터를 5가지 구성 요소로 분해하는 통일된 프레임워크를 제안해, 기존 16종 이상의 이기종 라우터를 같은 언어로 비교할 수 있게 했다.
- 18개 모델 × 다양한 벤치마크 과제를 자동으로 돌려 라우팅 평가 데이터(xRouteBench)를 구축했다. 일반 NLP, 비전, 시계열, 개인화까지 포괄.
- 학습된 라우터가 고정 모델 선택보다 14.6% 상대적 향상을 보였다. 단, 비용 제한이 빡빡해지면 가벼운 라우터가 역전한다.
- 사용자 맞춤형 라우팅이 일관되게 개인화 효과를 가져왔다. 사용자 컨텍스트를 잘 모델링할 때만 효과가 있다.
- 오픈소스 라이브러리(LLMRouter)를 공개해 새 라우터를 몇 줄만에 추가할 수 있게 했다.
- 849LLMs / NLP
The Bitter Lesson of Tool Calling
- 14개 모델 중 11개에서 파이썬 코드 방식(PTC)이 JSON 방식과 같거나 더 좋은 정확도를 보였다. GPT-5.6 family는 10.6%까지 향상됐다.
- 도구를 연쇄적으로 호출(chaining)할 때 코드 방식이 압도적으로 유리했다. chain 길이 12 이상에서는 JSON 대비 18.8% 높은 정확도를 기록했다.
- JSON 방식은 한 번에 70개 이상 도구를 호출하면 호출 누락이 생기지만, 코드 방식은 100개까지도 100% 정확도를 유지했다.
- 컨텍스트가 오염되는 조건(context rot)에서 코드 방식은 안정적이었지만 JSON 방식은 평균 2.3% 하락했고, 파일시스템 방식은 32%나 추락했다.
- PTC 성능은 모델 패밀리보다 모델 세대(출시 시기)에 따라 결정되는 패턴을 보였다.
- 848Research
Moduli of the Sourceless Framed Beltrami-Vekua Normal Form
- 경계가 있고 단순 연결된 영역의 무원본 벨트라미-베쿠아 방정식을 단위원판의 최소 형태로 줄이고 남는 대칭을 정확히 규정했다.
- 계수장이 0이 없는 경우 쌍 ϑ와 K가 방정식을 완전히 분류하고, 가능한 불변량의 범위도 정했다.
- 영점이 있는 위상 적분 가능 구역에서는 분류 자료를 ϑ와 dη, d⋆η의 세 값으로 넓혀 소용돌이 전하와 나머지 위상 곡률을 분리했다.
- 질량과 전하가 같아도 서로 동등하지 않은 방정식을 직접 구성해 두 숫자만으로는 무한 차원의 분류 공간을 담지 못함을 보였다.
- 다중 연결 영역에서는 주기 자료를 더해야 하고, 거친 가측 계수나 위상 적분이 안 되는 영점에서는 완전 분류가 아직 열린 문제다.
- 847Machine Learning
Continual Learning in Transition
- 기존 지속학습은 '파라미터 업데이트'가 전부였지만, 이제는 메모리·스킬·프로토콜 등 모델 바깥의 요소까지 학습 영역으로 봐야 한다고 주장했다.
- 3축 프레임워크(When·Where·How)를 제안해서 기존 수십 개 방법론을 하나의 지도에서 비교할 수 있게 했다.
- on-policy 학습(모델이 직접 경험하면서 배우는 방식)이 기존 off-policy 방식보다 망각 문제를 줄이는 데 유리하다고 정리했다.
- 검증 가능한 보상(verifiable reward)이 에이전트가 사람 도움 없이 스스로 개선하는 핵심 다리 역할을 한다고 분석했다.
- 현재 연구가 밀집된 영역과 텅 빈 영역을 구분해서, 시스템 수준의 통합 학습이 앞으로의 핵심 도전 과제임을 지적했다.
- 846Computer Vision
Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models
- VAE 기반 세계행동 모델의 대규모 영상 사전학습은 보존하면서 외형 변화에 강한 의미 정보를 더하는 사후 학습법을 제안했다.
- 행동 흐름에 시간 위치가 붙은 학습용 질의 토큰을 넣고 미래 장면의 DINOv3 의미 표현과 맞춰 추론 시 추가 비용을 작게 유지했다.
- LIBERO-Plus에서 FastWAM과 GE-Act의 분포 밖 성공률을 각각 9.2%포인트와 8.6%포인트 높이면서 정상 조건 성능은 유지했다.
- 실제 Franka 로봇의 조명 색 변경에서 GE-Act 성공률을 57.3%에서 80.0%로 높였고 여러 세계행동 구조에 같은 방식을 붙일 수 있었다.
- 검증한 변화는 두 모의실험 벤치마크와 한 실제 로봇의 조명·색 변화 중심이어서 더 복잡한 물체·배경·동작 변화에 대한 강건성은 추가 확인이 필요하다.
- 845Computer Vision
MASS: Multiplayer World Models with Authoritative Shared State
- 여러 사용자가 공유하는 세계를 좌표와 방향, 생존 여부 같은 형식 있는 개체 기록으로 명시해 하나의 권위 있는 상태로 유지했다.
- 상태를 갱신하는 Logic Engine과 카메라 영상을 만드는 Rendering Engine을 나눠 세계 전이 비용을 요청된 화면 수와 분리했다.
- 맞춘 Snake 평가에서 상태 복구 정확도 0.764로 영상 기반 기준의 0.128보다 높았고, 1024개 플레이어를 1만 단계까지 구조적으로 유효하게 진행했다.
- 선언형 스키마로 여러 게임에 같은 구조를 적용하고, 네트워크 지연 때 클라이언트가 공유 상태를 예측하는 활용도 보였다.
- 현재 증거는 주로 단순한 2차원 게임과 제한된 개체 상호작용에 머물며, 저자들도 3차원 환경과 더 복잡한 상호작용을 후속 과제로 남겼다.
- 844Computer Vision
Energy-Guided Flow Matching
- 흐름 맞추기의 고정된 깨끗한 영상 종착점을 저주파 영상에서 원본으로 움직이는 종착점으로 바꿔 거친 구조부터 세부를 만들게 했다.
- 영상마다 주파수 에너지를 계산해 빠진 에너지가 같은 비율로 풀리도록 열 확산 시간을 자동 조절했다.
- ImageNet 256×256에서 200회 학습 뒤 FID 1.55, 600회 뒤 1.45를 기록해 품질과 학습 효율을 함께 높였다.
- 512×512에서는 FID 1.58, 글로 영상 만들기에서는 GenEval 0.85와 DPG-Bench 83.9를 기록했고 구조 변경이나 추가 손실이 필요 없었다.
- 비디오와 시간에 따라 변하는 신호, 글과 영상의 공동 모형, 몸을 쓰는 의사결정 및 가장 큰 최신 기반 모델에서는 아직 평가되지 않았다.
- 843Computer Vision
KVAE: Family of Tokenizers for Multimodal Generative Models
- 비디오는 두 압축 비율, 이미지는 여덟 배 압축, 오디오는 48kHz·50Hz 잠재 표현을 쓰는 KVAE 토크나이저 묶음을 설계했다.
- 영상과 이미지 복원·생성 평가에서 Wan-2.2와 HunyuanVideo-1.5, FLUX.2 등 공개 토크나이저와 같거나 더 나은 결과를 보고했다.
- 오디오 모델은 1억6690만 매개변수로 더 큰 비교 모델들보다 작으면서 사람의 나란히 듣기 평가에서 여러 영역의 선호 우위를 보였다.
- 복원 품질만이 아니라 생성 모델이 배우기 쉬운 잠재 공간인지를 뜻하는 확산 가능성을 설계 기준으로 다뤘고 코드와 모델을 MIT 허가로 공개했다.
- 오디오 FAD 평가기는 내부적으로 16~32kHz만 처리해 16kHz 위의 전대역 품질을 재지 못하고, 모델 기반 미감 점수도 평가기의 편향에서 자유롭지 않다.
- 842Machine Learning
On-Policy Self-Distillation without Any Supervision
- 외부 정답·환경 피드백·대형 모델 없이 모델 자체 생성만으로 자기 증류를 달성했다.
- 다수결 투표로 의사 해답을 만들고, 가장 짧은 동의 롤아웃을 교사로 사용한다.
- 틀린 롤아웃의 접두사에 증류를 적용해 모델이 틀린 부분을 정확히 교정한다.
- 수학 벤치마크에서 비사고 모드 기준 base 대비 +8.5~10.7%p, OPSD 대비 +3.2~2.3%p 개선.
- 순방향 KL이 가장 효과적이고, 역방향 KL은 학습이 발산하며 JSD는 효과가 없다.
- 841Computer Vision
Wan-Animate-2: Pushing the Application Boundaries of Character Animation
- 중간 모션 추출기(스켈레톤·SMPL)를 제거하고 드라이빙 비디오를 DiT에 직접 주입했다.
- 이중 브랜치 설계·시간 정렬 RoPE·희소 참조 어텐션으로 충실도와 효율을 잡았다.
- 텍스트 프롬프트로 출력 카메라 시점을 제어하는 Viewpoint LoRA를 도입했다.
- Wan-Animate-2-Lite는 3단계 훈련(teacher forcing·error buffer·self-forcing)으로 24fps 실시간 달성.
- 사용자 연구에서 상용 폐쇄소스(Dreamina·Kling)와 동급이거나 더 좋다는 평가를 받았다.
- 840AI / General
HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
- 하네스 최적화를 재현 가능한 평가 타겟으로 만드는 신뢰 실행 환경을 설계했다.
- 5개 프론티어 모델·4개 태스크·111회 평가로 모델·하네스·태스크를 분리했다.
- 최적화 모델 간 차이가 코딩 하네스 간 차이보다 평균적으로 더 크다.
- 광범위한 수정이 더 큰 개선과 연관되고, 실패 추적 상세 분석은 개선과 무관하다.
- 네이티브 하네스가 공유 하네스보다 항상 좋지는 않다 (11승 9패).
- 839LLMs / NLP
Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning
- 스킬 엔트로피: 두 기술 사이 전환 난이도를 측정하는 방향성 있는 지표를 정의했다.
- 558개 기술, 9개 도메인으로 구성된 Skill2-Bench 벤치마크를 구축했다.
- 프론티어 모델들이 스킬 엔트로피가 높은 과제에서 정확도가 단조롭게 하락한다.
- 스킬 엔트로피 RL로 Qwen3-4B를 34.4%에서 68.4%로, Qwen3-1.7B를 14.6%에서 40.1%로 개선했다.
- OpenR1-Math 등 기존 학습 데이터에도 적용 가능한 재사용 가능한 훈련 신호다.
- 838Robotics
GeniWorld: A Generalizable Interactive World Model for Robotic Manipulation via Visual Actions
- 수치 행동 대신 URDF 렌더링 기반 시각 행동 표현으로 공간적 정확도를 높였다.
- 로봇 운동학과 환경 역학을 분리해 장면 과적합을 줄이고 일반화를 개선했다.
- 자기회귀 비디오 예측으로 폐루프 상호작용을 지원한다 (8 Hz, H20 GPU).
- 제한된 실제 데이터만으로 OOD 환경에서 강건한 제로샷 일반화를 달성했다.
- 세계 모델에서 합성한 궤적으로 전체 정책 성공률을 40.8%에서 69.0%로 향상시켰다.
- 837Machine Learning
The Loss Does Not See the Basis, but Adam Does
- 게이지 동등성(회전 불변성)이 저랭크 편향 유지에 필요한 조건임을 증명했다.
- GD·Muon·Shampoo는 동등하고, Adam·RMSProp·Lion은 아님을 9종 최적화기 분류로 보였다.
- 행렬 센싱에서 동등 클래스는 복구 오차 0.00~0.29, 좌표별 클래스는 0.42~0.57이다.
- 트랜스포머에서 Adam이 게이지 동등 초기화를 첫 스텝부터 갈라놓고, 56% 차이를 만든다.
- 좌표별에서 동등 스칼라로 가는 보간을 통해 단조 개선되며, 이질성이 원인임을 입증했다.
- 836Robotics
JoyAI-RA 0.5: Scaling Robot Manipulation Learning via Dual Action Alignment
- 인간 동영상에서 잠재 행동을 추출해 물리적 역학을 학습하는 세계 모델(LAC-WM)을 구축했다.
- 인간과 로봇 궤적을 통일된 물리 행동 공간으로 정렬하는 명시적 정렬 방식을 제안했다.
- 내외부 루프 강화학습으로 빠른 적응과 기반 정책 개선을 동시에 달성했다.
- 인간 1인칭 비디오 스케일이 커질수록 로봇 성능이 일관되게 향상되고, 정체가 없다.
- 실제 AgiBot 로봇에서 본 작업과 새로운 변형 모두에서 강력한 성능을 보였다.
- 835AI / General
Recursive Synthesis for Long-Horizon Terminal Tasks
- 재귀적 합성으로 과제를 점점 어렵게 만들면서도 명령·환경·해답·검증기 일관성을 유지한다.
- 15라운드 만에 37,484개 과제를 생성했고, 합성 수율이 줄지 않아 천장이 없다.
- 중간 해답 길이가 67줄에서 374줄로 5.6배 늘었고, 명령 수도 6배 이상 증가했다.
- 합성 데이터로 SFT·PPO 훈련 시 Terminal-Bench 2/Hard/Long-Horizon에서 최대 10점 개선됐다.
- DeepSeek-V4-Pro pass@4가 90%에서 2.5%로 떨어질 만큼 과제 난이도가 올라간다.
- 834Robotics
$ω$-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation
- 이동과 조작을 분리하지 않고 전신 협동 동작을 하나의 모델로 학습시켰다.
- 미래 비디오 생성 대신 잠재 임베딩 예측(가벼운 세계 모델)으로 행동 품질을 높였다.
- 40시간 규모 실제 가정환경 휴머노이드 데이터셋(ω-HOME)을 구축하고 공개했다.
- 11가지 가사 작업을 단일 모델로 수행하며 기존 모방학습·VLA·WAM 기법들을 능가했다.
- 인간 동영상 데이터를 시뮬레이션 재생을 통해 로봇 실행 가능한 행동으로 변환하는 파이프라인을 제안했다.
- 833AI / General
AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning
- 토큰 단위 증류 격차를 턴 단위로 모아서 환경 전환점과 정렬시켰다.
- 순환 베이지안 신념 갱신으로, 앞선 턴들의 누적 맥락을 반영한 크레딧을 계산한다.
- ALFWorld Qwen2.5-7B에서 89.1% 성공률로 GRPO와 기존 자기증류 기법들을 뛰어넘었다.
- 긴 호라이즐일수록 성능 격차가 커지며, 짧은 태스크에서는 효과가 줄어든다.
- 추가 롤아웃이나 학습된 비평자 없이 표준 정책 최적화와 완전 호환된다.
- 832Research
Two-dimensional Toda--Arnoldi correspondence: Holomorphic Krylov geometry and counterdiabatic transport
- 비에르미션 해밀토니안의 Arnoldi 환원에서 대각/부대각 계수가 2차원 Toda 격자의 Flaschka 변수와 정확히 일치함을 증명했다.
- 이 Toda 구조는 Arnoldi 행렬의 나머지 상부 Hessenberg 항을 결정하지 않고도 닫힌다.
- 부대각 계수의 제곱이 Krylov 부공간의 Fubini-Study 계량과 Berry 곡률을 결정한다.
- 실제 경로를 따라 Arnoldi 프레임이 정확한 isospectral 이동을 생성하고 counterdiabatic 구동을 실현한다.
- 에르미션 극한에서 기존 Toda-Lanczos 대응으로 환원됨을 확인했다.
- 831AI / General
ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment
- 정답에서 역추적해 중간 힌트(clue)를 복원하고 각 검색 단계를 이 힌트 대비로 평가하는 ABC 프레임워크를 제안했다.
- 실패한 궤적의 유용한 단계도 보상하고 성공한 궤적의 불필요한 단계는 벌점을 주는 정밀 크레딧 할당이 핵심이다.
- ABC-SFT는 단계별 손실 가중치를, ABC-GRPO는 단계별 보상을 사용해 기존 SFT/GRPO를 모두 개선한다.
- 4B 모델로 BrowseComp 37.3→55.3%, BrowseComp-ZH 39.1→52.9%로 같은 규모에서 최고 성능을 달성했다.
- 8.5K 예제만으로 학습해 xbench, GAIA 등 다른 벤치마크로도 잘 일반화되었다.
- 830Computer Vision
Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding
- 3D 위치 정보(깊이+카메라 자세)로 시각 토큰을 공간적으로 압축해 긴 비디오를 효율적으로 처리한다.
- 3D Rotary Positional Embedding으로 어텐션이 3D 공간에서 직접 작동해 교차 시점 추론을 개선했다.
- 언어모델과 segmentation 디코더가 full visual token을 공유하는 구조로 3D 시각 grounding에서 대폭 향상되었다.
- 3D visual grounding +4% Acc@25, 3D instance segmentation +13% mAP로 기존 3D LMM을 능가했다.
- 2D 비전-언어 벤치마크 성능은 Qwen2.5-VL 수준을 유지해 3D 학습이 2D 능력을 해치지 않음을 보였다.
- 829AI / General
ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning
- 전문가 모델의 실패 궤적(GNT)이 자체 실패나 약한 모델 실패보다 반복 학습에 훨씬 효과적임을 입증했다.
- GNT는 정답에 가까운 valid prefix와 국소적 오류 지점을 모두 포함해 반성 학습의 질 높은 자료가 된다.
- Reflective-to-Direct Policy Transition로 힌트 의존에서 점차 자력 풀이로 능력을 전이시킨다.
- 9개 벤치마크, 4개 모델(1.5B~8B), 4개 학습 방법에서 일관된 정확도 향상을 달성했다.
- 응답 길이를 절반 이하로 줄이면서도 정확도는 올리고, 엔트로피 붕괴도 방지했다.
- 828Computer Vision
HelloWorld: Enabling Socially Interactive Characters in Video World Models
- 비디오 월드 모델에서 캐릭터-사용자 간 사회적 상호작용(손흔들기, 인사, 말걸기)을 최초로 구현했다.
- 기존 모델이 자체 생성한 상호작용 영상을 학습 데이터로 재활용하는 self-distillation 파이프라인을 제안했다.
- 훈련 없이 크로스 어텐션 마스크만으로 상호작용 발생 시점을 프레임 단위로 정밀 제어한다.
- 최초의 사회적 상호작용 벤치마크 HelloWorldBench(400샘플, 3가지 상호작용 지표)를 구축했다.
- 기존 월드 모델들을 상호작용 품질에서 크게 앞서며 영상 미학과 카메라 추종에서도 SOTA 수준을 유지했다.
- 827Computer Vision
ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation
- 추론, 외부 도구(텍스트/이미지 검색), 이미지 생성을 하나의 UMM 정책으로 통합한 최초의 완전 에이전트 이미지 생성 모델이다.
- SFT에서 이미지 생성 도구를 숨기고 결과 이미지만 남겨 UMM이 직접 그리게 하는 광학적 변환 기법을 개발했다.
- 의도 보상(intent)과 품질 보상(quality)을 결합한 RAD-GRPO로 추론-검색-그리기 전체 궤적을 강화학습한다.
- 7,132개 고품질 SFT 트레이터리만으로 WISE, WorldGenBench-Humanities에서 부분 에이전트 방식들을 능가했다.
- 학습 데이터와 전체 후처리 인프라를 공개 개방했다.
- 826AI / General
Argus: A General-Purpose Agentic Runtime for Long-Horizon Reasoning
- 검증 게이트를 통해서만 목표/접근법 변경을 승인하는 'verification-gated runtime self-evolution' 구조를 제안했다.
- Manager, Planner, Engineer, Reviewer 4역할이 durable project state 위에서 bounded mission을 수행한다.
- SWE-Bench Pro에서 Direct Copilot(59%) 대비 78%로 크게 앞서며 1.41x 토큰을 사용했다.
- 성숙 단계에서는 신규 Wave 대비 solve 토큰 21% 절감, 워크플로우 시간 15% 단축을 관찰했다.
- 7개 GPT-5.5 벤치마크에서 검증되었고, 실제 RWKV6 커널이 upstream에 머지되는 등 실용적 산출물을 만들었다.
- 825Machine Learning
Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility
- 테스트 타임 스케일링을 단일 경로, 리프 레벨, 프리픽스 레벨의 3가지 구조적 체계로 정식화했다.
- 평가 대상이 모델 가중치가 아니라 전체 추론 시스템(프롬프트, 디코더, 검증기, 중단 규칙 등)임을 강조했다.
- mean log probability 선택은 샘플이 많아질수록 정확도가 75.6%→65.8%로 하락하는 등 잘못된 선택 기준의 위험성을 입증했다.
- 20억 개 이상의 추론 트레이스(수학, 과학, 경시대회)를 공개하여 재현 가능한 연구 기반을 마련했다.
- 오픈 웨이트 추론 모델 생태계를 학습 방식과 인터페이스 제어 기준으로 정리했다.
- 824Computer Vision
OPD-V: Visual On-Policy Self-Distillation with Modality Balance
- 멀티모달 모델의 '텍스트 편향 현상(modality imbalance)'을 정량화하고 이를 특권 정보로 활용하는 새로운 패러다임을 제안했다.
- 줌인 이미지(긍정 교사)와 마스크 이미지(부정 교사)의 로짓 차이로 '모달리티 균형 신뢰 영역'을 정의해 선택적 증류를 수행한다.
- Qwen3.5-4B에서 평균 64.3%→80.0%로 15.7%p 향상하며 397B 모델(77.4%)까지 능가했다.
- 응답 길이를 74.5% 단축시키면서 정확도는 올려 학습 단당 시간을 25~32% 단축했다.
- 6개 벤치마크, 4개 백본, 5개 후처리 방법에서 일관된 향상을 보였다.
- 823Robotics
BridgeVLA++: A Data-Efficient, Generalizable, and Memory-Augmented Vision-Language-Action Framework for 3D Manipulation
- 3D VLA 모델에 시간 기억(작업 순서 기억)과 공간 기억(가려진 물건 위치 기억)을 통합한 최초의 프레임워크다.
- 점구름을 다뷰 이미지로 바꿔 VLM에 넣고 히트맵으로 행동을 예측하는 방식으로 데이터 효율성을 극대화했다.
- 기억 의존 벤치마크(RMBench, MemoryBench)에서 이전 SOTA 대비 평균 20%→93.3%로 획기적 향상을 달성했다.
- 실제 로봇(Franka, Dobot)에서 10회 이내 학습만으로 강한 일반화 성능을 보였고 양팔 조작까지 확장했다.
- 히트맵 중간 표현, 2D 사전학습, 입력 정렬이 성능의 핵심이며 3D 위치 입력은 오히려 성능을 떨어뜨린다.
- 822Robotics
DreamWAM: Beyond RGB Future Prediction for World Action Models
- 미래 예측을 RGB에서 움직임(optical flow), 깊이, 의미 정보로 확장하여 로봇 행동 모델의 강건성을 크게 높였다.
- 학습 때만 추가 정보를 사용하고 추론 때는 RGB만 쓰므로 배포 비용이 늘지 않는다.
- LIBERO 표준에서 97.3%→98.4%로 소폭 향상, unseen 변화(LIBERO-Plus)에서는 51.4%→63.4%로 대폭 개선했다.
- 실제 로봇 실험에서도 표준 90.8%→96.7%, perturbation 55.6%→74.4%로 강건성 이득이 일관되게 나타났다.
- 세 가지 보조 정보 중 움직임이 가장 중요하며, 깊이와 의미는 residual 방식으로 주입하는 것이 최적이다.
- 821Computer Vision
Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes
- 언어와 시각 이해가 시각 생성을 이끄는 강한 프라이어 역할을 하지만, 역방향 전이는 약한 비대칭 구조를 발견했다.
- 데이터 복잡도가 낮을 때는 모달리티 간 시너지가, 높을 때는 경쟁이 발생하며 공유 어텐션 구조가 시너지를 촉진한다.
- 초기 통합 학습이 후기 정렬보다 압도적으로 효과적이며, 늦게 합치면 '시각 나태함(vision laziness)' 현상이 나타난다.
- 이 원리들로 5% 연산량만 사용하는 학습 레시피를 만들어 2T 토큰으로 13.5B MoE 모델을 학습, 강력한 생성 성능을 달성했다.
- 시각 토크나이저 설계와 무관하게 아키텍처 선택에 따른 시너지 패턴이 일관되게 나타났다.
연구에서 제품 적용까지
운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.
보유기술 보기