연구자료실
설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.
연구자료 검색
논문 목록
T07. 구조화 출력, 스키마 검증, 문서 이해
- T07-11유사문제2025년 이후
JSONSchemaBench: A Rigorous Benchmark of Structured Outputs for Language Models
JSONSchemaBench
한국어 검토 보기
해결 문제
- 구조화 출력 도구가 여럿인데, 무엇이 얼마나 잘 되는지 공정하게 비교할 기준이 없었다.
핵심 구조
- 실제 현장에서 쓰이는 JSON 스키마 1만 건을 모아 벤치마크를 만든다. 평가 축을 셋으로 나눈다. 형식을 지킨 출력을 얼마나 빨리 만드는가, 다양한 제약 종류를 얼마나 넓게 지원하는가, 나온 내용의 품질은 어떤가.
주요 결과
- Guidance, Outlines, llama.cpp, XGrammar, OpenAI, Gemini 등 6개 방식을 공식 JSON Schema 테스트 모음과 함께 비교했다. 각 방식이 지원하지 못하는 스키마 영역이 있음을 보였다.
한계
- 벤치마크 시점의 구현 기준이다. 도구가 빨리 바뀌어 수치는 금방 낡는다.
- 왜 우리와 관련 있나. 우리 스키마가 실제로 강제 가능한지, 어떤 엔진을 골라야 하는지 판단하는 평가 틀로 쓸 수 있다.
연구에서 제품 적용까지
운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.
보유기술 보기