연구자료실
설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.
연구자료 검색
논문 목록
T17. 자연어를 SQL로 바꾸기와 근거 기반 보고서 생성
- T17-19후보
InfiAgent-DABench: Evaluating Agents on Data Analysis Tasks
InfiAgent-DABench
한국어 검토 보기
해결 문제
- 데이터 분석 에이전트를 사람 손 없이 자동으로 평가할 방법이 없었다.
핵심 구조
- CSV 파일 52개에서 뽑은 데이터 분석 질문 257개(DAEval)와 에이전트 실행 프레임워크.
- 열린 질문을 정해진 답 형식으로 바꾸게 프롬프트를 짠다. 그래야 자동 채점이 된다.
주요 결과
- 대형 모델 34종을 평가했다. 전용 에이전트 DAAgent가 GPT-3.5보다 3.9%포인트 높았다.
한계
- 질문 257개로 규모가 작다. 답을 닫힌 형식으로 강제해서 실제 분석 보고서의 서술 품질은 못 잰다.
우리 기능과의 연결
- 우리 업무 실행 에이전트가 데이터를 스스로 열고 계산하고 답하는 능력을 재는 평가 틀로 향후 적용 후보다.
연구에서 제품 적용까지
운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.
보유기술 보기