연구자료실
설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.
연구자료 검색
논문 목록
T05. 사람 검토와 승인 절차 (human in the loop, approval workflow)
- T05-4구조대응
A Model for Types and Levels of Human Interaction with Automation
한국어 검토 보기
해결 문제
- "어디까지 기계가 하고 어디서 사람이 끊는가"를 말할 공통 언어가 없었다.
핵심 구조
- 자동화를 네 단계로 나눈다. 정보 수집, 정보 분석, 의사결정 선택, 실행이다. 각 단계마다 자동화 수준(기계가 얼마나 많이 결정하는가)을 낮은 것부터 높은 것까지 눈금으로 매긴다. 그다음 사람 성능, 작업 부하, 상황 인식, 자동화 신뢰를 기준으로 수준을 고르는 반복 절차를 제시한다.
주요 결과
- 자동화 수준을 고르는 표준 틀이 나왔다. 이후 사람과 자동화 협업 연구의 공통 어휘가 됐다.
한계
- 개념 틀이다. 구체적인 수치 기준은 안 준다. 사례별 판단은 설계자 몫이다.
우리 기능과의 연결
- 승인 단계를 어디에 둘지 정하는 원전이다. 수집, 분석, 결정, 실행 중 어느 단계에서 사람을 끼울지 나누는 구조에 맞대볼 수 있다.
- T05-6구조대응
On Optimum Recognition Error and Reject Tradeoff
한국어 검토 보기
해결 문제
- 분류기가 애매한 건을 억지로 판정하면 틀린다. 답을 미루는 선택지(reject option, 모델이 판정을 보류하고 사람에게 넘기는 것)를 언제 써야 최적인지 이론이 없었다.
핵심 구조
- 오답률과 보류율의 맞바꿈을 수식으로 세운다. 사후확률이 가장 높은 값이 문턱값보다 낮으면 보류한다는 규칙을 낸다. 이 규칙이 최적임을 증명한다. 문턱값 하나가 보류 비용과 직접 연결된다.
주요 결과
- 오답률과 보류율 사이 관계식(Chow 규칙)이 나왔다. 지금 쓰는 위험 대 처리율 곡선의 원형이다.
한계
- 사후확률을 정확히 안다고 가정한다. 실제 모델의 확신도는 어긋나 있는 경우가 많다.
우리 기능과의 연결
- AI 판정에 "판단 보류" 상태를 넣을 때 보류 문턱값을 비용으로 환산하는 계산의 뿌리다.
- T05-7구조대응
Learning with Rejection
한국어 검토 보기
해결 문제
- Chow 규칙은 확률을 안다고 가정한다. 확률을 모르는 상태에서 보류를 어떻게 학습으로 배울지는 다른 문제다.
핵심 구조
- 예측 함수와 보류 함수를 한 쌍으로 놓고 같이 학습한다. 보류 비용을 넣은 손실을 정의한다. 그 손실에 대한 볼록 대리 손실(convex surrogate, 최적화하기 쉬운 대체 손실)을 만들고 일반화 성능 한계를 증명한다.
주요 결과
- 보류를 학습 이론으로 정식화했다. 신뢰도에 문턱값을 거는 기존 방식보다 실험에서 나았다.
한계
- 이진 분류 중심이다. 보류 비용을 상수로 본다. 사람이 처리한 뒤의 결과는 안 본다.
우리 기능과의 연결
- 자동 처리와 사람 검토를 나누는 경계를 학습으로 정하는 구조의 이론 근거다.
- T05-8구조대응
Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer
한국어 검토 보기
해결 문제
- 앞선 보류 학습은 모델이 답을 미루면 거기서 끝난다고 본다. 미룬 건을 누가 받는지는 안 따진다. 실제로는 사람 결정자가 받는다. 그 사람도 실력이 들쭉날쭉하고 편향이 있다.
핵심 구조
- 자동 모델과 외부 결정자를 두 단계로 잇는 틀을 세운다. 모델은 "패스"를 골라 결정을 아래로 넘길 수 있다. 여기까지는 기존 보류 학습이다. 한 걸음 더 나간다. 넘겨받는 쪽이 어떻게 판단하는지를 학습에 같이 넣는다. 이걸 넘김 학습(learning to defer, 누가 받을지까지 계산해서 미룰지 말지 배우는 것)이라 부른다. 외부 결정자가 가진 편향을 감안하는 학습 알고리즘을 낸다.
주요 결과
- 넘김을 배운 시스템이 정확도도 오르고 편향도 줄었다. 넘겨받는 사람이 일관성이 없거나 편향돼 있어도 전체 성능이 나아졌다.
한계
- 사람 결정자 모형이 단순하다. 공정성 지표에 초점이 있다. 넘김 비용, 대기 시간, 검토자 피로는 안 본다.
우리 기능과의 연결
- 넘김 학습이라는 말이 여기서 나왔다. 7번 Cortes의 보류 학습과 10번 Mozannar를 잇는 계보의 출발점이다. AI 판정을 사람에게 넘길 때 받는 담당자의 판단 습관까지 계산에 넣는 구조에 맞대볼 수 있다.
- T05-9구조대응
SelectiveNet: A Deep Neural Network with an Integrated Reject Option
한국어 검토 보기
해결 문제
- 보통은 학습 다 끝난 모델의 확신도에 문턱값을 걸어 거부를 만든다. 그건 사후 처리라서 최적이 아니다.
핵심 구조
- 예측 머리와 선택(보류) 머리를 한 신경망에 넣고 같이 학습한다. 목표 처리율(coverage)을 제약으로 걸어 학습한다. 보조 머리를 하나 더 둬서 학습이 무너지지 않게 한다.
주요 결과
- 여러 분류와 회귀 데이터셋에서 위험 대 처리율 곡선이 일관되게 좋아졌다. 당시 선택적 분류 최고 성능을 기록했다.
한계
- 처리율 목표를 미리 정해야 한다. 목표를 바꾸려면 다시 학습해야 한다.
우리 기능과의 연결
- 영상 안전 판단에서 "확실한 건은 자동 판정, 애매한 건은 사람 확인"으로 나눌 때 그 경계 자체를 학습으로 정하는 구조에 맞대볼 수 있다.
- T05-10구조대응
Consistent Estimators for Learning to Defer to an Expert
한국어 검토 보기
해결 문제
- 모델이 항상 답을 내야 한다는 가정을 깬다. 모델이 직접 예측할지, 사람 전문가에게 넘길지를 같이 배우게 한다.
핵심 구조
- 분류기와 넘김 판정기를 한 번에 학습한다. 비용민감 학습(cost sensitive learning, 오답 종류마다 손실이 다른 학습)으로 바꿔 푼다. 교차 엔트로피를 일반화한 대리 손실을 제안하고, 그 손실이 일관성(consistency, 표본이 늘면 최적해로 수렴하는 성질)을 갖는다는 걸 증명한다.
주요 결과
- 전문가 결정 표본만 있으면 학습이 된다. 여러 과제에서 사람 단독, 모델 단독보다 팀 성능이 좋아졌다.
한계
- 전문가가 한 명이고 실력이 고정이라고 본다. 넘김 비용, 사람의 피로, 대기 시간은 안 다룬다.
우리 기능과의 연결
- 8번 Madras가 연 넘김 학습에 이론 보증을 붙인 쪽이다. 제조 AI 분석과 영상 안전 판단에서 "AI가 자동 처리할 건과 사람 검토로 넘길 건"을 규칙이 아니라 학습으로 나누는 구조에 맞대볼 수 있다.
- T05-11구조대응
Learning to Complement Humans
한국어 검토 보기
해결 문제
- 모델을 혼자 제일 잘하게 학습시키면 사람과 합쳤을 때 최적이 아니다. 팀 성능을 목표로 학습해야 한다.
핵심 구조
- 사람과 기계의 결합 성능을 목적함수로 놓고 끝에서 끝까지(end-to-end) 학습한다. 사람이 어려워하는 건에 모델 용량을 몰아주고, 모델이 어려워하는 건은 사람에게 묻는다. 과학적 발견과 의료 진단 두 영역에서 검증했다.
주요 결과
- 이렇게 만든 사람 기계 팀이 사람 단독, 기계 단독보다 나았다. 어떤 조건에서 상호보완이 잘 되는지도 정리했다.
한계
- 사람 행동 모형이 단순하다. 실제 운영에서 사람이 바뀌거나 부하가 달라지는 상황은 안 본다.
우리 기능과의 연결
- AI 기준정보 생성에서 사람이 잘 잡는 항목과 모델이 잘 잡는 항목을 나눠 학습 목표를 잡는 구조에 맞대볼 수 있다.
- T05-12구조대응
Machine Learning with a Reject Option: A survey
한국어 검토 보기
해결 문제
- 모델은 틀릴 것 같은 순간에도 무조건 답을 낸다. 답을 미루는 능력을 어떻게 설계하고 평가할지 정리가 필요했다.
핵심 구조
- 미루는 이유를 두 가지로 형식화한다. 하나는 애매해서 미루는 경우(ambiguity rejection), 다른 하나는 처음 보는 데이터라서 미루는 경우(novelty rejection). 평가 방법, 모델 구조, 학습 기법을 유형별로 정리했다.
주요 결과
- 서베이라서 새 실험은 없다. 대신 위험 대 처리율 곡선(risk coverage) 같은 공통 평가 축을 제시한다.
한계
- 정리 논문이다. 특정 도메인의 최적 설정은 안 준다. 사람에게 넘긴 뒤의 처리 비용도 범위 밖이다.
우리 기능과의 연결
- QFactory MES 안의 AI 판정에 "판단 보류" 상태를 넣고, 보류율과 정확도의 균형을 수치로 관리하는 설계에 맞대볼 수 있다.
- T05-19구조대응
Identifying the Risks of LM Agents with an LM-Emulated Sandbox (ToolEmu)
한국어 검토 보기
해결 문제
- 도구를 쓰는 언어모델 에이전트가 실제로 어떤 사고를 내는지 안전하게 미리 확인할 방법이 없었다.
핵심 구조
- 언어모델로 도구 실행을 흉내내는 모의 환경(ToolEmu)을 만든다. 실제 시스템을 안 건드리고 위험 시나리오를 돌려본다. 실패를 자동 채점하는 안전 평가기도 같이 만들었다.
주요 결과
- 위험도 높은 도구 모음 36개, 시험 사례 144건으로 평가했다. 자동으로 찾아낸 실패 중 68.8퍼센트가 사람 평가에서 실제로 일어날 수 있는 실패로 인정됐다. 가장 안전한 에이전트도 23.9퍼센트에서 실패했다.
한계
- 실행이 모의라서 실제 시스템의 부작용은 재현이 덜 된다. 평가기가 언어모델이라 편향이 있을 수 있다.
우리 기능과의 연결
- 업무 실행 에이전트에 승인 게이트를 붙이기 전에, 어떤 동작을 반드시 사람 승인 대상으로 지정할지 위험 시험으로 정하는 구조에 맞대볼 수 있다.
- T05-20구조대응
AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents
한국어 검토 보기
해결 문제
- 에이전트가 외부에서 읽어온 글에 명령이 숨어 있으면 그대로 따라간다. 이걸 프롬프트 주입(prompt injection, 데이터에 몰래 넣은 명령으로 에이전트를 조종하는 공격)이라 한다. 공격과 방어를 같은 잣대로 잴 환경이 없었다.
핵심 구조
- 고정된 문제집이 아니라 확장 가능한 실행 환경을 만든다. 이메일 처리, 인터넷 뱅킹 같은 실제 업무 과제 97건과 보안 시험 629건을 넣었다. 기존 연구의 공격과 방어를 이 안에 옮겨 담아 비교한다.
주요 결과
- 최상급 모델도 공격이 없는 상태에서조차 상당수 과제를 못 끝냈다. 지금 나온 주입 공격은 일부 방어는 뚫고 일부는 못 뚫었다. 코드를 공개했다.
한계
- 시뮬레이션 환경이다. 과제 영역이 제한적이다. 공격 기법이 계속 바뀌므로 결과가 오래 못 간다.
우리 기능과의 연결
- ToolEmu 옆에 같이 놓아야 할 안전 평가 축이다. 업무 실행 에이전트가 외부 문서를 읽고 움직일 때, 어떤 동작을 사람 승인 없이 못 하게 막을지 정하는 시험 구조에 맞대볼 수 있다.
연구에서 제품 적용까지
운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.
보유기술 보기