연구자료실
설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.
연구자료 검색
논문 목록
T18. AI 품질관리, 모델 모니터링, 감사기록
- T18-12구조대응2025년 이후
Provenance Tracking in Large-Scale Machine Learning Systems
한국어 검토 보기
검토 메모
- 푸는 문제. 대규모 학습 과정에서 무엇이 어떤 자원을 얼마나 썼고 어떤 결과를 냈는지 되짚을 방법이 필요하다.
- 핵심 구조. yProv4ML 라이브러리를 낸다. 출처 정보를 JSON으로 모으고 W3C PROV와 ProvML 규격을 따른다. 플러그인으로 확장하고 yProv 워크플로 관리 체계와 연결된다.
- 결과. 학습 실행의 자원 사용 패턴을 추적하고 비효율 지점을 찾아내며 재현성을 확보하는 사례를 보였다.
- 한계. 고성능 컴퓨팅 환경 중심이다. 워크숍 논문이라 대규모 비교 실험은 없다.
- 우리와의 관계. AI 기준정보 생성과 AI 보고서가 어떤 원천 데이터에서 나왔는지 되짚는 감사기록 구조와 기술적으로 대응할 수 있다.
- T18-2구조대응
The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction
한국어 검토 보기
검토 메모
- 푸는 문제. ML 시스템이 실제 운영에 나갈 준비가 됐는지 판단할 기준이 없었다.
- 핵심 구조. 28개 점검 항목을 네 묶음으로 나눴다. 데이터 검사, 모델 검사, 인프라 검사, 모니터링 검사. 각 항목의 충족도를 합쳐 점수로 만든다.
- 결과. 구글 내부 36개 팀을 구조화된 인터뷰로 평가해 점수 분포를 확인했다. 팀이 개선해야 할 지점을 지목하는 도구로 작동했다.
- 한계. 점수 가중치가 경험 기반이다. 구글 규모의 인프라를 전제해서 중소 제조 현장에 그대로 옮기기는 어렵다.
- 우리와의 관계. AI 기능을 고객사에 넘길 때 쓸 출하 점검표의 구조와 기술적으로 대응할 수 있다.
- T18-3구조대응
Data Validation for Machine Learning
한국어 검토 보기
검토 메모
- 푸는 문제. 입력 데이터가 망가지면 모델 정확도 개선은 무의미해진다. 그런데 데이터 품질 감시는 연구가 적었다.
- 핵심 구조. 데이터 스키마를 명시적 자산으로 두고, 들어오는 데이터를 스키마와 대조해 이상을 잡는다. 학습 데이터 오류 탐지, 학습과 서빙 사이 분포 차이(training-serving skew) 감시, 합성 입력으로 학습 코드 단위 시험까지 묶었다. 구글 TFX에 실제 배포된 시스템이다.
- 결과. 운영 배포에서 오류 조기 발견, 디버깅 시간 감소, 데이터 중심 개발로 팀 습관이 바뀌는 효과를 보고했다.
- 한계. 정형 데이터 위주다. 비정형 데이터와 영상은 다루기가 제한적이라고 논문 스스로 밝힌다.
- 우리와의 관계. 설비 데이터 수집 단계에서 태그 값이 튀거나 빠질 때 자동으로 걸러내는 구조와 기술적으로 대응할 수 있다.
- T18-6구조대응
Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing
한국어 검토 보기
검토 메모
- 푸는 문제. 외부 감사는 배포 후에나 가능하다. 조직 내부에서 배포 전에 위험을 잡아낼 절차가 없었다.
- 핵심 구조. SMACTR이라는 5단계 내부 감사 절차를 제안한다. 범위 설정(Scoping), 매핑(Mapping), 산출물 수집(Artifact Collection), 시험(Testing), 반영(Reflection). 각 단계마다 문서가 나오고 그 문서를 모으면 감사 보고서가 된다.
- 결과. 사례 연구로 절차를 예시했다. 각 단계의 입력과 산출 문서를 표로 규정한 것이 실무 기여다.
- 한계. 정성적 절차다. 감사 통과 기준이 조직의 가치와 원칙에 따라 달라지므로 객관 지표가 없다.
- 우리와의 관계. 영상 안전 판단처럼 사람 안전에 닿는 AI 기능을 고객사에 넘기기 전 내부 검증 절차를 짜는 구조와 기술적으로 대응할 수 있다.
- T18-9구조대응
Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift
한국어 검토 보기
검토 메모
- 푸는 문제. 운영 중인 모델에 낯선 입력이 들어와도 모델은 조용히 틀린 답을 낸다. 분포가 바뀐 걸 어떻게 알아채느냐가 문제다.
- 핵심 구조. 분포 변화 탐지 방법을 조립식으로 쪼개 비교했다. 차원 축소 방식(사전학습 분류기, 오토인코더, 주성분분석, 무작위 투영 등)과 통계 검정 방식(두 표본 검정, 도메인 판별기)을 조합해 실증 비교했다. 여러 데이터셋에 여러 강도의 교란을 걸어 실험했다.
- 결과. 사전학습 분류기로 차원을 줄인 뒤 두 표본 검정을 하는 조합이 가장 잘 작동했다. 도메인 판별 방식은 변화의 성격을 설명하는 데 유용했다.
- 한계. 영상 분류 데이터 중심이다. 제조 시계열처럼 시간 순서가 중요한 데이터는 다루지 않는다.
- 우리와의 관계. 라벨 없이 입력 분포만 보고 모델이 낡았는지 감시하는 구조와 기술적으로 대응할 수 있다.
연구에서 제품 적용까지
운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.
보유기술 보기