연구자료실

설비 연결, 품질 검사, 생산 분석과 제조 업무에 관련된 외부 논문입니다.

연구자료 검색

논문 목록

T18. AI 품질관리, 모델 모니터링, 감사기록

  1. T18-1유사문제

    Hidden Technical Debt in Machine Learning Systems

    저자
    D. Sculley 외 9인 (Google)
    연도
    2015
    발표처
    NeurIPS(NIPS) 28
    한국어 검토 보기
    검토 메모
    • 푸는 문제. ML 시스템은 만들기는 쉬운데 유지비가 계속 불어난다. 그 숨은 비용이 어디서 생기는지 정리했다.
    • 핵심 구조. 기술부채라는 소프트웨어 공학 개념을 ML에 적용했다. 경계 침식, 얽힘(entanglement), 숨은 피드백 루프, 신고되지 않은 소비자, 데이터 의존성, 설정 문제, 바깥 세상의 변화를 위험 요인으로 분류했다.
    • 결과. 실험 수치가 아니라 구글 내부 운영 경험을 유형으로 정리한 관점 논문이다. 이후 MLOps 담론의 출발점이 됐다.
    • 한계. 정량 평가가 없다. 측정 지표나 자동 도구를 제시하지 않는다.
    • 우리와의 관계. QFactory MES의 AI 분석 기능이 설비 데이터 스키마 변경에 조용히 끌려다니는 문제와 유사한 문제를 다룬다.
  2. T18-7유사문제

    A Survey on Concept Drift Adaptation

    저자
    João Gama, Indrė Žliobaitė, Albert Bifet, Mykola Pechenizkiy, Abdelhamid Bouchachia
    연도
    2014
    발표처
    ACM Computing Surveys 46(4), 1-37
    한국어 검토 보기
    검토 메모
    • 푸는 문제. 시간이 지나며 데이터 분포가 바뀌면 예측 모델이 낡는다. 이 문제를 다루는 방법이 흩어져 있어 비교가 안 됐다.
    • 핵심 구조. 개념 표류 적응 연구를 하나의 틀로 정리한 원조 서베이다. 표류의 유형(갑작스러운 변화, 점진적 변화, 반복되는 변화)을 정의하고, 적응 학습 시스템을 네 모듈(기억, 변화 탐지, 학습, 손실 추정)로 쪼갰다. 평가 방법과 벤치마크도 함께 정리했다.
    • 결과. 흩어진 기법들을 한 용어 체계로 묶었다. 이후 드리프트 연구가 이 분류를 공용어로 쓴다.
    • 한계. 2014년 기준이라 딥러닝 기반 최신 탐지 기법은 없다. 서베이라 새 기법을 내놓지는 않는다.
    • 우리와의 관계. 제조 설비 데이터로 학습한 모델이 공정 조건이 바뀐 뒤 낡아가는 문제와 유사한 문제를 다룬다. 드리프트 관련 논의의 뿌리에 해당한다.
  3. T18-8유사문제

    Learning under Concept Drift: A Review

    저자
    Jie Lu, Anjin Liu, Fan Dong, Feng Gu, João Gama, Guangquan Zhang
    연도
    2019 (IEEE TKDE 31권 12호, 2019년 12월 정식 게재. 조기공개는 2018년)
    발표처
    IEEE Transactions on Knowledge and Data Engineering 31(12), 2346-2363
    한국어 검토 보기
    검토 메모
    • 푸는 문제. 스트리밍 데이터의 분포가 예고 없이 바뀌면 모델이 무너진다. 이 문제의 연구 지형을 정리했다.
    • 핵심 구조. 130편이 넘는 논문을 탐지(detection), 이해(understanding), 적응(adaptation) 세 축으로 분류했다. 오차 기반 탐지, 분포 기반 탐지, 다중 가설 검정 계열을 계통으로 묶었다.
    • 결과. 합성 데이터 10종과 벤치마크 14종을 정리해 후속 연구의 평가 기준을 제공했다.
    • 한계. 서베이라 새 기법을 내놓지는 않는다. 제조 설비 시계열처럼 라벨이 늦게 나오는 상황은 별도로 다루지 않는다.
    • 연도 표기 주의. DOI 번호가 2018로 시작해 2018년 논문으로 오해하기 쉽다. 조기공개(early access)가 2018년이고 정식 호수는 2019년 12월이다. 인용할 때는 2019로 쓴다.
    • 우리와의 관계. 설비 데이터로 학습한 제조 AI 분석 모델이 공정 조건 변경 후 조용히 틀려지는 문제와 유사한 문제를 다룬다.
  4. T18-10유사문제

    Operationalizing Machine Learning: An Interview Study

    저자
    Shreya Shankar, Rolando Garcia, Joseph M. Hellerstein, Aditya G. Parameswaran
    연도
    2022
    발표처
    arXiv 프리프린트 (UC Berkeley). 심사를 거친 학회 논문이 아니다
    한국어 검토 보기
    검토 메모
    • 푸는 문제. 실무 ML 엔지니어가 실제로 무엇 때문에 고생하는지 학계가 잘 몰랐다.
    • 핵심 구조. 여러 분야 ML 엔지니어 18명을 민족지적 인터뷰로 조사했다. 성공을 가르는 변수를 속도(Velocity), 검증(Validation), 버전관리(Versioning) 세 가지로 뽑았다. 데이터 수집과 라벨링, 실험, 다단계 배포 평가, 운영 중 성능 저하 감시가 끊임없이 도는 고리라고 봤다.
    • 결과. 실무 관행과 애로를 유형화하고 MLOps 도구가 갖춰야 할 설계 시사점을 냈다.
    • 한계. 프리프린트다. 동료 심사를 거치지 않았으므로 근거 강도를 학회 논문과 같게 두면 안 된다. 표본 18명이고 대부분 IT 기업 소속이라 제조 현장 사례가 얇다.
    • 우리와의 관계. 업무 실행 에이전트와 AI 보고서 기능을 운영 단계에서 어떻게 감시할지 정할 때 같은 문제를 다룬다.

연구에서 제품 적용까지

운영 중인 기능, 시범 적용과 개발 중인 기술을 구분해 정리했습니다.

보유기술 보기