제276화 — 설명하지 못하는 모델

Helioxen의 산업 데이터가 늘면서 고객들이 예측을 원했다.

장비고장.

불량.

납기.

공급중단.

2015년 기준 머신러닝은 지금보다 작고 제한적.

그래도.

통계.

분류.

예측.

Daniel은 미래 AI를 안다.

그래서 더 조심.

첫 predictive maintenance 기능.

고객설비 진동.

온도.

전류.

고장예측.

초기 모델.

정확도 좋음.

영업팀 흥분.

Daniel이 물었다.

“왜 고장이라고.”

팀.

feature importance.

일부.

그런데 특정 설비에서는 이상.

모델이 생산교대시간을 강하게.

왜.

야간에 고장 많음.

원인.

실제 피로·정비지원.

혹은 센서환경.

상관.

예측은 맞아도 원인 아님.

Daniel이 과거 Elena 문장.

Prediction ≠ explanation.

현재 팀에 말해도 자기 말처럼.

그는 그냥.

“예측과 원인을 분리해 표시합시다.”

좋다.

고객 UI.

Risk prediction. Known explanatory evidence. Unknown.

영업은 싫음.

“모델이 약해 보입니다.”

“실제로 모르는 걸 아는 척하지 맙시다.”

현재.

첫 고객에서 모델이 특정 bearing failure를 8시간 전.

좋음.

정비.

문제 예방.

다른 설비.

오경보.

생산 중단 2시간.

비용.

Daniel이 말했다.

“false positive도 failure cost.”

threshold.

고객마다.

현재.

이 프로젝트 때문에 독립 과학·AI 검증 자문이 필요.

Open Problem.

`How should industrial predictive models distinguish useful prediction from causal explanation and operational action?`

제안서.

여러.

한 이름.

Elena Park.

Daniel 기억.

현재.

규칙.

독립심사.

Elena 제안은 상위.

단 1위?

공동 1위.

다른 통계연구자.

둘 초청.

첫 회의.

Elena는 화면을 보고 말했다.

“모델이 고장을 맞힌 게 중요한 게 아니에요.”

Daniel 심장.

“그럼.”

“어떤 조건에서 틀리는지부터.”

현재 Elena.

같다.

그녀는 `negative result registry`를 제안.

모델이: 잘 맞은 설비. 안 맞은 설비. 오경보. 누락. 데이터 drift.

영업데모에는 성공만.

과학은 실패분포.

Daniel이 좋아함.

현재.

또.

산업 고객 데이터 비공개.

어떻게 cross-customer 검증.

익명 benchmark.

synthetic 일부.

공통 schema.

고객 consent.

독립 non-profit?

Daniel은 바로 조직 만들려다 멈춤.

Elena가 먼저.

“회사 안에서 하면 영업이 이깁니다.”

Daniel이 웃었다.

“그래서 밖으로?”

“최소 benchmark는.”

현재.

새 워킹그룹.

대학. 고객. Helioxen. 경쟁 소프트웨어사.

Daniel이 경쟁사 초대.

영업 불만.

하지만 benchmark가 시장전체.

좋다.

첫 benchmark.

Helioxen 모델.

Elena는 첫 benchmark 회의에서 Daniel의 `unknown` 표시방식을 좋아했다.

“이걸 제품에도 넣을 건가요?”

“가능하면.”

“고객이 싫어할 텐데.”

맞다.

고객은 답.

예측시스템이: `bearing failure 82%` 라고 하면 쉬움.

`82%, but outside validated temperature range` 복잡.

Daniel은 후자를.

실제 첫 고객.

불만.

“그럼 언제 믿어요?”

Elena가 답.

“검증범위 안에서.”

적용범위 UI.

Green: validated.

Yellow: extrapolation.

Gray: insufficient data.

Red?

위험.

좋다.

한 모델이 Yellow에서 맞음.

고객이 “그럼 Green으로.”

안 됨.

한 번.

검증 필요.

좋다.

모델 confidence와 applicability.

분리.

Daniel은 이 구조가 향후 NEXUS 모델에도 중요.

지금은 공장.

현재.

Benchmark working group의 다른 통계연구자 David Lin은 Elena보다 더 보수.

“실패자료 공개가 고객기밀을 유출할 수 있습니다.”

맞다.

익명화.

그런데 small sample이면 재식별.

일부 aggregate.

embargo.

완전 open 불가.

Open Science라는 이름도 나중 조심.

Daniel은 투명성을 선으로 절대화하지 않는다.

보안·privacy.

좋다.

또 predictive maintenance 모델이 작업자 피로 신호를 간접적으로 사용.

교대시간.

Daniel이 윤리.

사람평가 금지.

하지만 안전위험에는 useful.

어떻게.

개인 performance score 아님.

시스템 staffing risk.

집계.

현장위원회.

좋다.

Mina 의료의 Human readiness와 연결.

Daniel은 분야간 워크숍 제안.

제조/의료.

Elena는.

“왜 병원.”

피로·알림·오경보.

공통.

Mina 그룹 참여.

Daniel은 두 remembered people을 일부러 연결한 것 같아 불편.

하지만 현재 문제.

독립팀이 추천.

그는 회의 진행도 안 함.

좋다.

워크숍에서 Mina와 Elena는 처음.

Mina: 알림피로.

Elena: false positive.

같은.

모델이 경보를 많이 주면 사람이 무시.

공통 원칙.

`Alert budget.`

현재.

Daniel이 흥미.

나중 Nightglass/Fragment.

좋다.

이렇게 분야간 current learning이 과거보다 앞.

Daniel은 기억을 안 써도 사람들이 스스로 연결.

그게 final run의 힘.

Elena는 Helioxen 직원이 아니므로 제품 출시를 막을 권한 없음.

그럼 independent review가 실제 힘?

계약.

Helioxen 이사회가 고위험 model release에는 외부 validation memo 필수.

Elena 기관 하나만 아님.

여러.

현재.

회사 스스로.

좋다.

다른 회사들도 보험/고객 요구로.

시장.

OSC 씨앗.

Daniel이 돈으로 강제하기보다 계약·고객.

퍼짐.

한 고객이 independent validation 없는 더 싼 경쟁사 제품 선택.

나중 오경보 문제.

Daniel이 “봤지” 안 함.

시장.

그 회사도 개선.

좋다.

검증문화가 경쟁으로.

Daniel은 Elena에게 물었다.

“실패결과를 공개하면 기업혁신 느려진다고 생각합니까?”

Elena.

“나쁜 실패를 반복하는 속도는 느려지겠죠.”

Daniel이 웃었다.

현재 Elena의 문장.

좋다.

그녀의 날카로움은 과거 기억이 아니라 현재 문제에서 그대로.

하지만 Daniel은 그녀를 `원래 이 사람`이라고 고정하지 않는다.

언젠가 달라질 수 있음.

사람은 변함.

그녀도 현재 agency.

그게 important.

설명하지 못하는 모델을 다루는 과정에서 Daniel은 최종 run의 과학도구 하나를 일찍 얻었다.

정답을 더 빨리 말하는 AI가 아니라 어디까지 말할 수 있는지 경계를 함께 보여주는 시스템.

그게 훨씬 오래 쓸 수 있었다.

경쟁사.

기본 통계.

결과.

Helioxen 1위?

아님.

설비군 A.

Helioxen.

B.

기본통계.

C.

경쟁사.

Daniel이 만족.

제품팀은.

덜.

좋다.

총점?

Elena.

“하지 마세요.”

Daniel이 웃음.

또.

프로파일.

데이터조건.

유형.

오경보비용.

좋다.

Open Science Commons 같은 미래의 씨앗.

아직 이름 없음.

Elena는 Helioxen 입사제안?

Daniel이 안 함.

현재 대학·연구가 좋음.

자문.

그녀는 독립이어야 더 가치.

Daniel도.

첫 benchmark 논문.

Elena가 corresponding.

Daniel 저자 아님.

회사 데이터지원.

좋다.

한 기자가 “Helioxen AI predicts factory failures.”

Daniel은 정정.

일부 조건.

현재.

AI라는 단어도 2015 문맥에 과장.

`predictive model`.

좋다.

MCI는 이 benchmark를 Transfer Qualification에 일부 활용.

하지만 모델이 작업자 평가?

금지.

사람 성과자동점수.

Elena가 반대.

Daniel도.

지원도구.

결정 사람.

현재.

또 모델이 Recovery capability를 추천.

어느 공장이 대체가능.

예측.

좋지만 실제 qualification 필요.

AI가 “가능”이라고 해서.

Concept ≠ capability.

같은.

Daniel은 기술축들이 서로 같은 규율을 배우는 걸 본다.

Elena와 회의 뒤 잠깐.

그녀가 Daniel에게 물었다.

“Mercer 씨는 왜 모델 한계를 이렇게 좋아해요?”

“틀리는 걸 많이 봐서.”

“나이에 비해.”

또.

Daniel이 웃었다.

“다들 그 말 합니다.”

“그럼 이유가 있겠네요.”

현재.

더 안 묻는다.

Elena도 과거 역할로 돌아온 사람 아님.

현재 Helioxen 모델이 설명 못 하는 걸 못 참아서 들어온 연구자.

그리고 그 불편함 덕분에 최종 run의 과학축도 회사 밖에서 일찍 자라기 시작했다.