제79화 — 질문을 만드는 기계

CR-1의 다음 버전은 더 똑똑해진 것보다 더 많이 모른다고 말할 수 있게 됐다.

후보순위.

예상범위.

데이터 밀도.

불확실성.

그리고 새 항목.

Why test this?

모델이 왜 후보를 올렸는지 짧은 이유를 붙였다.

높은 예상성능.

현재 최고후보와 다른 영역.

불확실성이 커 정보가치 높음.

특정 특성 간 희귀 조합.

Elena는 말했다.

“설명이라고 부르면 안 됩니다.”

Daniel이 물었다.

“왜?”

“모델의 과학적 이유는 아니니까요.”

“그럼.”

“선정 이유.”

차이.

예측근거와 과학적 설명은 다르다.

CR-1이 ‘왜 이 재료가 강한가’를 아는 건 아니다.

그저 왜 실험대상으로 뽑았는지 설명한다.

Daniel은 이 경계를 중요하게 봤다.

또 다른 고객이 파일럿에 들어왔다.

이번엔 배터리 전극소재를 연구하는 작은 회사.

데이터는 더 지저분했다.

실험조건.

입자크기.

공정.

측정장비.

변수가 많았다.

Elena는 처음부터 말했다.

“성능예측은 무리입니다.”

고객은 실망했다.

“그럼 뭘 할 수 있습니까?”

“중복실험 줄이기.”

데이터를 분석해 이미 비슷한 조건에서 실패한 영역.

결과가 거의 같은 실험.

정보가 별로 늘지 않을 후보.

이걸 먼저 줄인다.

Daniel은 흥미로웠다.

‘좋은 후보 찾기’가 아니라 ‘쓸모없는 실험 피하기.’

Negative Results Registry와 연결됐다.

고객 데이터를 넣자 같은 조성 근처에서 유사실험이 여러 번 반복된 흔적이 보였다.

연구자가 말했다.

“팀이 달라서 몰랐습니다.”

서로 다른 사람이 비슷한 실험을 했다.

기록형식이 달라 검색이 안 됐다.

CR-1이 처음으로 한 일.

이거 이미 비슷하게 해봤습니다.

고객 연구자들이 웃었다.

그리고 조금 창피해했다.

한 달 동안 계획된 실험 42개.

그중 11개를 ‘정보증가 낮음’으로 표시.

사람 검토.

7개 실제 취소.

4개 유지.

절약된 시간.

몇 주.

Daniel은 계산했다.

모델이 새 물질 하나도 발견하지 않고 몇 주를 벌었다.

이게 더 강할 수도 있었다.

두 번째 기능.

반대되는 결과 찾기.

같은 조건인데 다른 측정.

왜?

실험오류?

공정차이?

기록문제?

CR-1이 모순 후보를 올렸다.

사람 연구자가 검토.

그중 하나.

두 팀이 같은 이름의 열처리 단계를 서로 다른 온도로 사용했다.

문서상 같은 공정.

실제로 다름.

또 데이터 의미 문제.

64화와 같다.

Daniel이 웃었다.

“과학 데이터도 병원 데이터랑 똑같네요.”

Elena가 말했다.

“사람이 만드는 데이터는 다 비슷합니다.”

“정의가 중요하고.”

“맥락이 중요하고.”

“빈칸 이유도.”

“네.”

CR-1은 점점 ‘정답을 주는 모델’에서 멀어졌다.

대신 연구팀에게 질문을 던졌다.

이 실험 정말 새 정보입니까?

왜 같은 조건인데 결과가 다릅니까?

이 후보는 높은 성능보다 불확실성이 큽니다. 볼 가치 있습니까?

이 영역은 데이터가 너무 적습니다.

Daniel은 처음 상상했던 미래 AI보다 초라하다고 느낄 때도 있었다.

2040년대 연구 AI는 훨씬 많은 걸 했다.

문헌.

실험.

시뮬레이션.

설계.

하지만 2010년의 Helioxen은 아직 질문 몇 개를 잘 만드는 단계.

Elena가 말했다.

“대표님 표정.”

“왜요?”

“또 미래 AI랑 비교하죠?”

Daniel의 심장이 뛰었다.

“무슨 미래 AI.”

“항상 완성형하고 비교하는 얼굴.”

그는 웃었다.

“티 납니까?”

“많이.”

Daniel은 화면을 봤다.

실험 7개 취소.

모순 3개 발견.

새 탐색후보 5개.

고객은 만족했다.

“연구원들이 이거 좋아합니다.”

고객 책임자가 말했다.

“왜요?”

“회의가 빨라졌어요.”

“모델이 결정을 해서?”

“반대.”

그가 웃었다.

“싸울 포인트를 먼저 보여줘서.”

Daniel은 그 말을 좋아했다.

좋은 과학보조 도구는 회의를 없애는 게 아니다.

더 가치 있는 논쟁으로 옮긴다.

그날 CR-1의 내부 설명이 바뀌었다.

기존:

Candidate ranking model

새 설명:

Research prioritization assistant

Elena가 이름을 보고 말했다.

“조금 거창하네요.”

Daniel이 웃었다.

“Candidate Ranker보다 낫잖아요.”

“마케팅팀이 좋아하겠네요.”

“고객도 이해합니다.”

이번에는 Elena도 반박하지 않았다.

제품이 조금씩 형태를 갖기 시작했다.

단, 판매를 서두르지 않았다.

현재는 서비스에 붙인 연구도구.

Helioxen 연구원과 고객 연구자가 같이 사용.

독립 소프트웨어로 팔지 않는다.

Daniel은 A1에서 배웠다.

도구가 좋다고 바로 제품일 필요는 없다.

지금은 사람들이 실제로 어떻게 쓰는지 더 볼 때였다.

배터리 연구회사의 첫 회의에서 CR-1이 올린 질문 하나가 사람들을 불편하게 했다.

동일 조성·유사 공정 조건에서 사이클 성능이 두 집단으로 나뉘는 이유는?

연구책임자가 말했다.

“측정장비 차이 아닙니까?”

다른 연구원.

“로트 차이.”

세 번째.

“습도.”

CR-1은 답을 모른다.

다만 ‘모순’이라고 표시했다.

Daniel이 물었다.

“뭐부터 확인합니까?”

Elena는 연구팀을 봤다.

“제일 싸게 틀릴 수 있는 것부터.”

좋은 표현.

측정장비 교차검증.

문제 없음.

로트.

일부 상관.

습도 기록.

이상.

한 실험실만 기록주기가 거칠었다.

추가 센서.

며칠.

결과.

습도 급변 구간과 성능저하가 일부 겹쳤다.

완전한 설명은 아니다.

하지만 새 가설.

연구책임자가 말했다.

“우린 조성만 계속 보고 있었습니다.”

Daniel은 그 말을 들으며 A1을 떠올렸다.

성능만 보고.

고객은 다른 걸 봤다.

사람은 자기가 중요하다고 생각하는 축을 계속 본다.

도구가 다른 축을 올려주는 것.

그게 CR-1의 가치일 수 있다.

후속실험 설계.

습도 통제.

로트 교차.

결과를 기다린다.

Daniel은 또 일정이 궁금했다.

묻지 않았다.

Elena가 알아챘다.

“안 물어보시네요.”

“언제 나오는지?”

“네.”

“물어봐도 빨라지진 않잖아요.”

“성장하셨네요.”

“그 말 이제 그만.”

둘이 웃었다.

다음주 결과.

습도만으로 설명되지 않았다.

로트와 상호작용 가능성.

질문이 더 복잡해졌다.

Daniel은 실망하지 않았다.

첫 가설이 완벽히 맞지 않아도 탐색공간이 줄었다.

CR-1이 한 건 정답 예측이 아니라 어디를 의심해야 하는지 순서를 바꾼 것.

고객 연구팀은 내부 미팅 시간을 줄였다고 했다.

이전에는 모든 가능성을 놓고 한 시간 싸웠다.

이제는 데이터가 이상한 부분부터 본다.

Daniel이 말했다.

“그럼 모델이 회의를 최적화했네요.”

Elena가 눈을 굴렸다.

“사람을 최적화하지 않는다면서요.”

“회의를요.”

“그건 인정.”

Daniel은 Response Grid의 원칙을 떠올렸다.

사람이 아니라 시스템과 자원흐름.

연구에서도 같다.

사람의 창의성을 점수화하지 않는다.

실험과 정보흐름을 개선한다.

CR-1은 연구자에게 명령하지 않는다.

‘이걸 하라’가 아니라.

‘여기 정보가 부족하다.’

‘이 결과들이 충돌한다.’

‘이 후보는 모델이 익숙하지 않다.’

질문을 보여준다.

고객이 말했다.

“이게 AI라면 생각보다 덜 똑똑하네요.”

Daniel이 웃었다.

“좋은 뜻입니까?”

“네.”

“왜요?”

“우리 일 뺏는 느낌이 안 나서.”

Elena가 말했다.

“그게 목표입니다.”

Daniel은 잠깐 생각했다.

미래에는 훨씬 더 많은 일을 AI가 할 것이다.

하지만 현재 사람들에게 필요한 건 대체공포를 주는 만능기계가 아니다.

같이 연구할 수 있는 도구.

신뢰를 얻는 순서도 기술발전의 일부다.

그날 제품메모에 적었다.

Assist before automate.

공장의 `augment before replace`와 닮은 문장.

Daniel은 점점 같은 철학이 여러 산업에서 반복되는 걸 느꼈다.