제78화 — 공개된 실패

CR-1 첫 상업계약이 발표되자, 몇몇 기술매체가 관심을 보였다.

‘AI가 신소재 탐색을 가속한다.’

제목은 또 조금 과했다.

Daniel은 홍보팀에 말했다.

“AI가 발견했다고 쓰지 마세요.”

“이미 외부기사가.”

“우리 문구라도.”

공식 발표는 훨씬 조심스러웠다.

Helioxen의 후보순위 모델과 계산서비스를 사용해 고비용 시뮬레이션 및 실험 후보를 줄이는 파일럿을 수행했다.

그게 전부.

Elena는 별로 관심이 없었다.

그녀는 더 불편한 일을 준비하고 있었다.

실패결과 공개.

CR-1이 외삽영역에서 성능이 급락했던 데이터.

복잡한 모델이 단순모델보다 못했던 결과.

평가누수 수정.

C 후보를 낮게 평가한 사례.

Daniel이 문서를 읽었다.

“이걸 다 넣습니까?”

“네.”

“상업계약 발표 직후?”

“그래야죠.”

“사람들이 제품이 별로라고 생각하면.”

Elena가 물었다.

“별로인 부분을 숨기면 좋아집니까?”

Daniel은 한숨을 쉬었다.

“마케팅 타이밍 얘기입니다.”

“과학결과는 마케팅 일정에 맞추면 안 됩니다.”

또 충돌.

이선은 이번에는 Elena 편을 들었다.

“이미 공개원칙 정했잖아.”

Daniel이 말했다.

“원칙에도 시점은 있습니다.”

연구책임자가 중재했다.

“상업 고객 동의범위 확인하고, 데이터 익명화. 그다음 예정대로 공개.”

고객에게 물었다.

뜻밖에도 찬성.

“우리 회사명만 빼면 상관없습니다.”

“실패결과까지요?”

고객 연구자가 웃었다.

“그게 더 유용할 것 같은데요.”

Daniel은 할 말이 없었다.

자료 공개.

외부 반응은 예상보다 좋았다.

한 연구팀은 CR-1의 탐색전략을 비판했다.

다른 팀은 불확실성 추정 방식을 개선하는 코드를 제안했다.

한 논평은 꽤 날카로웠다.

모델은 후보를 줄이는 데 유용하지만, 데이터가 부족한 신규 조성영역에서 신뢰할 수준은 아니다.

Daniel이 말했다.

“이 문장만 기사에 나가면 안 좋겠네요.”

Elena가 말했다.

“맞는 문장인데요.”

“알아요.”

“그럼.”

Daniel은 웃었다.

“적응 중입니다.”

며칠 뒤 더 흥미로운 일이 생겼다.

외부 연구자가 공개 벤치마크에서 Helioxen 모델보다 나은 불확실성 추정 방법을 올렸다.

팀은 코드를 재현했다.

실제로 일부 영역에서 더 좋았다.

Daniel이 말했다.

“라이선스는?”

오픈소스.

조건 확인.

사용 가능.

연구팀이 해당 아이디어를 CR-1 내부실험에 넣었다.

성능 개선.

Daniel은 이상한 느낌을 받았다.

경쟁자가 공개한 아이디어가 Helioxen 제품을 좋아지게 한다.

Helioxen이 공개한 벤치마크가 외부 연구자의 논문을 돕는다.

제로섬이 아니다.

Elena가 말했다.

“그래서 오픈 연구 생태계가 강한 겁니다.”

“항상은 아니죠.”

“당연하죠.”

“제품 핵심까지 공개하면.”

“안 한다고 몇 번 말해요?”

Daniel이 웃었다.

“확인입니다.”

공개와 비공개의 경계는 계속 협상됐다.

한 연구원은 더 열자고 했다.

제품팀은 닫자고 했다.

Daniel은 이제 둘 사이에서 무조건 보수적으로 가지 않았다.

질문을 바꿨다.

“공개하면 누가 검증합니까?”

“비공개하면 우리가 무엇을 지킬 수 있습니까?”

“고객에게 위험은?”

“재현성에 이익은?”

각 사안마다 다르다.

그게 귀찮지만 맞았다.

그날 오후 Elena가 Daniel에게 작은 문서를 보냈다.

제목:

`Negative Results Registry`

회사 연구에서 실패한 실험을 검색 가능한 형태로 남기자는 제안.

Daniel이 말했다.

“내부용?”

“기본은 내부.”

“외부도?”

“일부는.”

“왜 또.”

Elena가 웃었다.

“같은 실패를 다른 연구자가 반복하지 않게.”

Daniel은 생각했다.

첫 삶.

2046년의 마지막 몇 년.

세계 여러 기관이 비슷한 문제를 따로 풀었다.

보안.

국가경쟁.

기업비밀.

그중 일부는 필요했다.

하지만 같은 실패가 반복된 적도 많았다.

시간이 없는데.

한 국가가 실패한 실험을 다른 국가가 다시 했다.

Daniel은 그 기억을 완전히 떠올리고 싶지 않았다.

“만듭시다.”

그가 말했다.

Elena가 조금 놀랐다.

“바로요?”

“내부부터.”

“외부는?”

“분류해서.”

“좋습니다.”

실패 데이터도 지식이다.

성공만 모으면 절반의 지도만 가진다.

Helioxen 연구조직은 조금 이상한 문화를 갖기 시작했다.

잘된 것만 발표하지 않는다.

틀린 것도 남긴다.

Daniel은 그게 장기적으로 강할 것 같았다.

미래에는 시간이 가장 부족한 자원이 될 것이다.

그때 같은 실패를 두 번 하지 않는 조직.

그게 연구속도를 올리는 가장 저렴한 방법일 수도 있었다.

Negative Results Registry는 시작부터 반발을 샀다.

연구원 한 명이 말했다.

“실패기록이 인사평가에 쓰이면 어떡합니까?”

회의실이 조용해졌다.

Daniel은 바로 말했다.

“안 씁니다.”

Elena가 그를 봤다.

“문서로.”

Daniel이 고개를 끄덕였다.

연구실패와 성과평가를 어떻게 분리할 것인가.

쉬운 문제 아니었다.

무성의한 실험.

절차 무시.

반복되는 같은 실수.

이건 관리문제.

반면 좋은 가설을 검증했는데 틀림.

새로운 경로가 실패.

이건 연구결과.

둘을 같은 ‘실패’로 묶으면 누구도 부정적 결과를 기록하지 않는다.

팀은 기준을 만들었다.

Good failure

- 가설 명확

- 절차 준수

- 결과 기록

- 다음 판단에 정보 제공

Bad failure

- 알려진 절차 무시

- 기록 누락

- 같은 실수 반복

- 데이터 은폐

Daniel은 그 구분을 좋아했다.

실패를 장려한다는 말보다 정확했다.

아무 실패나 좋은 게 아니다.

정직하게 배우는 실패가 가치 있다.

Registry 첫 달.

사람들은 소극적이었다.

성공한 프로젝트 14개.

실패 등록 2개.

Elena가 말했다.

“말이 안 됩니다.”

“왜?”

“연구가 이렇게 잘될 리 없어요.”

Daniel도 웃었다.

익명으로 초안 등록이 가능하게 했다.

실패 11개가 추가됐다.

그중 하나.

A1 연구팀이 이미 5개월 전에 시험했던 방법.

새 연구원이 모르고 다시 하고 있었다.

중단.

2주 절약.

또 하나.

냉각 예측팀이 실패했던 센서보정 방법.

다른 팀이 비슷한 아이디어를 검토 중.

기록 보고 방향 변경.

시간 절약.

Registry가 실제 가치를 만들기 시작했다.

Daniel은 물었다.

“이걸 외부도 공개하면.”

제품팀이 동시에 말했다.

“안 됩니다.”

회의실 웃음.

Elena도 웃었다.

“분류해서요.”

공개 가능한 실패.

일반 방법론.

벤치마크.

고객과 무관.

내부기밀 실패는 내부.

또 경계.

한 외부 공개 실패기록은 예상 밖의 반응을 얻었다.

다른 회사 연구자가 메일을 보냈다.

저희도 같은 접근에서 비슷한 문제가 있었습니다. 조건을 바꾸면 일부 해결됩니다.

정보교환.

Helioxen이 다시 시험.

일부 성공.

완전한 실패였던 경로가 제한조건 안에서는 쓸 수 있었다.

Daniel은 웃었다.

“실패도 버전업됩니까?”

Elena가 말했다.

“과학은 원래 그래요.”

성공/실패 이진값이 아니다.

어디서 되고 어디서 안 되는지.

그 경계를 찾는 게 지식.

Daniel은 2046년의 실패들을 떠올렸다.

62퍼센트.

편향임무.

실패라고만 기억했다.

하지만 그 안에도 조건과 데이터가 있었다.

만약 다시 처음부터 할 수 있다면—

생각이 거기까지 갔다가 멈췄다.

다시?

Daniel은 스스로 이상한 단어를 떠올린 것에 잠깐 불편해졌다.

회귀가 반복될 거라 생각하지 않는다.

이번이 유일한 기회다.

그는 생각을 지웠다.

과거 실패에서 배우면 된다.

현재에서.

그게 전부다.

실패기록이 쌓이자 연구원들은 같은 아이디어를 시작하기 전에 Registry부터 검색하는 습관이 생겼다. 그 작은 습관이 중복실험을 줄였다.