제187화 — 결정하는 기계

AI가 사람보다 잘 결정하면

사람이 계속 결정해야 할까.

질문은 단순했다.

답은 아니었다.

2101년 5월.

AI 책임분과.

이미 AI는 많이 결정하고 있었다.

철도배차.

전력.

보험.

의료보조.

위험분석.

세금오류탐지.

한 지역에서는 복지 AI가 노인가구 신청을 반복 거부한 사건이 있었다.

원인.

전쟁 전 주소체계를 학습한 모델.

새 복수주소·Origin Connection을 이상값으로 처리.

사람이 바뀌었는데 모델은 옛 행정을 정상으로 봤다.

AI 문제도 편향이라는 추상어보다 낡은 제도를 계속 정상으로 간주하는 데서 생길 수 있었다.

공권력 결정.

다름.

복지거부.

구금위험평가.

세무조사.

전략위협.

권리제한.

Iris가 말했다.

“‘AI가 결정했다’는 문장을 금지해야 합니다.”

엔지니어.

“실제로 AI가 판단하면요?”

“기관이 채택한 겁니다.”

책임주체.

기관.

공직자.

화면.

AI MAY RECOMMEND; PUBLIC AUTHORITY MUST REMAIN ATTRIBUTABLE

AI는 권고할 수 있다.

공권력은 누구에게 귀속되는지 남아야 한다.

문제.

완전자동 배차처럼 사람이 매번 누르지 않는 시스템.

공공권력인가?

철도운영.

대부분 운영.

개별권리 박탈이 아니면 자동화 가능.

분과는 자동승인과 자동거부의 비대칭을 명시했다.

사람에게 이익을 주는 오류는 사후환수로 고칠 수 있는 경우가 많다.

권리를 거부한 오류는 치료·주거·생계를 놓칠 수 있다.

가역성이 낮은 결정일수록 인간검토 문턱을 높인다.

의료 triage와 행정에서도 반복된 원칙.

복지급여 자동승인?

가능.

자동거부?

더 높은 기준.

왜?

거부는 사람의 권리를 줄임.

이의절차.

설명이 필요.

세무감사 AI.

고위험 표시.

조사개시?

사람 승인.

벌금?

사람 또는 명확한 규칙 기반 자동 + 이의.

구금.

AI 단독 금지.

전략공격.

AI 단독 금지.

엔지니어가 물었다.

“사람이 AI 권고를 99% 그대로 따르면 형식적 인간 아닌가요?”

맞다.

그래서 감사에서 수용률 99.8%인 부서는 무조건 문제로 보지 않았다.

AI가 정말 정확할 수도 있다.

대신 검토시간, 반대사례, 이의결과, 표본재심.

사람이 실제로 봤는지 확인.

‘인간이 버튼 눌렀다’는 기록만으로 인간책임이라고 하지 않는다.

rubber-stamp audit.

AI 권고 수용률.

반대결정.

이유.

사람이 실제로 검토했는지 감사.

문제.

AI보다 사람이 더 틀리면?

Mina.

“사람을 넣는 이유가 정확도만은 아니잖아요.”

Evelyn.

“책임과 이의.”

결정받은 사람이 누구에게 왜냐고 물을 수 있어야 한다.

설명가능성.

모든 모델 내부를 완전히 설명할 수 없음.

대신

사용데이터 범주.

주요요인.

불확실성.

대안.

이의방법.

결과에 충분한 설명.

독점 AI 업체.

영업비밀.

공공기관.

감사권.

모델코드 전체 공개는 아닐 수 있음.

독립감사기관 접근.

AI 오류로 권리피해.

책임.

개발사?

운영기관?

공직자?

상황별.

헌법은

“AI 자체가 책임진다”로 넘기지 못하게.

법률이 배분.

한 연구자가 말했다.

“10년 뒤 AI가 자기 이유를 설명하고 자기 목표를 가진다면?”

Evelyn.

“그때 도구조항으로 사람 취급하면 안 됩니다.”

현재 헌법에 미래 인격체의 지위를 부정하지 않는 문장만 남겼다.

Nothing in this article shall preclude recognition of artificial persons by future constitutional law.

문은 열어두고 방 안을 미리 꾸미지 않는다.

Synthetic Persons?

아직 법적 인격 AI는 초기 연구·논쟁 단계.

현재 도구 AI와 미래 인격체를 같은 조항에 넣지 않기로.

중요.

후대에 사람인 AI가 나오면 다시 헌법문제가 된다.

지금은 도구책임.

Iris는 AI가 작성한 초안요약을 회의에 보여줬다.

잘 썼다.

사람들이 웃었다.

“이 문서도 AI가?”

“초안 요약만.”

“그럼 누가 책임?”

Iris.

“저.”

간단.

등록부에는 모델명보다 실제 사용목적을 우선 표시했다.

같은 AI가 철도배차와 복지심사에서 쓰일 수 있다.

위험은 모델브랜드보다 어떤 권한에 연결됐는지에서 달라진다.

기술회사가 아니라 공공기관의 사용행위가 등록 중심.

공공 AI 등록부.

고위험 시스템만.

목적.

운영기관.

감사일.

이의절차.

모델변경.

사람들이 자기 삶에 어떤 AI가 영향을 주는지 알 수 있게.

한 시민대표.

“왜 모든 AI 공개 안 합니까?”

Iris.

“전등 자동제어까지?”

“그건…”

위험기반.

모든 기술을 헌법사건으로 만들지 않는다.

분과 최종원칙.

1. 인간·법인기관 책임귀속.

2. 고위험 공권력의 단독 AI 결정 제한.

3. 이의·설명.

4. 독립감사.

5. 모델변경 기록.

6. 미래 인격 AI 문제는 별도 헌정검토 가능.

Adrian은 마지막 항목을 봤다.

“미래조항이 많아지네요.”

Evelyn.

“오래 쓸 헌법이니까.”

“미리 너무 정하면?”

“그래서 권한이 아니라 재검토 가능성만.”

미래를 열어두는 법.

AI는 더 빠르고, 더 일관되고, 때로는 더 정확했다.

그래도 공공권력을 행사하는 사회가

‘기계가 그렇게 계산했다’는 문장 뒤에 책임을 숨길 수는 없었다.

AI 등록부 첫 시범에는 복지·세무·치안·전력 네 분야만 들어갔다.

사람들은 자기 지역에서 어떤 AI가 자기 권리에 영향을 줄 수 있는지 처음 한 화면에서 봤다.

일부 기관은

“오해를 부른다”고 꺼렸다.

Iris.

“오해를 줄이는 방법은 안 보여주는 게 아니라 설명을 잘 붙이는 겁니다.”

모델이 완벽하지 않다는 경고, 이의제기 링크, 마지막 감사일.

기술에 대한 신뢰도 결과값 하나가 아니라 어떻게 다툴 수 있는지에서 생겼다.

한 시민은 등록부를 보고 자기 복지결정을 AI가 보조했다는 사실을 처음 알았다.

불쾌해했다.

그래도 이의신청을 냈다.

제도가 보이는 순간 사람은 처음으로 그것과 논쟁할 수 있었다.

책임을 물을 수 있어야 자동화도 공공제도가 될 수 있었다.