인공지능과 국가배상

Abstract

이 글은 행정 분야에서 인공지능의 활용이 행정작용에 대한 권리구제나 적법성 통제를 제약해서는 안 된다는 문제의식에서 출발하여, 인공지능의 특수성이 기존 국가배상 제도의 틀 안에서 실효성 있는 권리구제를 어렵게 만드는 문제들을 분석하였다. 기존의 논의는 주로 완전 자동적 행정처분과 책임의 성립요건인 과실의 인정문제를 다루었다. 그러나 불투명성이나 블랙박스 효과와 같은 인공지능의 특성은 공무원의 개입 없이 개별 처분이 이루어지는 완전 자동적 행정처분의 경우뿐만이 아니라 인공지능시스템이 도출한 결과를 사람(공무원)이 의사결정의 기초로 삼을 때에도 마찬가지로 영향을 준다. 이 글은 이 점을 염두에 두고 인공지능시스템에 오류나 편향이 있어 인공지능을 이용한 행정작용이 위법함을 이유로 국가배상책임을 묻고자 할 때 예상되는 쟁점들을 검토하였다. 국가배상법 제2조를 통한 권리구제를 꾀하는 국민은 우선 인공지능시스템을 활용한 결과물의 위법성을 증명하는 어려움에 봉착할 것이다. 인공지능이 도출한 결과를 정책평가나 리스크 예측 등 재량판단의 기초로 활용하는 경우에 주로 이러한 어려움이 발생할 것이다. ‘과실’을 공무원 개인의 주관적 과실로 이해하는 한 과실 인정에도 어려움이 예상된다. 이 문제의 해결을 위해 ‘과실’을 공무원 개인의 주의의무 위반이 아닌 행정조직 전체의 주의의무 위반, 즉 행정조직이나 운영상의 결함으로 이해하는 객관적 과실 개념을 일반화할 것을 제안하였다. 유체물이 아닌 인공지능시스템 자체를 영조물로 보아 국가배상법 제5조의 영조물책임을 묻는 방안도 살펴보았다. 이 경우 과실의 증명책임이 행정주체에게 전환되는 효과가 있을 것으로 기대된다. 그러나 시스템의 오류나 편향을 증명하여야 하는 어려움은 그대로 남는다. 어떤 방식에 의하든 인공지능시스템을 활용한 행정결정이 일상화되면 양 책임의 판단기준이 상호 접근하는 방향으로 발전할 가능성이 있다.

This paper examines the challenges of ensuring effective remedies for unlawful administrative actions involving artificial intelligence within the framework of the State Liability Act. While previous debates have focused on fully automated administrative decisions and the recognition of fault, the opacity and “black-box” nature of AI equally affect cases where human officials rely on AI-generated outputs in their decision-making. Against this backdrop, the paper examines the issues that may arise when a claimant seeks to hold the state liable on the ground that administrative actions involving AI are unlawful due to errors or bias in the outcome. The analysis highlights two principal difficulties: the evidentiary burden of establishing the unlawfulness of AI-based actions, particularly in areas such as policy evaluation and risk prediction; and the challenge of construing fault understood as subjective fault of individual officials. To address these problems, the article proposes reconceptualizing fault as organizational fault or systemic deficiency of the administration. This paper further explores the possibility of extending liability under Article 5 by treating AI systems as “public facilities.” Such an approach would shift the burden of proving fault to the administrative entity, but the difficulty of proving systemic errors or algorithmic bias would remain unresolved. Regardless of the approach taken, as AI becomes routine in administrative decision-making, the criteria for determining liability under both provisions are likely to develop in a converging direction.