AI가 판단의 이유를 설명하면 사람들은 그 결정을 더 투명하고 공정하다고 받아들인다. 그러나 이해하기 쉬운 설명이 판단의 정확성과 공정성을 보장하는 것은 아니다. AI 거버넌스의 기준은 ‘설명했는가’에서 ‘검증할 수 있는가’로 이동해야 한다.

***

인공지능이 사람의 일상과 조직의 의사결정 안으로 깊숙이 들어오면서 새로운 질문이 제기됐다. AI가 얼마나 정확한가를 넘어, 왜 그런 판단을 내렸는지를 설명할 수 있는가라는 질문이다. 대출 신청을 거절하고, 보험료를 다르게 책정하며, 입사 지원자의 순위를 매기고, 환자의 질병 가능성을 예측하는 시스템이라면 결과만 제시해서는 충분하지 않다는 인식이 커졌다. 판단의 근거를 알 수 없는 AI는 아무리 성능이 뛰어나더라도 신뢰하기 어렵다는 이유에서였다.

전통적인 통계 모형은 비교적 단순한 관계를 사용했다. 어떤 변수가 결과에 얼마나 영향을 미쳤는지 사람이 추적하기 쉬웠다. 그러나 머신러닝과 딥러닝이 확산되면서 상황이 달라졌다. 수백 개에서 수십억 개에 이르는 변수와 매개변수가 복잡하게 상호작용하며 결과를 만들어냈다. 개발자조차 특정 결과가 어떤 경로를 거쳐 나왔는지 명확히 설명하기 어려워졌다. 정확도는 높아졌지만 판단 과정은 불투명해졌다. 이른바 ‘블랙박스’ 문제가 본격적으로 등장한 배경이다.

블랙박스 문제에 대응하기 위해 설명 가능한 AI, 즉 XAI가 주목받았다. XAI는 복잡한 모델의 판단을 사람이 이해할 수 있는 형태로 보여주는 기술과 방법을 뜻한다. 특정 대출 신청이 거절됐을 때 소득, 부채, 연체 기록 가운데 무엇이 가장 큰 영향을 미쳤는지 알려주거나, 의료 영상에서 AI가 어느 부위를 근거로 이상 징후를 판단했는지 표시하는 방식이다. 모델 전체의 작동 원리를 보여주기도 하고, 특정한 한 번의 결정에 영향을 준 요인을 설명하기도 한다.

설명 가능성은 책임 있는 AI를 구성하는 중요한 요소로 자리 잡았다. 기업에는 AI의 판단을 내부적으로 점검할 수 있는 수단이 됐고, 이용자에게는 불리한 결정의 원인을 이해하고 이의를 제기할 수 있는 통로가 됐다. 감독기관도 AI가 차별이나 불공정한 결과를 만들어내지 않는지 확인하기 위해 설명 도구를 활용하기 시작했다. 투명성과 설명 가능성은 공정성, 책임성, 개인정보 보호와 함께 AI 거버넌스의 핵심 원칙으로 제시됐다.

문제는 설명 가능성이 기대보다 훨씬 복잡한 개념이라는 데 있다. AI의 내부 작동을 완전히 공개하는 것과 사람이 이해할 수 있는 요약을 제공하는 것은 다르다. 개발자를 위한 기술적 설명과 소비자에게 필요한 설명도 같지 않다. 특정 변수가 중요하다고 보여주는 것과 그 변수가 왜 중요해졌는지 밝히는 것도 별개의 일이다. 무엇보다 AI가 설명을 제공한다는 사실과 AI의 판단이 공정하다는 사실은 동일하지 않다.

설명 가능한 AI에 대한 초기 기대에는 단순한 전제가 숨어 있었다. 블랙박스를 열어 내부를 볼 수 있다면 오류와 편향도 발견할 수 있을 것이라는 믿음이었다. 그러나 현실에서 사용되는 설명은 모델의 내부를 있는 그대로 보여주는 투명한 창이라기보다, 복잡한 움직임을 사람이 이해할 수 있도록 단순화한 지도에 가깝다. 지도는 유용하지만 현실의 모든 요소를 담지는 못한다. 무엇을 표시하고 무엇을 생략하느냐에 따라 같은 지역도 전혀 다르게 보일 수 있다.

2026년 5월 Knowledge at Wharton이 소개한 연구는 이 지점에서 경고를 제기했다. 연구진은 널리 사용되는 머신러닝 해석 도구가 차별적인 모델을 중립적인 것처럼 보이게 할 수 있다는 사실을 보여줬다. 설명이 부족해서 생기는 문제가 아니라, 설명이 존재하기 때문에 오히려 잘못된 확신이 형성될 수 있다는 의미였다. 투명성을 강화하려고 만든 도구가 편향을 발견하는 창구가 아니라 편향을 가리는 장치로 바뀔 가능성이 드러났다.

이는 설명 가능한 AI가 불필요하다는 주장이 아니다. 설명만 확보하면 책임성과 공정성까지 자연스럽게 따라올 것이라는 믿음이 위험하다는 지적이다. 블랙박스에 창을 하나 달았다고 해서 내부 전체가 보이는 것은 아니다. 그 창이 어디를 향하고 있는지, 무엇을 가리고 있는지, 보이는 장면이 실제 작동을 얼마나 충실하게 반영하는지까지 확인해야 한다.

사람은 결론만 제시된 판단보다 이유가 따라붙은 판단을 더 신뢰하는 경향이 있다. “대출 신청이 거절됐습니다”라는 통보보다 “부채 비율과 최근 연체 기록 때문에 대출이 거절됐습니다”라는 설명이 더 합리적으로 느껴진다. 결과가 마음에 들지 않더라도 어떤 기준이 적용됐는지 알게 되면 판단을 받아들일 가능성이 커진다. 설명은 불확실성을 줄이고 의사결정에 질서가 있다는 인상을 준다.

이러한 심리는 AI에도 적용된다. AI가 근거를 제시하면 이용자는 시스템이 충분한 데이터를 분석했고, 일관된 기준에 따라 판단했으며, 숨겨진 편견 없이 작동했다고 추정하기 쉽다. 설명이 구체적이고 시각적으로 정교할수록 신뢰는 더 높아질 수 있다. 변수의 중요도를 나타내는 그래프, 색상으로 구분된 위험도, 정밀한 확률 수치가 제시되면 결과는 객관적인 과학의 산물처럼 보인다.

그러나 정교한 표현과 판단의 정당성은 같은 것이 아니다. 78.4%와 같은 소수점 단위의 수치가 제시됐다고 해서 예측이 실제로 그만큼 정확하다는 보장은 없다. 깔끔한 그래프가 제공됐다고 해서 모델이 편향되지 않았다는 뜻도 아니다. 설명의 형식이 전문적일수록 이용자는 그 이면의 가정과 한계를 질문하기보다 결과를 받아들이기 쉬워진다.

AI 설명은 크게 모델 자체를 이해하기 쉬운 구조로 만드는 방식과, 복잡한 모델의 결과를 나중에 해석하는 방식으로 나뉜다. 단순한 의사결정나무처럼 내부 구조를 직접 살펴볼 수 있는 모델도 있지만, 현실에서는 높은 예측 성능을 위해 복잡한 블랙박스 모델을 사용한 뒤 별도의 해석 도구를 붙이는 경우가 많다. 이때 설명은 모델이 실제로 거친 모든 계산 과정을 그대로 번역한 기록이 아니다. 모델의 입력과 출력 관계를 분석해 사람이 이해할 수 있는 근사적 설명을 만들어낸다.

사후 설명은 복잡성을 줄여준다는 점에서 유용하다. 하지만 근사에는 손실이 따른다. 같은 결과도 어떤 해석 방법을 선택하느냐에 따라 다르게 설명될 수 있고, 분석 범위와 기준값을 어떻게 설정하느냐에 따라 중요 변수의 순서가 달라질 수 있다. 특정 개인에 대한 설명과 전체 집단에 대한 설명이 서로 다른 인상을 줄 수도 있다. 설명은 하나의 절대적인 진실이라기보다 특정한 관점에서 모델을 바라본 결과에 가깝다.

연구진이 주목한 부분 의존성 도표도 대표적인 해석 방법이다. 부분 의존성 도표는 다른 조건의 영향을 평균적으로 통제하면서 특정 변수가 예측 결과에 어떤 영향을 미치는지 보여준다. 예를 들어 나이가 자동차 보험료 예측에 어떤 영향을 주는지 곡선으로 나타낼 수 있다. 곡선이 연령에 따라 크게 오르내리지 않는다면 모델이 나이를 거의 차별적으로 사용하지 않는다는 인상을 줄 수 있다.

하지만 이 도표는 현실에 존재하지 않거나 매우 드문 데이터 조합에 대한 예측을 포함할 수 있다. 변수들이 서로 밀접하게 연관돼 있는데 한 변수만 독립적으로 바꿔 계산하면 실제 데이터 분포에서 벗어난 가상 사례가 만들어지기 때문이다. 모델은 현실의 관측값에서는 차별적인 예측을 유지하면서도, 이런 가상 영역의 예측값을 조정해 전체 그래프를 평평하고 중립적으로 보이게 할 수 있다.

연구진은 바로 이 취약점을 이용하는 적대적 방법을 설계했다. 원래 모델이 현실의 사례에 내리는 예측은 거의 그대로 유지하면서, 설명 도구가 참조하는 외삽 영역의 예측을 바꿨다. 그 결과 실제로는 특정 집단에 불리하게 작동하는 모델이 부분 의존성 도표에서는 중립적인 것처럼 나타났다. 모델의 차별적 행동이 사라진 것이 아니라, 설명 화면에서만 보이지 않게 된 것이다.

더 우려되는 점은 이러한 문제가 반드시 악의적인 조작을 통해서만 발생하는 것이 아니라는 사실이다. 연구는 의도적으로 설명을 속일 수 있음을 보여줬지만, 같은 취약성은 잘못된 분석 범위, 데이터 상관관계에 대한 이해 부족, 부적절한 시각화, 편리한 해석 도구의 기계적인 적용을 통해서도 나타날 수 있다. 개발자나 담당자가 편향을 숨길 의도가 없더라도 불완전한 설명이 공정성의 증거처럼 받아들여질 수 있다.

설명은 사람을 돕는 동시에 사람의 경계심을 낮춘다. 아무 설명도 없는 시스템을 마주하면 이용자는 의심부터 한다. 반면 그럴듯한 이유가 제공되면 더 이상 질문할 필요가 없다고 느낄 수 있다. 이런 심리적 효과 때문에 부정확한 설명은 설명이 없는 상태보다 더 위험할 수 있다. 불투명한 AI는 경계의 대상이지만, 잘못 설명된 AI는 신뢰의 대상이 되기 때문이다.

AI 거버넌스를 논할 때 투명성, 설명 가능성, 공정성, 책임성은 자주 한데 묶인다. 모두 신뢰할 수 있는 AI를 위한 원칙이지만 서로 대신할 수 있는 개념은 아니다. 설명 가능성은 AI가 어떻게 판단했는지 이해할 수 있도록 만드는 성질이다. 공정성은 그 판단이 특정 개인이나 집단에 부당한 불이익을 주지 않는지에 관한 기준이다. 책임성은 문제가 발생했을 때 누가 판단을 검토하고 바로잡으며 책임을 질 것인지에 관한 구조다.

설명 가능한 모델도 불공정할 수 있다. 과거의 채용 데이터를 학습한 AI가 남성 지원자를 더 높은 성과 가능성이 있는 사람으로 평가한다고 가정해 보자. 시스템은 근속연수, 경력 분야, 이전 직급, 특정 활동 경험 등이 중요한 변수였다고 명확하게 설명할 수 있다. 그러나 해당 변수들이 과거의 성별 불평등과 구조적으로 연결돼 있다면 설명이 명확하더라도 결과는 공정하지 않을 수 있다. 설명은 차별이 어떤 경로로 작동하는지를 보여줄 수 있지만, 차별을 자동으로 제거하지는 않는다.

민감한 변수를 삭제한다고 문제를 해결할 수도 없다. 성별이나 인종을 입력 데이터에서 제외하더라도 거주 지역, 학교, 직업 이력, 소득 수준처럼 민감한 특성과 밀접하게 연관된 대리변수가 남아 있을 수 있다. AI는 이런 변수들의 조합을 통해 사실상 제외된 정보를 다시 추론한다. 설명 화면에는 성별이라는 항목이 나타나지 않지만, 모델은 성별과 강하게 연결된 정보를 이용해 유사한 차이를 만들어낼 수 있다.

보험료 산정도 같은 문제를 보여준다. 보험사는 사고 가능성을 정확히 예측해 위험에 맞는 가격을 책정하려 한다. 그러나 정확도를 높이는 변수 가운데 일부는 개인이 통제하기 어렵거나 사회경제적 불평등과 연결돼 있을 수 있다. 우편번호는 교통환경이나 사고율을 반영할 수 있지만, 소득과 인종적 분리를 우회적으로 반영할 수도 있다. 시스템이 우편번호가 보험료에 영향을 미쳤다고 솔직하게 설명하더라도 그 가격이 사회적으로 공정한지는 별도로 판단해야 한다.

공정성 자체도 하나의 숫자로 정의하기 어렵다. 서로 다른 집단의 승인율을 같게 만들 것인지, 실제 상환 능력이 같은 사람에게 같은 승인 확률을 부여할 것인지, 집단별 오류율을 같게 할 것인지에 따라 결과가 달라진다. 어떤 공정성 기준을 강화하면 다른 기준이 약해지는 경우도 있다. 따라서 공정성은 해석 도구가 자동으로 판정할 수 있는 기술적 속성이 아니라, 조직이 목적과 영향, 법적 의무, 사회적 가치를 고려해 선택해야 하는 규범적 문제다.

정확성과 공정성 사이에도 세심한 검토가 필요하다. AI 개발 조직은 흔히 전체 예측 정확도를 최적화한다. 그러나 전체 정확도가 높더라도 소수 집단에서 오류가 집중될 수 있다. 지원자의 95%를 정확하게 평가하는 채용 AI가 특정 집단의 우수 인재를 반복적으로 탈락시킨다면 평균 성능만으로 시스템의 품질을 판단할 수 없다. 전체 평균은 집단 간 격차를 가릴 수 있다.

설명 도구도 평균을 사용하는 경우가 많다. 부분 의존성 도표는 특정 변수가 예측에 미치는 평균적인 영향을 보여준다. 평균적인 곡선이 안정적이라고 해서 모든 집단과 개인에게 같은 방식으로 작동한다는 뜻은 아니다. 서로 반대 방향으로 나타나는 집단별 효과가 평균 안에서 상쇄될 수도 있다. 일부 사람에게는 큰 불이익을 주고 다른 사람에게는 이익을 주는 변수가 전체 그래프에서는 거의 영향이 없는 것처럼 보일 수 있다.

연구진은 자동차 보험 청구 데이터와 범죄 재범 위험을 예측하는 COMPAS 데이터를 이용해 이러한 취약성을 살폈다. COMPAS는 형사사법 영역에서 피고인의 재범 위험을 평가하는 데 활용돼 알고리즘 편향 논쟁의 대표 사례가 된 시스템이다. 연구 결과는 실제 예측 대부분을 유지하면서도 부분 의존성 도표를 조작해 차별적 관계를 감출 수 있음을 보여줬다. 설명 도구가 중립적인 그림을 제시하더라도 모델의 실제 판단은 여전히 특정 집단에 불리할 수 있었다.

이 결과가 중요한 이유는 기술적 공격 가능성에만 있지 않다. 많은 조직이 설명 보고서나 변수 중요도 그래프를 AI 공정성의 증거로 활용하고 있기 때문이다. 감사 담당자와 경영진이 몇 장의 시각화 자료를 보고 민감한 변수가 결과에 큰 영향을 미치지 않는다고 판단한다면, 실제 데이터에서 발생하는 차별을 놓칠 수 있다. 설명 가능성 도구가 검증을 돕는 보조 수단에서 공정성을 인증하는 도장으로 바뀌는 순간 착시가 시작된다.

투명성은 공정성을 살펴보기 위한 조건 가운데 하나다. 무엇이 일어나는지 전혀 알 수 없다면 문제를 발견하기 어렵다. 그러나 볼 수 있다는 사실만으로 보이는 내용이 정확하거나 충분하다고 판단해서는 안 된다. 설명이 보여주는 범위와 보여주지 않는 범위, 설명 방법이 전제한 데이터 조건, 다른 해석 도구를 적용했을 때에도 같은 결론이 나오는지를 함께 확인해야 한다.

기업이 AI를 도입하면서 가장 먼저 찾는 것은 실행 가능한 기준이다. 공정하고 책임 있는 AI를 만들라는 원칙은 옳지만 추상적이다. 반면 설명 기능을 제공하라는 요구는 비교적 구체적이다. 변수 중요도 보고서를 만들고, 이용자에게 결정 사유를 알려주며, 모델 설명 화면을 구축하면 준수 여부를 확인할 수 있다. 이 때문에 설명 가능성이 책임 있는 AI의 대표 지표로 자리 잡기 쉬웠다.

하지만 측정하기 쉬운 지표가 중요한 목표를 대신하면 조직의 행동도 지표에 맞춰진다. AI의 사회적 영향을 충분히 점검하는 것보다 설명 보고서를 만드는 일이 우선될 수 있다. 공정한 결과를 만드는 것보다 공정해 보이는 그래프를 제출하는 일이 쉬울 수도 있다. 설명 가능성이 체크리스트의 한 항목으로 축소되면 AI 거버넌스는 실제 위험을 줄이는 활동이 아니라 서류를 완성하는 절차로 변한다.

이런 상황에서는 투명성이 면책 장치처럼 사용될 수 있다. 기업은 AI가 어떤 정보를 활용하는지 공개했고, 이용자에게 결과의 이유를 설명했으며, 내부적으로 해석 도구를 적용했다고 주장할 수 있다. 문제가 발생해도 “설명 가능한 시스템이었다”는 사실을 책임을 다했다는 근거로 내세울 수 있다. 그러나 설명이 부정확하거나 불완전했다면 형식적인 공개가 실질적인 책임을 대신한 셈이 된다.

설명을 받은 이용자에게 책임이 전가될 가능성도 있다. 기업이 판단 근거를 제공했으니 이용자가 내용을 이해하고 이의를 제기해야 한다는 논리가 형성될 수 있다. 하지만 기술적 지식이 없는 사람은 복잡한 변수 중요도와 확률 수치를 검증하기 어렵다. 설명서를 받았다는 사실과 판단을 실질적으로 다툴 수 있다는 것은 다르다. 불리한 결정을 받은 사람에게 설명만 제공하고 검토 절차나 구제 수단을 마련하지 않는다면 투명성은 권리를 보장하지 못한다.

더 많은 정보를 공개하는 것이 언제나 더 나은 것도 아니다. 지나치게 복잡한 설명은 핵심 문제를 가릴 수 있다. 수십 개의 그래프와 기술 용어, 모델 성능 지표를 제시하면 조직은 투명해 보이지만 이용자는 무엇을 확인해야 하는지 알기 어렵다. 정보가 없어서가 아니라 정보가 너무 많고 구조화되지 않아 판단할 수 없는 상황이 만들어진다. 공개의 양보다 중요한 것은 의사결정에 필요한 정보를 이해하고 검증할 수 있는 형태로 제공하는 일이다.

상업적 이해관계도 고려해야 한다. 모델을 개발한 기업은 자사의 AI가 정확하고 공정하다는 사실을 보여주려 한다. 설명 도구를 선택하고 분석 범위를 정하며 결과를 시각화하는 주체가 모델 운영자와 동일하다면 유리한 설명만 제시할 유인이 생긴다. 의도적인 조작이 없더라도 조직은 문제를 드러내는 결과보다 안정적으로 보이는 결과를 선호할 수 있다. 내부 보고 과정에서 불편한 지표가 제외되거나 평균값에 묻힐 가능성도 있다.

이러한 현상은 ‘투명성 세탁’으로 이어질 수 있다. 환경 성과를 과장하는 그린워싱처럼, 실질적인 개선 없이 설명 기능과 윤리 원칙을 강조해 책임 있는 AI라는 이미지를 만드는 것이다. 모델 카드, 윤리 선언문, 설명 화면은 필요하지만 그것만으로 데이터의 편향과 의사결정의 피해가 사라지지는 않는다. 공개된 자료가 실제 운영을 충실하게 반영하는지 검증하지 않으면 투명성은 신뢰를 얻기 위한 홍보 수단이 될 수 있다.

자동차 보험과 형사사법 데이터를 활용한 연구는 설명 도구가 기술적으로도 속을 수 있다는 점을 보여줬다. 차별적 예측은 거의 그대로 유지하면서 공정해 보이는 설명을 만들 수 있다면, 설명 보고서만으로 모델을 승인하는 절차는 충분하지 않다. 감사자는 설명 결과를 소비하는 데 그치지 않고 설명이 만들어진 방법, 데이터 분포, 외삽 영역, 변수 간 상관관계까지 살펴야 한다.

경영진의 역할도 달라져야 한다. “설명 가능한 AI인가”라는 질문은 너무 넓고 단순하다. 어떤 사람을 위해 어떤 설명을 제공하는지, 설명이 실제 모델 행동과 얼마나 일치하는지, 다른 방법으로 재검증했는지, 불리한 결과를 받은 사람이 이의를 제기할 수 있는지 물어야 한다. 설명 자료가 존재한다는 보고만 받고 시스템의 책임성을 승인해서는 안 된다.

규제기관 역시 특정 설명 도구의 사용을 의무화하는 방식에만 의존하기 어렵다. 하나의 표준 도구가 규제 요건으로 굳어지면 기업은 해당 도구에서 좋은 결과를 얻는 데 집중할 수 있다. 연구에서 보여준 것처럼 해석 방법에는 각각의 가정과 취약점이 있다. 규제는 설명의 형식보다 결과의 검증 가능성, 차별적 영향, 기록 보존, 외부 감사, 이의 제기권처럼 여러 층위의 책임 구조를 요구해야 한다.

신뢰할 수 있는 AI를 만들기 위해 설명은 필요하지만 충분하지 않다. 설명 결과를 다른 증거와 결합해 검증하는 체계가 필요하다. 조직은 모델을 개발하는 단계부터 배포하고 운영하는 단계까지 데이터, 성능, 공정성, 인간의 개입, 피해 구제 절차를 함께 관리해야 한다. 한 번의 설명 보고서가 아니라 지속적인 검증 과정이 AI 거버넌스의 중심이 돼야 한다.

첫째, 설명 방법을 하나만 사용해서는 안 된다. 부분 의존성 도표, 변수 중요도, 개별 예측 설명, 반사실적 설명 등은 서로 다른 질문에 답한다. 한 도구에서 민감한 관계가 보이지 않는다고 해서 다른 방식에서도 같은 결과가 나오는 것은 아니다. 여러 해석 방법을 함께 적용하고 결과가 서로 일치하는지 비교해야 한다. 결과가 다르다면 어느 설명이 옳은지를 성급하게 선택하기보다 차이가 발생한 원인을 분석해야 한다.

둘째, 설명 도구가 전제하는 조건을 점검해야 한다. 변수 사이의 상관관계가 강한지, 실제 데이터가 존재하지 않는 영역으로 예측이 확장되는지, 평균값이 집단별 차이를 가리고 있지 않은지 확인해야 한다. 부분 의존성 도표를 사용할 때는 현실적인 데이터 영역과 외삽 영역을 구분해 표시하고, 데이터가 희박한 구간의 설명을 공정성 판단의 근거로 삼지 않아야 한다.

셋째, 설명이 아니라 실제 결과를 직접 측정해야 한다. 집단별 승인율, 거절률, 오탐률, 미탐률, 예측 오차, 비용 부담을 비교하면 모델이 현실에서 누구에게 어떤 영향을 미치는지 확인할 수 있다. 보험 AI라면 성별, 연령, 지역, 소득 수준에 따라 보험료와 오류가 어떻게 달라지는지 살펴야 한다. 채용 AI라면 지원자의 집단별 통과율뿐 아니라 실제 성과가 비슷한 사람들에게 동일한 기회가 주어지는지 확인해야 한다.

넷째, 평균 성능을 세분화해야 한다. 전체 정확도나 평균 손실값은 일부 집단의 문제를 숨길 수 있다. 데이터가 적은 소수 집단일수록 전체 지표에 미치는 영향이 작아 오류가 지속돼도 눈에 띄지 않는다. 조직은 주요 하위 집단별 성능을 따로 측정하고, 데이터가 부족해 신뢰할 수 있는 평가가 어려운 집단도 명시해야 한다. 측정되지 않았다는 사실을 문제가 없다는 뜻으로 해석해서는 안 된다.

다섯째, 모델 개발팀과 검증팀을 분리할 필요가 있다. 모델을 만든 사람이 자신의 모델을 설명하고 공정성을 승인하는 구조에서는 이해충돌이 발생한다. 독립적인 내부 감사팀이나 외부 전문가가 데이터와 코드를 검토하고, 동일한 결과를 재현하며, 다른 설명 방법을 적용해야 한다. 위험이 큰 AI일수록 검증 주체의 독립성과 전문성이 중요하다.

여섯째, 배포 전 검증만으로 끝내서는 안 된다. AI는 운영 환경이 변하면 성능과 영향도 달라진다. 경기 침체, 노동시장 변화, 새로운 고객 유입, 데이터 수집 방식의 변경으로 입력 데이터의 분포가 달라질 수 있다. 개발 당시에는 문제가 없던 변수가 시간이 지나며 특정 집단에 불리하게 작동할 수도 있다. 정기적인 재평가와 실시간 감시, 이상 징후가 발견됐을 때 모델을 중지하거나 이전 방식으로 전환하는 절차가 필요하다.

일곱째, 인간의 재검토를 실질적으로 설계해야 한다. 단순히 최종 승인 버튼을 사람이 누르게 하는 것만으로는 충분하지 않다. 담당자가 AI의 판단을 뒤집을 권한과 시간, 정보, 전문성을 갖춰야 한다. AI의 추천을 따르는 것이 조직 내에서 가장 안전한 선택으로 인식되면 인간은 형식적인 승인자로 남는다. AI를 거부하거나 수정한 사례가 불이익으로 이어지지 않도록 운영 원칙도 마련해야 한다.

여덟째, 설명을 이용자의 행동과 연결해야 한다. 대출이 거절된 이유를 알려주는 데서 끝나지 않고, 어떤 정보를 수정하거나 추가하면 재심사를 받을 수 있는지 안내해야 한다. 잘못된 데이터가 사용됐다면 정정할 수 있어야 하고, 자동화된 판단에 이의를 제기할 수 있어야 한다. 설명이 구제와 연결되지 않는다면 이용자에게는 이해하기 어려운 사후 통보에 불과하다.

아홉째, 중요한 결정을 기록해야 한다. 어떤 모델과 데이터가 사용됐는지, 언제 업데이트됐는지, 어떤 설명 도구가 적용됐는지, 인간 담당자가 어떤 이유로 결과를 승인하거나 변경했는지 남겨야 한다. 문제가 발생했을 때 판단 경로를 추적할 수 있어야 책임 소재를 확인하고 재발을 막을 수 있다. 기록이 없다면 설명은 그 순간의 화면으로 사라지고 조직은 사후 검증 능력을 잃는다.

열째, AI가 사용돼서는 안 되는 영역과 조건도 정해야 한다. 설명과 감사 절차를 강화해도 피해가 크고 오류를 되돌리기 어려운 판단에는 자동화를 제한할 필요가 있다. 자유를 박탈하거나 생명과 건강, 생계에 중대한 영향을 미치는 결정이라면 AI가 보조 역할에 머물러야 할 수 있다. 기술적으로 설명할 수 있다는 이유만으로 자동화의 범위를 넓혀서는 안 된다.

이러한 검증 체계에는 비용과 시간이 들어간다. 하지만 AI의 효율성은 위험 관리 비용을 제외한 채 계산해서는 안 된다. 잘못된 대출 거절, 차별적 채용, 부당한 보험료, 오진이 초래하는 피해와 소송, 평판 하락, 규제 제재까지 고려하면 사전 검증과 지속적인 감사는 부가적인 부담이 아니라 운영 비용의 일부다.

AI 투명성을 둘러싼 논의는 종종 신뢰를 어떻게 높일 것인가에 집중한다. 사용자가 AI의 판단 과정을 이해하면 시스템을 더 편안하게 받아들이고 활용할 것이라는 기대다. 기업 입장에서도 신뢰는 AI 도입과 확산을 위해 중요한 자산이다. 그러나 AI 거버넌스의 목표를 신뢰 향상으로만 설정하면 위험한 방향으로 흐를 수 있다.

신뢰는 높다고 항상 좋은 것이 아니다. 성능이 낮거나 편향된 시스템을 강하게 신뢰하면 피해가 커진다. 반대로 신중한 의심은 이용자가 오류를 발견하고 인간의 판단을 유지하도록 돕는다. 필요한 것은 무조건적인 신뢰가 아니라 시스템의 실제 능력과 한계에 맞는 적정한 신뢰다. 잘하는 일은 활용하되 불확실한 영역에서는 확인하고, 위험한 판단에는 이의를 제기할 수 있어야 한다.

설명은 신뢰를 높이는 장치가 아니라 신뢰를 조정하는 장치가 돼야 한다. AI가 무엇을 알고 무엇을 모르는지, 어떤 조건에서 성능이 떨어지는지, 설명 자체에 어떤 한계가 있는지를 함께 알려야 한다. 확신에 찬 이유만 제시하기보다 불확실성과 대안적 해석을 보여주는 편이 책임 있는 설명에 가깝다. 이용자가 AI를 더 많이 믿게 만드는 것이 아니라 언제 믿고 언제 의심해야 하는지 판단하도록 도와야 한다.

설명의 대상도 구분해야 한다. 개발자는 변수의 상호작용과 모델 오류를 진단할 수 있는 기술적 정보가 필요하다. 경영진은 AI가 조직의 목표와 위험 기준에 부합하는지 판단할 수 있는 요약이 필요하다. 감사 담당자와 규제기관에는 원자료, 검증 방법, 집단별 성능, 변경 기록이 중요하다. 소비자는 자신의 결정에 영향을 준 핵심 요인과 이의 제기 방법을 이해해야 한다. 모든 사람에게 같은 그래프를 제공하는 것은 투명성이 아니라 책임의 방치일 수 있다.

경영진은 AI 설명을 성과 보고서처럼 받아들이지 않아야 한다. “가장 중요한 변수는 무엇인가”만 물으면 설명 도구가 제시한 순위를 사실로 받아들이게 된다. “이 설명은 어떤 가정을 사용했는가”, “현실에 없는 데이터 조합이 포함됐는가”, “집단별로 분석하면 결과가 달라지는가”, “다른 도구에서도 같은 결론이 나오는가”를 함께 물어야 한다. 질문의 수준이 거버넌스의 수준을 결정한다.

또한 공정성을 기술팀에만 맡길 수 없다. 무엇이 공정한지 정하는 일은 데이터 과학의 문제이면서 경영, 법률, 윤리, 소비자 보호의 문제다. 개발자는 오류율을 계산할 수 있지만 어떤 오류를 더 심각하게 볼 것인지는 조직과 사회가 결정해야 한다. 대출을 받을 사람을 거절하는 오류와 상환하기 어려운 사람에게 대출을 제공하는 오류는 서로 다른 피해를 만든다. 의료 AI의 오진도 질환과 환자 집단에 따라 영향이 다르다. 다양한 이해관계자가 공정성 기준을 함께 설계해야 하는 이유다.

AI의 판단을 받는 사람도 거버넌스 과정에 포함할 필요가 있다. 기업 내부의 기술적 검토만으로는 실제 이용자가 경험하는 문제를 모두 파악하기 어렵다. 설명이 이해되는지, 결정에 이의를 제기할 수 있는지, 특정 집단이 반복적으로 불이익을 경험하는지 현장의 의견을 수집해야 한다. 피해를 받는 사람을 검증 과정에서 배제한 채 공정한 AI를 선언하는 것은 설득력이 약하다.

연구가 던진 가장 중요한 메시지는 설명 도구를 믿지 말라는 것이 아니다. 설명 도구 역시 검증의 대상이어야 한다는 것이다. 체온계가 정확한지 확인하듯, AI를 설명하는 도구가 실제 모델 행동을 충실히 보여주는지 점검해야 한다. 하나의 해석 결과가 보기 좋고 이해하기 쉽다는 이유로 공정성의 증거로 받아들여서는 안 된다.

설명 가능한 AI는 블랙박스 문제를 해결하는 완성품이 아니라 조사와 검증을 시작하기 위한 도구다. 설명을 통해 이상한 변수를 발견하고, 집단별 결과를 비교하며, 모델을 수정하고, 영향을 받은 사람이 이의를 제기할 수 있어야 한다. 설명 이후에 아무 행동도 이어지지 않는다면 투명성은 장식적인 기능에 머문다.

기업이 설계해야 할 것은 사람들이 AI를 믿게 만드는 화면이 아니다. AI가 틀렸을 때 발견할 수 있고, 편향됐을 때 수정할 수 있으며, 피해가 발생했을 때 책임지고 구제할 수 있는 구조다. 공정성은 그래프의 모양이 아니라 실제 의사결정의 결과에서 확인돼야 한다. 책임성은 윤리 원칙의 선언이 아니라 오류를 추적하고 바로잡는 권한과 절차에서 드러나야 한다.

AI가 판단의 이유를 말할 수 있다는 사실은 중요한 진전이다. 그러나 그 설명이 정확한지, 충분한지, 특정한 이해관계를 위해 선택적으로 구성되지는 않았는지 묻는 단계가 반드시 뒤따라야 한다. 설명이 신뢰를 요구하는 근거가 되는 순간 착시가 시작된다. 설명이 검증과 반론을 가능하게 하는 자료로 사용될 때 비로소 투명성은 제 역할을 한다.

AI 시대에 필요한 질문은 “시스템이 자신을 설명할 수 있는가”에 머물지 않는다. “그 설명을 독립적으로 검증할 수 있는가”, “설명과 실제 결과가 일치하는가”, “잘못된 결정에 이의를 제기하고 바로잡을 수 있는가”까지 나아가야 한다. 책임 있는 AI는 말을 잘하는 AI가 아니라 자신의 판단을 시험받을 수 있는 AI다. 투명성의 가치는 신뢰를 빠르게 얻는 데 있지 않고, 신뢰할 만한지 끊임없이 확인할 수 있도록 만드는 데 있다.

Knowledge at Wharton, May 2026, Knowledge at Wharton, When AI Transparency Backfires

When AI explains the reasons behind its decisions, people tend to perceive those decisions as more transparent and fair. However, an easy-to-understand explanation does not guarantee the accuracy or fairness of a decision. The standard for AI governance must shift from “Was it explained?” to “Can it be verified?”

***

As artificial intelligence has moved deeper into people’s daily lives and organizational decision-making, a new question has emerged. Beyond asking how accurate AI is, people have begun asking whether it can explain why it made a particular decision. If a system rejects a loan application, sets different insurance premiums, ranks job applicants, or predicts a patient’s likelihood of disease, simply presenting the result is not enough. The growing concern is that an AI system whose reasoning cannot be understood is difficult to trust, no matter how well it performs.

Traditional statistical models used relatively simple relationships. It was easier for people to trace how much each variable affected an outcome. However, the spread of machine learning and deep learning changed the situation. Hundreds, billions, or even more variables and parameters began interacting in complex ways to produce results. Even developers found it difficult to explain clearly how a particular output had been generated. Accuracy increased, but the decision-making process became opaque. This was the background against which the so-called “black box” problem emerged in earnest.

Explainable AI, or XAI, gained attention as a response to the black box problem. XAI refers to technologies and methods that present the decisions of complex models in forms that people can understand. When a particular loan application is rejected, for example, the system might indicate whether income, debt, or repayment history had the greatest influence. In medical imaging, it might highlight the area on which the AI based its judgment that an abnormality was present. Some methods explain how an entire model works, while others explain the factors that influenced a single decision.

Explainability has become an important component of responsible AI. For companies, it offers a means of examining AI decisions internally. For users, it provides a channel through which they can understand the causes of unfavorable decisions and challenge them. Regulators have also begun using explanation tools to determine whether AI produces discriminatory or unfair outcomes. Transparency and explainability have been presented as core principles of AI governance alongside fairness, accountability, and privacy protection.

The problem is that explainability is a far more complicated concept than initially expected. Fully disclosing the internal workings of an AI system is different from providing a summary that people can understand. A technical explanation intended for developers is not the same as the explanation needed by consumers. Showing that a particular variable is important is also different from explaining why that variable became important. Most importantly, the fact that AI provides an explanation is not the same as the fact that its decision is fair.

Early expectations surrounding explainable AI contained a simple assumption. If the black box could be opened and its interior examined, errors and biases could also be discovered. In practice, however, explanations resemble maps that simplify complex movements so that people can understand them more than transparent windows that reveal a model’s internal workings exactly as they are. Maps are useful, but they do not contain every feature of reality. The same place can look entirely different depending on what is shown and what is omitted.

Research introduced by Knowledge at Wharton in May 2026 issued a warning at precisely this point. The researchers demonstrated that widely used machine-learning interpretation tools could make a discriminatory model appear neutral. The problem did not arise from a lack of explanation. Instead, the existence of an explanation itself could create false confidence. A tool designed to increase transparency could become a mechanism for concealing bias rather than a window for discovering it.

This does not mean that explainable AI is unnecessary. It means that the belief that accountability and fairness will naturally follow once an explanation is available is dangerous. Installing a single window in a black box does not reveal the entire interior. It is also necessary to examine where that window is facing, what it conceals, and how faithfully the visible scene reflects the system’s actual operation.

People tend to trust a judgment accompanied by reasons more than one that presents only a conclusion. The notification “Your loan application has been rejected” feels less reasonable than the explanation “Your loan application was rejected because of your debt ratio and recent late payments.” Even when people dislike an outcome, they are more likely to accept it if they understand the criteria that were applied. Explanations reduce uncertainty and create the impression that there is order behind a decision.

This psychology also applies to AI. When AI provides reasons, users are more likely to assume that the system analyzed sufficient data, applied consistent standards, and operated without hidden prejudice. The more detailed and visually sophisticated the explanation is, the more trust it may inspire. When graphs showing variable importance, color-coded risk levels, and precise probability figures are presented, the result can appear to be the product of objective science.

However, sophisticated presentation and the legitimacy of a decision are not the same thing. The appearance of a figure such as 78.4% does not guarantee that the prediction is actually that accurate. The presence of a clean graph does not mean that the model is free from bias. The more professional the explanation appears, the more likely users are to accept the result rather than question the assumptions and limitations behind it.

AI explanations can broadly be divided into methods that make the model itself easier to understand and methods that interpret the results of a complex model afterward. Some models, such as simple decision trees, allow their internal structures to be examined directly. In practice, however, organizations often use complex black box models to achieve high predictive performance and then attach separate interpretation tools. In such cases, an explanation is not a record that translates every calculation the model actually performed. It is an approximate explanation created by analyzing the relationship between the model’s inputs and outputs in a way that people can understand.

Post-hoc explanations are useful because they reduce complexity. Yet approximation entails loss. The same result may be explained differently depending on which interpretation method is selected, and the ranking of important variables may change depending on the scope of analysis and the reference values used. An explanation concerning a particular individual may also create an impression different from an explanation about the population as a whole. An explanation is closer to the result of viewing a model from a particular perspective than to a single absolute truth.

The partial dependence plot examined by the researchers is also a representative interpretation method. A partial dependence plot shows how a particular variable affects the predicted outcome while controlling, on average, for the influence of other conditions. For example, it can display as a curve how age affects an automobile insurance premium prediction. If the curve does not rise or fall sharply with age, it may create the impression that the model barely uses age in a discriminatory way.

However, this plot can include predictions for combinations of data that do not exist in reality or are extremely rare. When variables are closely related to one another, changing only one variable independently can produce hypothetical cases that lie outside the distribution of real-world data. A model can retain discriminatory predictions for actual observations while adjusting predictions in these hypothetical regions to make the overall graph appear flat and neutral.

The researchers designed an adversarial method that exploited precisely this vulnerability. They changed predictions in the extrapolation regions referenced by the explanation tool while leaving almost all of the original model’s predictions for real-world cases intact. As a result, a model that was actually disadvantageous to a particular group appeared neutral in the partial dependence plot. The model’s discriminatory behavior had not disappeared; it had merely become invisible on the explanation screen.

More troubling is the fact that this problem does not necessarily arise only through malicious manipulation. The research demonstrated that explanations could be deliberately deceived, but the same vulnerability can also emerge through incorrectly chosen analytical ranges, insufficient understanding of correlations within the data, inappropriate visualizations, and the mechanical application of convenient interpretation tools. Even when developers or managers have no intention of concealing bias, an incomplete explanation may still be accepted as evidence of fairness.

Explanations help people, but they also lower their guard. When users confront a system that offers no explanation at all, they begin with suspicion. When a plausible reason is provided, however, they may feel there is no longer any need to ask questions. Because of this psychological effect, an inaccurate explanation can be more dangerous than no explanation. An opaque AI becomes an object of caution, while a poorly explained AI becomes an object of trust.

In discussions of AI governance, transparency, explainability, fairness, and accountability are often grouped together. They are all principles of trustworthy AI, but they are not interchangeable. Explainability is the quality that enables people to understand how AI reached a decision. Fairness concerns whether that decision imposes unjust disadvantages on particular individuals or groups. Accountability concerns the structure that determines who will review and correct a problematic decision and take responsibility for it.

An explainable model can still be unfair. Suppose an AI trained on historical hiring data evaluates male applicants as having a higher likelihood of strong performance. The system may clearly explain that years of service, area of experience, previous job title, and participation in particular activities were important variables. Yet if those variables are structurally connected to historical gender inequality, the result may still be unfair even though the explanation is clear. An explanation can reveal the path through which discrimination operates, but it does not automatically eliminate discrimination.

Removing sensitive variables does not solve the problem either. Even if gender or race is excluded from the input data, proxy variables such as residential area, school, employment history, and income level may remain closely related to those sensitive characteristics. AI can use combinations of such variables to reconstruct information that was supposedly removed. The explanation screen may not display an item labeled “gender,” while the model still produces similar disparities by using information strongly associated with gender.

Insurance pricing reveals the same problem. Insurers seek to predict the likelihood of accidents accurately and set prices according to risk. However, some variables that improve accuracy may be difficult for individuals to control or may be linked to socioeconomic inequality. A postal code may reflect traffic conditions or accident rates, but it may also indirectly reflect income and racial segregation. Even if the system honestly explains that a postal code affected the premium, whether that price is socially fair must be judged separately.

Fairness itself is difficult to define with a single number. Results differ depending on whether the goal is to equalize approval rates across groups, give the same probability of approval to people with equal repayment ability, or equalize error rates across groups. Strengthening one fairness criterion can weaken another. Fairness is therefore not a technical property that an interpretation tool can automatically determine. It is a normative question that an organization must address by considering its objectives, impacts, legal obligations, and social values.

The relationship between accuracy and fairness also requires careful examination. AI development organizations often optimize overall predictive accuracy. Yet even when overall accuracy is high, errors may be concentrated within a minority group. If a hiring AI evaluates 95% of applicants accurately but repeatedly rejects qualified candidates from a particular group, the quality of the system cannot be assessed solely through average performance. Overall averages can conceal differences among groups.

Explanation tools also frequently rely on averages. A partial dependence plot shows the average effect of a particular variable on predictions. A stable average curve does not mean that the model behaves in the same way for every group and individual. Group-specific effects moving in opposite directions may cancel one another out in the average. A variable that substantially disadvantages some people and benefits others may appear to have almost no effect in the overall graph.

The researchers examined these vulnerabilities using automobile insurance claims data and data from COMPAS, a system used to predict the risk of criminal recidivism. COMPAS became a prominent case in debates over algorithmic bias because it was used in the criminal justice system to assess defendants’ risk of reoffending. The findings showed that discriminatory relationships could be concealed by manipulating partial dependence plots while preserving most actual predictions. Even when the interpretation tool presented a neutral picture, the model’s real decisions could remain unfavorable to a particular group.

The significance of these results goes beyond the possibility of a technical attack. Many organizations use explanation reports or variable-importance graphs as evidence of AI fairness. If auditors and executives review a few visualizations and conclude that sensitive variables do not substantially affect the outcome, they may overlook discrimination occurring in actual data. The illusion begins when an explainability tool moves from being an aid to verification to becoming a seal that certifies fairness.

Transparency is one of the conditions needed to examine fairness. If no one can understand what is happening, discovering problems becomes difficult. However, the fact that something can be seen does not mean that what is visible is accurate or sufficient. Organizations must also examine what an explanation shows and does not show, which data conditions the explanation method assumes, and whether other interpretation tools produce the same conclusion.

When companies adopt AI, the first thing they seek is an actionable standard. The principle of building fair and responsible AI is correct but abstract. In contrast, a requirement to provide an explanation function is relatively concrete. An organization can generate variable-importance reports, inform users of the reasons for decisions, and build model-explanation dashboards. Whether these measures have been implemented can be checked. For this reason, explainability can easily become the representative indicator of responsible AI.

However, when an easily measured indicator replaces an important objective, organizational behavior begins to conform to the indicator. Producing an explanation report may take priority over thoroughly examining the social impact of AI. Submitting a graph that looks fair may be easier than creating fair outcomes. If explainability is reduced to a box on a checklist, AI governance can turn from an effort to reduce actual risk into a procedure for completing documents.

Under such circumstances, transparency can be used as a shield against accountability. A company can claim that it disclosed which information the AI used, explained the reasons for its results to users, and applied interpretation tools internally. Even when a problem occurs, the organization may present the fact that the system was “explainable” as evidence that it fulfilled its responsibilities. If the explanation was inaccurate or incomplete, however, formal disclosure has replaced substantive accountability.

Responsibility may also be shifted onto users who receive explanations. A line of reasoning may develop in which the company provided the grounds for the decision, so users are responsible for understanding them and filing objections. Yet people without technical expertise find it difficult to verify complex variable-importance measures and probability figures. Receiving an explanation is different from having a meaningful ability to challenge a decision. If an organization merely provides an explanation without creating review procedures or remedies, transparency does not protect users’ rights.

Disclosing more information is not always better. Excessively complex explanations can obscure the central issue. When dozens of graphs, technical terms, and model-performance indicators are presented, an organization may appear transparent, but users may not know what they are supposed to examine. The problem may arise not because information is absent but because there is too much of it and it is not structured in a way that supports judgment. More important than the quantity of disclosure is providing the information needed for a decision in a form that can be understood and verified.

Commercial interests must also be considered. A company that developed a model wants to demonstrate that its AI is accurate and fair. If the model operator is also the party selecting the explanation tool, defining the scope of analysis, and visualizing the results, there is an incentive to present only favorable explanations. Even without deliberate manipulation, organizations may prefer results that appear stable over results that expose problems. Uncomfortable indicators may be omitted from internal reports or buried in averages.

This phenomenon can lead to “transparency washing.” Like greenwashing, which exaggerates environmental performance, transparency washing creates an image of responsible AI by emphasizing explanation functions and ethical principles without making substantive improvements. Model cards, ethical declarations, and explanation dashboards are necessary, but they do not by themselves eliminate bias in data or harm caused by decisions. Unless organizations verify that disclosed materials faithfully reflect actual operations, transparency can become a public-relations tool for gaining trust.

The research using automobile insurance and criminal justice data showed that explanation tools could also be deceived technically. If discriminatory predictions can remain almost unchanged while an explanation that looks fair is produced, a procedure that approves a model based only on an explanation report is insufficient. Auditors must do more than consume explanation results. They must examine how the explanation was produced, the distribution of the data, the extrapolation region, and correlations among variables.

The role of executives must also change. The question “Is this AI explainable?” is too broad and too simple. Executives should ask what explanations are being provided, to whom, whether those explanations correspond to actual model behavior, whether they have been independently verified using other methods, and whether people harmed by the outcome can challenge the decision. The existence of explanatory materials should not be enough to justify approval of the system’s accountability.

Regulators also cannot rely solely on mandating the use of a particular explanation tool. Once a standard tool becomes a regulatory requirement, companies may focus on obtaining favorable results from that tool. As the research demonstrated, every interpretation method has its own assumptions and vulnerabilities. Regulation should require multiple layers of accountability, including verifiability of outcomes, assessment of discriminatory impact, record preservation, external auditing, and the right to appeal, rather than focusing only on the format of explanations.

Explanations are necessary for trustworthy AI, but they are not sufficient. A system is needed that combines explanations with other evidence and verifies them. Organizations must jointly manage data, performance, fairness, human intervention, and remedies for harm from the development stage through deployment and operation. Continuous verification, rather than a one-time explanation report, must become the center of AI governance.

First, organizations should not rely on a single explanation method. Partial dependence plots, variable importance, individual prediction explanations, and counterfactual explanations answer different questions. The absence of a sensitive relationship in one tool does not mean that another method will produce the same result. Multiple interpretation methods should be applied together, and their results should be compared for consistency. When they differ, organizations should analyze why the difference arose rather than hastily selecting one explanation as correct.

Second, the assumptions underlying explanation tools must be examined. Organizations need to determine whether variables are strongly correlated, whether predictions are being extended into regions where actual data do not exist, and whether averages are concealing group-specific differences. When partial dependence plots are used, realistic data regions and extrapolation regions should be distinguished, and explanations drawn from data-sparse ranges should not be treated as evidence of fairness.

Third, actual outcomes must be measured directly instead of relying on explanations. Comparing group-level approval rates, rejection rates, false-positive rates, false-negative rates, prediction errors, and cost burdens reveals who is affected by a model and how. For an insurance AI, the organization should examine how premiums and errors differ by gender, age, region, and income level. For a hiring AI, it should assess not only group-specific pass rates but also whether people with similar actual performance receive equal opportunities.

Fourth, average performance must be disaggregated. Overall accuracy and average loss values can conceal problems affecting particular groups. Errors involving a small minority group have little impact on the overall indicator and may therefore persist unnoticed. Organizations should measure performance separately for important subgroups and explicitly identify groups for which reliable evaluation is difficult because of insufficient data. The fact that something was not measured must not be interpreted as evidence that no problem exists.

Fifth, model development and validation teams should be separated. A structure in which the people who created a model also explain it and approve its fairness creates a conflict of interest. An independent internal audit team or external experts should review the data and code, reproduce the results, and apply alternative explanation methods. The higher the risk posed by an AI system, the more important the independence and expertise of the validation body become.

Sixth, verification must not end before deployment. As the operating environment changes, the performance and impact of AI also change. Economic downturns, labor-market shifts, the arrival of new customers, and changes in data-collection methods can alter the distribution of inputs. A variable that caused no apparent problem during development may later begin to disadvantage a particular group. Organizations need regular reassessment, real-time monitoring, and procedures for suspending a model or reverting to a previous method when anomalies are detected.

Seventh, human review must be designed as a substantive process. Merely requiring a person to press the final approval button is not enough. The reviewer must have the authority, time, information, and expertise needed to overturn the AI’s decision. If following the AI’s recommendation is regarded as the safest choice within the organization, the human remains no more than a ceremonial approver. Operating principles must also ensure that rejecting or modifying an AI recommendation does not result in a disadvantage.

Eighth, explanations must be connected to actions that users can take. It is not enough to tell someone why a loan was denied. The organization should explain which information can be corrected or supplemented and how the person can request reconsideration. If incorrect data were used, users must be able to correct them and challenge the automated decision. Unless an explanation is connected to a remedy, it remains little more than an incomprehensible retrospective notice.

Ninth, important decisions must be documented. Organizations should record which model and data were used, when the model was updated, which explanation tool was applied, and why a human reviewer approved or changed the result. When a problem occurs, the decision path must be traceable so that responsibility can be identified and recurrence prevented. Without records, the explanation disappears with the screen on which it was displayed, and the organization loses its capacity for retrospective verification.

Tenth, organizations must also determine the areas and conditions in which AI should not be used. Even with stronger explanations and audit procedures, automation may need to be restricted for decisions in which harm is severe and errors are difficult to reverse. When a decision has major consequences for liberty, life, health, or livelihood, AI may need to remain in a supporting role. The scope of automation should not be expanded simply because a system can technically provide an explanation.

Such a verification system requires time and money. Yet the efficiency of AI should not be calculated while excluding the cost of risk management. When the damage caused by wrongful loan denials, discriminatory hiring, unfair insurance premiums, and misdiagnoses?as well as litigation, reputational decline, and regulatory penalties?is considered, pre-deployment verification and continuous auditing are not additional burdens. They are part of the cost of operation.

Discussions of AI transparency often focus on how to increase trust. The expectation is that if users understand how AI reaches decisions, they will feel more comfortable accepting and using the system. Trust is also an important asset for companies seeking to adopt and expand AI. However, setting increased trust as the sole objective of AI governance can lead in a dangerous direction.

A high level of trust is not always desirable. Strong trust in a poorly performing or biased system can amplify harm. By contrast, cautious skepticism can help users discover errors and preserve human judgment. What is needed is not unconditional trust but appropriately calibrated trust that matches the system’s actual capabilities and limitations. People should be able to use AI for tasks it performs well, verify its conclusions in uncertain areas, and challenge it when decisions carry substantial risk.

Explanations should function not as devices for increasing trust but as instruments for calibrating it. They should communicate what AI knows, what it does not know, the conditions under which its performance deteriorates, and the limitations of the explanation itself. Providing uncertainty and alternative interpretations may be more responsible than presenting only confident reasons. The purpose should not be to make users trust AI more, but to help them decide when to trust it and when to remain skeptical.

The intended audience for an explanation must also be distinguished. Developers need technical information that allows them to diagnose variable interactions and model errors. Executives need summaries that help them judge whether AI aligns with organizational goals and risk standards. Auditors and regulators need access to raw data, validation methods, group-specific performance, and change histories. Consumers need to understand the central factors that affected their decision and how to challenge it. Providing everyone with the same graph may represent an abandonment of responsibility rather than transparency.

Executives should not treat AI explanations like performance reports. If they ask only, “What is the most important variable?” they may accept the ranking produced by the explanation tool as fact. They must also ask, “What assumptions does this explanation use?”, “Does it include combinations of data that do not exist in reality?”, “Would the result change if analyzed separately by group?”, and “Do other tools produce the same conclusion?” The level of questioning determines the level of governance.

Fairness cannot be left solely to the technical team. Determining what is fair is a question of data science, but it is also a matter of management, law, ethics, and consumer protection. Developers can calculate error rates, but the organization and society must decide which errors are more serious. Wrongfully rejecting a person who is capable of repaying a loan and granting a loan to someone who may struggle to repay it create different harms. Misdiagnosis by a medical AI also has different effects depending on the disease and the patient population. This is why diverse stakeholders must jointly design fairness standards.

People who are subject to AI decisions should also be included in the governance process. An internal technical review cannot identify every problem that actual users experience. Organizations must gather feedback on whether explanations are understandable, whether decisions can be challenged, and whether particular groups repeatedly experience disadvantages. A declaration of fair AI carries little persuasive power when the people who suffer harm are excluded from the validation process.

The most important message of the research is not that explanation tools should never be trusted. It is that explanation tools themselves must be subject to verification. Just as a thermometer must be checked for accuracy, a tool that explains AI must be examined to determine whether it faithfully represents the model’s actual behavior. An interpretation result must not be accepted as evidence of fairness merely because it is visually appealing and easy to understand.

Explainable AI is not a finished solution to the black box problem. It is a tool for beginning investigation and verification. Explanations should help organizations identify suspicious variables, compare outcomes across groups, modify models, and enable affected people to challenge decisions. If no action follows an explanation, transparency remains a decorative feature.

Companies should not design screens that persuade people to trust AI. They should design structures in which errors can be detected, bias can be corrected, and harm can be remedied with clear accountability. Fairness must be confirmed in the outcomes of real decisions, not in the shape of a graph. Accountability must be demonstrated through the authority and procedures used to trace and correct errors, not through declarations of ethical principles.

The fact that AI can state the reasons for its decisions is an important advance. Yet the next step must be to ask whether the explanation is accurate, whether it is sufficient, and whether it has been selectively constructed to serve a particular interest. The illusion begins when an explanation becomes a reason to demand trust. Transparency begins to perform its proper role only when explanations are used as material for verification and challenge.

The question required in the AI era cannot stop at “Can the system explain itself?” It must advance to “Can that explanation be independently verified?”, “Does the explanation correspond to actual outcomes?”, and “Can an incorrect decision be challenged and corrected?” Responsible AI is not AI that speaks persuasively. It is AI whose decisions can be tested. The value of transparency does not lie in gaining trust quickly, but in making it possible to continually determine whether that trust is deserved.

Knowledge at Wharton, May 2026, Knowledge at Wharton, When AI Transparency Backfires