HERI 칼럼
시카고 구역별 범죄 발생확률
AI, 높은 정확도 예측 불구
유색인종, 빈곤층 과잉 대표

채용시 민감정보 배제해도
성·인종 추정가능 대리지표로
‘비의도적 차별’ 만들어내

인공지능이 학습하는 데이터
차별 만연한 사회현실 반영
미래 범죄 예측으로 화제를 모았던 영화 ‘마이너리티 리포트’(2002)에서는 초능력자의 뇌를 통해 예측했지만 오늘날은 빅데이터와 인공지능(AI)이 예측을 맡는다.
미래 범죄 예측으로 화제를 모았던 영화 ‘마이너리티 리포트’(2002)에서는 초능력자의 뇌를 통해 예측했지만 오늘날은 빅데이터와 인공지능(AI)이 예측을 맡는다.

2002년 개봉한 톰 크루즈 주연의 <마이너리티 리포트>는 미래 범죄 예측을 소재로 한 영화다. ‘프리크라임’이라는 시스템을 통해 범죄 장소, 시간, 인물까지 예측한다는 영화 속 상상이 현실로 다가오고 있다. 영화에서는 초능력자의 뇌를 통해 예측했지만 오늘날은 빅데이터와 인공지능(AI)이 예측을 맡는다.

지난달 2일 영국 과학전문지 <뉴사이언티스트>는 미국 시카고대 연구진이 과거 범죄 발생률 데이터를 근거로 미래 범죄가 발생할 가능성이 큰 지역을 정확하게 예측했지만, 유색인종에 대한 차별 등 인종적 편견이 작용할 수 있다고 보도했다. 인공지능을 통한 의사결정은 치안·사법·채용 등 다양한 분야로 퍼지고 있다. 자원의 효율적 배분, 사람의 자의적 판단에서 벗어난 공정한 결과에 대한 기대와 달리 알고리즘 의사결정이 성별·인종 등에 대한 차별을 강화할 수 있다는 우려가 크다.

■ 범죄 예측의 인종적 편향성

 범죄 예측을 위해 시카고대 연구진이 택한 방식은 시카고 시내를 일정한 크기로 구획한 뒤 2014~2016년 발생한 구획별 범죄 데이터를 학습시키고 학습 기간 이후의 범죄 발생률을 예측하는 것이다. 범죄보고서, 체포기록 및 번호판 이미지와 같은 데이터를 통해 일주일 내 특정 구역에서 범죄가 발생할 가능성을 예측했는데, 예측 정확도가 무려 90%였다. 치안 관련 예산이 한정되어 있고 백인 경찰의 인종차별 비판이 높은 미국에서 인공지능을 통한 범죄 예측은 편향에서 벗어난 공정한 의사결정의 대안으로 주목을 받았다.

하지만 인공지능이 작성한 목록에 시카고 내 20~29살 흑인 남성의 56%가 잠재적 범죄자로 올라 있을 정도로 인종적 편향이 심각하다는 점이 드러나면서 인공지능의 공정성이 도마 위에 올랐다. 인공지능이 학습하는 범죄 데이터의 질이 낮다는 것이 유력한 이유로 꼽힌다. 뉴욕대 인종 불평등법센터 소장인 빈센트 서덜랜드는 <워싱턴포스트> 인터뷰에서 “역사적으로 미국의 경찰 데이터는 편향되어 있다”며 범죄 관련 데이터는 유색인종과 저소득층을 과잉 대표하고, 이 데이터를 학습한 알고리즘은 이들의 범죄 가능성을 높게 예측하는 방식으로 작동해 차별이 강화된다고 말했다. 즉, 흑인이나 소수인종 거주지의 범죄율이 높다는 기존 데이터에 기반해 이 지역에 경찰력을 많이 배치하면 검문검색이 더 늘어나고 검거율도 높아진다. 데이터의 ‘자기 예언적 실현’인 셈이다. 효율적으로 보이는 알고리즘의 결과, 흑인 거주지의 범죄율은 더 높아지는 역설이 발생한다.

재범률, 가석방 결정 등에서도 알고리즘의 차별성 문제가 대두한다. 2016년 미국의 탐사보도매체 <프로퍼블리카>는 출소 후 재범 가능성을 인공지능이 제대로 예측했는지 검증한 결과, 백인은 인공지능의 예상보다 재범률이 크게 높았고 흑인은 반대였다.

■ 채용에서 불거진 차별 논란

 기업 채용에서도 알고리즘의 차별, 편향성 논란이 불거진다. 지난 5월 미국 법률 전문매체 <내셔널 로 리뷰>에 따르면 미국에서 고용주의 약 4분의 1이 채용 과정에서 인공지능을 사용한다. 이력서 선별, 온라인 테스트 분석, 지원자의 표정, 신체 언어, 단어 선택, 면접 중 목소리 톤 평가 등을 통해 효율적이면서도 공정한 채용을 시도하고 있다지만 여성, 유색인종 배제 등 ‘비의도적’ 차별로 이어질 위험성이 있다고 보도했다.

아마존이 구직자의 이력서를 평가하기 위해 훈련해온 알고리즘이 성 차별 논란으로 2017년 개발을 중단한 것은 널리 알려진 사례다. 이 알고리즘은 연령, 성, 출신학교, 출신지 등 차별의 요소를 배제한다지만, ‘여성 체스 클럽’, ‘여성 대학’ 등 여성이 언급된 지원서를 채용 대상에서 배제하는 방식으로 성별 편향적인 결과를 보였다.

■ AI가 차별을 학습하는 구조

 빅데이터에 기반한 알고리즘은 성별, 인종, 사회경제적 배경과 같은 민감한 변수를 배제하는 경우에도 ‘비의도적’인 차별이 나타날 수 있다. 민감 정보를 추정할 수 있는 대리지표라는 우회적 방법을 통해서다. 예컨대 구직자에게 부모 직업을 묻지 않더라도 거주지 정보, 소비 패턴, 취미 활동 등에 대한 정보를 결합해 추정해낸다. 고학수 서울대 법학전문대학원 교수는 저서 <AI는 차별을 인간에게서 배운다>에서 인공지능이 학습하는 데이터가 편향, 차별이 담긴 과거의 데이터라는 점을 강조한다. 범죄 예측 도구와 같이 특정 인종, 사회경제집단을 차별하는 데이터 자체가 문제인데 일부 민감한 데이터를 배제한다고 문제가 풀리지 않는다. 인공지능의 차별은 인간으로부터 학습한 것이며 인공지능은 이를 증폭하고 지속시킬 위협이 적잖다. 차별이 만연한 사회를 방치한 채 공정한 알고리즘을 기대하기는 어렵다.

한귀영 사람과디지털연구소 연구위원 hgy4215@hani.co.kr


한겨레에서 보기 : https://www.hani.co.kr/arti/science/future/1053838.html

서비스 선택
댓글
로그인해주세요.
profile image
powered by SocialXE
List of Articles

[유레카] 등반가 쉬나드가 연 ‘자본주의의 새 길’ / 구본권

파타고니아 창립자 이본 쉬나드. 김재욱 화백 한동안 극점과 8000m대 봉우리는 숱한 생명을 삼킨 모험과 과시적 국가주의의 대상이었다. 1964년 중국 시샤팡마(8027m)를 끝으로 8000m 14좌 모두에 사람 발길이 닿고, 1986년 라인홀...

  • HERI
  • 2022.09.26
  • 조회수 19

[아침햇발] 전현희 위원장에 박수를 보내는 이유 / 곽정수

전현희 국민권익위원장이 지난 8일 정부서울청사 브리핑실에서 감사원의 감사 재연장에 대한 입장을 발표하면서 눈물을 닦고 있다. 연합뉴스 곽정수 | 한겨레경제사회연구원 선임기자 “감사원은 직무상 대통령으로부터도 독립된 위...

  • HERI
  • 2022.09.16
  • 조회수 105

[아침햇발] 한가위 밤하늘을 올려다보며 / 이봉현

제임스웹우주망원경이 촬영한 용골자리 성운. 지구에서 7600광년 떨어진 이 성운은 태양보다 몇배 더 큰 무거운 별들의 고향으로, 우리은하에서 가장 크고 밝은 성운 가운데 하나다. 미 항공우주국 제공 이봉현 | 경제사회연구원...

  • HERI
  • 2022.09.13
  • 조회수 110

‘심심한 사과’ 문해력 논쟁과 ‘헤어질 결심’ 서래에게 배울 것 [유레카]

청소로봇 룸바, 지뢰탐지 로봇 팩봇 등을 개발한 미국의 로봇공학자 로드니 브룩스는 최근 창고로봇 카터를 선보였다. 작업자의 동작을 판독해 사람을 효과적으로 보조하는 이 로봇에 대해 외신들은 ‘사람의 몸짓언어를 해독하는...

  • admin
  • 2022.08.24
  • 조회수 292

[아침햇발] 유럽은 올겨울이 두렵다는데, 우리는? / 이봉현

천연가스 소비의 55%를 러시아산에 의존했던 독일은 러시아의 가스 공급 축소 등으로 올겨울 가스 소비를 20% 줄여야 할 것이란 예상이 나오고 있다. 사진은 가스 공급망의 핵심을 이루는 ‘오픈 그리드 유럽’의 가스압축 시...

  • HERI
  • 2022.08.22
  • 조회수 280

[유레카] 제트세대의 문해력 ‘수평적 읽기’ / 구본권

페이스북은 코로나19와 관련된 허위정보 게시물을 삭제하던 정책을 중단하는 방안을 검토 중이다. 페이스북은 초기엔 “표현 자유”를 내걸고 백신음모론 등 허위정보를 방치했는데 비판이 높아지자 방침을 바꿔 지난 2년간 2500만...

  • HERI
  • 2022.08.22
  • 조회수 150

[아침햇발] 기업이 ‘반칙’하기 좋은 나라 / 곽정수

윤석열 대통령이 17일 서울 용산 대통령실 청사에서 취임 100일을 맞아 연 첫 공식 기자회견에서 소회와 국정운영 구상을 밝히고 있다. 대통령실사진기자단 곽정수 | 한겨레경제사회연구원 선임기자 “법과 윤리를 위반한 임직원...

  • HERI
  • 2022.08.19
  • 조회수 148

“일주일내 범죄 발생 예측 정확도 90%” AI 도입 득될까?

시카고 구역별 범죄 발생확률 AI, 높은 정확도 예측 불구 유색인종, 빈곤층 과잉 대표 채용시 민감정보 배제해도 성·인종 추정가능 대리지표로 ‘비의도적 차별’ 만들어내 인공지능이 학습하는 데이터 차별 만연한 사회현실 반...

  • HERI
  • 2022.08.09
  • 조회수 273

5살 취학과 아이스하키 선수들의 생일 격차 [유레카]

캐나다에서 아이스하키는 인기 높은 국민스포츠인데, 청소년 명문구단 선수들의 생일을 분석했더니 이색적인 통계가 나왔다. 전체 선수의 40%가 1~3월에 태어났고, 상반기 출생 선수를 합치면 전체의 70%에 이르렀다. 11~12월에 ...

  • HERI
  • 2022.08.03
  • 조회수 353

[아침햇발] ‘아마추어’ 대통령 / 곽정수

윤석열 대통령이 20일 서울 용산 대통령실 청사로 출근하면서, 이재용 삼성전자 부회장 등의 특별 사면에 대한 취재진의 질문에 대해 일절 언급하지 않는 것이 원칙이라고 답하고 있다. 대통령실통신사진기자단 제공 곽정수 | ...

  • HERI
  • 2022.07.26
  • 조회수 500

[아침햇발] 정책 상상력이 아쉬운 ‘올드보이’ 정부 / 이봉현

정부는 기름값이 급등하자 유류세를 법적 한도인 37%까지 인하했다. 5일 오후 서울 마포구 대흥동의 한 주유소에서 내 건 유가 알림판에 휘발유가격이 2169원 표시되어 있다 .김경호 선임기자 jijae@hani.co.kr 이봉현 | 경제사...

  • HERI
  • 2022.07.19
  • 조회수 399

[유레카] 카톡에 올린 자녀 사진의 프라이버시권

2016년 캐나다 캘거리에 사는 당시 13살 소년 대런 랜들이 부모를 상대로 합의금 수억원을 요구하는 소송을 냈다. 부모가 자기 얼굴에 초콜릿을 묻히고 사진을 찍는 등 아기 시절 ‘굴욕 사진’들을 페이스북에 10년 넘게 공...

  • HERI
  • 2022.07.13
  • 조회수 522

당신의 임신 중지, 빅테크 ‘디지털 흔적’으로 남아 있다

임신중지 기소때 디지털증거 활용관행 위치 정보, 문자메시지, 검색 기록 등 “공권력의 디지털정보 요청을 빅테크가 판단·결정할 수 있는가” 빅테크의 민주적 정당성 문제 부각 지난 6월 25일 시민들이 미국 연방대법원 청사 ...

  • HERI
  • 2022.07.13
  • 조회수 349

[아침햇발] 대통령이 ‘바이네르 구두’를 살 때 못 들은 이야기 / 곽정수

윤석열 대통령이 취임 첫 주말인 지난 5월14일 부인 김건희 여사와 서울 신세계백화점 강남점의 바이네르 매장을 찾아 제품들을 둘러보고 있다. 바이네르 제공 곽정수 | 한겨레경제사회연구원 선임기자 김원길(61) 바이네르 대표...

  • HERI
  • 2022.06.27
  • 조회수 403

[아침햇발] ESG에 부는 역풍 / 이봉현

지난 2년간 한국 기업에도 이에스지 ‘열풍’이 불어 이에스지 위원회를 꾸리고 경영의 지표로 삼는 기업이 크게 늘었다. 한국거래소 누리집 갈무리 이봉현ㅣ경제사회연구원장 겸 논설위원 테슬라의 최고경영자 일론 머스크가 이에...

  • HERI
  • 2022.06.22
  • 조회수 572

[유레카] 인터넷 익스플로러와 한국 웹환경 / 구본권

웹브라우저의 대명사 ‘인터넷 익스플로러’가 출시 27년 만에 사라졌다. 마이크로소프트(MS)는 예고해온 대로 지난 15일 익스플로러에 대한 지원을 공식 종료했다. 이날 이후 익스플로러를 실행하면 엠에스의 새 브라우저인 ‘에지...

  • HERI
  • 2022.06.20
  • 조회수 502

[아침햇발] ‘신기업가정신’ 선언이 쇼가 아니라면 / 곽정수

곽정수 한겨레경제사회연구원 선임기자 “주주에 대한 봉사와 이윤 극대화라는 가치를 넘어 종업원과 고객, 납품업체 등 모든 이해관계자들에 대한 사회적 책무를 강화하겠다.” 2019년 8월19일 미국 200대 대기업 협의체인 비즈니...

  • HERI
  • 2022.05.31
  • 조회수 666

[아침햇발] ‘한국이 말한다’를 시작할 때

2017년부터 해마다 열리는 ‘독일이 말한다’에서 생각이 크게 다른 두 사람이 짝을 이뤄 대화를 하고 있다. <디 차이트> 온라인 이봉현 | 경제사회연구원장 겸 논설위원 소셜미디어를 넘겨보다 몇번 불편하면 ‘친구 끊기’를 ...

  • HERI
  • 2022.05.20
  • 조회수 752

[유레카] ‘반지성주의’와 ‘투명성’ / 구본권

윤석열 대통령은 지난 10일 취임사에서 ‘반지성주의’를 화두로 밝혔다. 윤 대통령은 “각자가 보고 듣고 싶은 사실만을 선택하거나 다수의 힘으로 상대의 의견을 억압하는 반지성주의”를 민주주의를 위협하는 가장 큰 원인으로...

  • HERI
  • 2022.05.16
  • 조회수 666

[유레카] ‘고발당한’ 노사협의회 / 곽정수

대통령직인수위원회가 지난 3일 윤석열 정부의 110대 국정과제를 발표했다. 노동의 가치가 존중받는 사회를 만들겠다면서 51번째 과제로 노사협력을 제시했다. 또 이를 위해 노사협의회 근로자위원의 대표성·독립성 강화를 통해 참...

  • HERI
  • 2022.05.08
  • 조회수 763