HERI 뉴스
제1회 한겨레 ‘사람과 디지털포럼’
기조 연설 | 잔드라 바흐터

‘편향된 정보’ 알고리즘의 결함
“보이지 않는 차별·혐오” 경고
고용·의료등 고위험영역 규제 필요
표면적으로는 강아지와 대출은 무관해 보이지만, 대출 승인 알고리즘에서 강아지 소유는 대출에 유리한 변수로 사용된다. 게티이미지뱅크
표면적으로는 강아지와 대출은 무관해 보이지만, 대출 승인 알고리즘에서 강아지 소유는 대출에 유리한 변수로 사용된다. 게티이미지뱅크

편향된 데이터로 훈련된 알고리즘은 다시 편향적 선택을 도출하고 복제한다. 인공지능은 보이지 않는 방식으로 차별과 혐오를 재생산한다.

오는 23일 제1회 사람과디지털포럼 두 번째 기조연설자로 나서는 잔드라 바흐터 영국 옥스퍼드대학 부교수 겸 옥스퍼드 인터넷연구소 수석연구원의 지적이다. 인공지능이 방대한 데이터와 복잡한 알고리즘을 사용하면서 구조를 이해하기 어려운 ‘블랙박스’가 되고 있다. 바흐터 교수는 차별적 상황이 숨겨진 데이터와 알고리즘을 통해 인공지능이 ‘보이지 않는 차별’을 발생시키는 점을 꾸준히 지적해온 연구자다. 서면을 통해 인공지능과 윤리, 관련 규제에 대한 바흐터 교수의 생각을 들었다.

그는 인공지능이 “미묘하고 감지할 수 없는 방식”으로 사람들을 구별한다고 지적했다. 예컨대 인공지능은 개인에게 금융 서비스를 제공할지 여부를 판단할 때 강아지 소유와 대출 상환의 상관관계를 살핀다. 표면적으로는 강아지와 대출은 무관해 보이지만, 대출 승인 알고리즘에서 강아지 소유는 대출에 유리한 변수로 사용된다. 영국에서는 집주인이 임차인의 반려동물을 허용하지 않는 경우가 많다. 강아지가 있다는 것은 자가 거주의 확률이 높다는 것이고 이는 일정한 자산을 보유하고 있음을 의미하기 때문이다. 같은 직장과 비슷한 근로소득, 금융거래 실적을 가졌어도 강아지 소유 여부로 제공받을 수 있는 금융서비스가 달라질 수 있다.


● 잔드라 바흐터
- 영국 옥스퍼드대 부교수, 옥스퍼드 인터넷연구소(OII) 수석연구원
- 유럽연합 집행위원회 전문가위원회 전문위원
- 미국 하버드대 객원교수 - 오스트리아 연방 보건부 법률 고문

불투명한 알고리즘이 채용 시장에 적용되면 명백한 차별로 이어질 수 있다. 지난 30여년간 조직의 관리자들은 주로 40~50대의 남성이었다. 관리자에 적합한 후보자를 선택할 때 인공지능은 그간의 데이터를 기반으로 비슷한 성별과 나이 등의 조건을 가진 사람을 찾아낼 것이다. 적합한 능력을 지녔더라도 30대 초반 여성이라면 후보 목록에 들어가지 못하거나, 심지어 알고리즘에서 걸러져 구인 공고조차 보지 못할 가능성이 있다. 문제는 개인이나 정부가 차별이 발생했다는 사실조차 인지하지 못할 수 있다는 점이다. 바흐터 교수는 “입법자들은 법이 관장하지 않는 영역에 새로운 차별이 생겨나고 있다는 것을 알아야 한다. 또한 현재의 법을 재평가하고 새로운 위험을 경계해야 한다”고 말했다.

새로운 기술에 대한 규제와 책임은 복잡한 문제다. 너무 일찍 규제에 나서면 혁신과 기술 발전을 저해하고, 반대의 경우엔 사회에 돌이킬 수 없는 피해를 줄 가능성이 크기 때문이다. 바흐터 교수는 “지금이야말로 규제를 적용할 ‘티핑 포인트’(전환점)에 있다고 믿는다. 알고리즘 등 기술의 해악들이 명백하기 때문이다”며 적절한 규제가 필요한 시기라고 강조한다.

다만 영역별로 다른 접근 방식을 적용할 것을 제안한다. 그는 “고용과 의료, 형사법적 영역 등 차별이 발생할 가능성이 크고 개인에게 큰 영향력을 미치는 분야들은 정부가 나서서 규제해야 한다. 하지만 개인이 위험에 덜 노출되는 영역은 자율 규제 체제를 구축하는 등 좀 더 유연하게 접근하는 방식을 고려해 볼 수 있다”고 짚었다. 인공지능이 야기하는 위험은 줄이고 기술의 이점을 극대화하기 위해서는 법적 규제 전에 해당 영역에서 인공지능의 위험과 이점을 면밀히 살펴봐야 한다고도 조언했다.

지난해 유럽연합이 발표한 인공지능법 초안도 인공지능의 위험에 따라 차등적으로 규제를 적용하는 내용을 담고 있다. 유럽연합은 2017년부터 인공지능에 대해 긴급성을 공표하고 데이터 보호와 디지털 권리, 윤리 표준에 대한 계획과 가이드라인, 평가리스트 등의 작업을 진행해왔다.

바흐터 교수는 알고리즘 투명성을 위한 시민의 역할도 강조했다. “알고리즘 불투명성은 개인과 사회에 심각한 부정적 결과를 초래한다. 시민들은 시스템이 처음 의도된 대로 작동되고 있는지, 충분한 감독을 받으며 책임도 질 수 있는지를 감시해야 한다. 알고리즘에 영향받는 모든 사람은 스스로가 권리를 가진 주체란 것을 늘 상기해야 한다. 기술은 사람의 필요를 충족시키기 위해 만들어졌고, 그 반대가 아니라는 것을 잊어서는 안 된다.”

양은영 한겨레경제사회연구원 사회변동팀장 ey.yang@hani.co.kr

한겨레에서 보기 : https://www.hani.co.kr/arti/economy/economy_general/1047808.html


서비스 선택
댓글
로그인해주세요.
profile image
powered by SocialXE
List of Articles

대산농촌상 도덕현·손연규씨

농업경영 부문 수상자 도덕현 대표 농업공직 부문 수상자 손연규 연구관 대산농촌재단(이사장 김기영)은 15일 제31회 대산농촌상 농업경영 부문에 도덕현(62) 도덕현유기농포도원 대표를, 농업공직 부문에 손연규(56) 국립농업과학원 ...

  • HERI
  • 2022.09.19
  • 조회수 694

페북·구글·아마존 이어 트위터도 나왔다…빅테크의 내부고발자들

개인정보·행동데이터 다루는 IT서비스 외부에선 접근 어려워 내부고발자 증거 수집해 폭로땐 여론 영향 등 파장 일파만파 “수익 우선 윤리 망각” 잇단 폭로 페이스북, 규제 강화 이용자 외면 내부고발 뒤엔 캠페인·연구소 행 ...

  • HERI
  • 2022.09.19
  • 조회수 668

‘무한 스크롤’ 개발 디자이너도 나섰다…“이젠 정지신호 복원할 때”

속임수 설계와 디자인 윤리 매끄러운 사용자경험·디자인 추구 ‘무한스크롤’ 혁신기능이 중독 불러 웹 고도화는 전문가 윤리의식 요구 사용자가 원치 않는 프로그램까지 함께 설치하는 ‘바구니에 숨겨넣기’는 대표적인 다크 패턴...

  • HERI
  • 2022.09.05
  • 조회수 877

‘100세 시대’ 일하는 노인 ‘실업 안전망’이 없다

가사·돌봄 유니온, ‘노인고용 안정 위한 정책협약식’ 고용보험법, 65살 이후 신규취업 고용보험 안돼 고용보험 가입과 실업급여 적용 등 촉구 서명운동 한국노총 전국연대노조 가사·돌봄서비스 노동조합·노후희망유니온·한국가사노동...

  • HERI
  • 2022.09.02
  • 조회수 939

가격 그대로인데 ‘오늘만 핫딜’…합법과 기만 사이 ‘다크패턴’

IT기술·심리학적 연구 활용한 이용자 반응 유도 효율화 설계 자동화·AI 덕분 개인별 맞춤화 기술 무한스크롤·자동재생·가격 차등화 중독 유발하는 ‘2세대 다크패턴’ 우려 한국소비자원 보고서에서 ‘눈속임 설계’ 사례로 제시한...

  • HERI
  • 2022.08.22
  • 조회수 872

“전기·가스 통합한 독립된 에너지규제위원회 신설하자”

<한겨레>, 전력요금 정책토론회 개최 연료가격 변화 반영한 요금 정상화 필요 요금의 ‘탈정치화’ 위한 거버넌스 개선도 독점적 전력판매시장 개방 필요성 제기 “정상화에 필수”-“민영화 우려” 엇갈려 5개 화력발전 공기업의 ...

  • HERI
  • 2022.08.11
  • 조회수 989

전력요금 정책 개선방안 찾는 토론회 11일 열린다

<한겨레> 주최로 서울 본사 청암홀에서 탄소중립과 에너지 전환 위한 대안 모색 전기위원회 독립·전문성 강화 방안 관심 중장기 전력거래시스템 개선에도 주목 정연제 박사·유승훈 교수 주제발표 맡아 학계·소비자·환경·노사·정부 ...

  • HERI
  • 2022.08.03
  • 조회수 1412

변형윤 선생 ‘학현학술상’ 확대에 “생각 못했는데 고맙다”

[짬] 서울사회경제연구소 명예이사장 변형윤 명예교수 학현 변형윤 선생이 지난 22일 오후 서울 사직로 서울사회경제연구소에서 ‘학현학술상’ 확대 개편에 대한 소회를 밝히고 있다. 김정효 기자 hyopd@hani.co.kr “생각지도 못...

  • HERI
  • 2022.07.28
  • 조회수 1643

“스케치 못해도 예술 가능”… 창작환경 지각변동 오나

AI 창작도구의 예술계 영향 ‘컴퓨터하는 이집트 동물신’ ‘쇼핑하는 기린’ 등 글쓰면 인공지능이 이미지샘플 제시 월 15달러에 460개 사용가능 삽화 등 상업적 활용도 가능 디자이너 ‘AI 활용능력’ 중요 인공지능이 문장에...

  • HERI
  • 2022.07.26
  • 조회수 1791

“더 나은 사회를 만드는 일…더 나은 내가 되는 일”

사회적 기업가이자 싱가포르 국회의원 캐리 탄 기획 국내 여성운동·사회혁신 활동가 위한 워크숍 열어 “내적 성숙이 이끄는 공동체와 사회문제 해결” 강조 지난 15일 서울 성수동 메리히어(Merry Here) 지하 2층에서 싱가포르...

  • HERI
  • 2022.07.19
  • 조회수 1346

“협동조합 연합해 유통플랫폼 ‘더쎈’ 구축하겠다”

사회적경제 상호거래 플랫폼 ‘더쎈’ 설명회 ‘함께하는’ 협동조합 비즈니스 생태계 모색 15일 서울시 마포구 ‘청년문화공간JU동교동’에서 열린 사회적경제 상호거래 플랫폼 설명회에 160여명의 협동조합 관계자가 참석했다. 신효진...

  • HERI
  • 2022.07.19
  • 조회수 1383

“팬데믹, 전쟁 등 글로벌 위기에 기부 역할 더 커졌죠”

[짬] 세계공동모금회 윌리엄스 회장 안젤라 윌리엄스(왼쪽) 세계공동모금회 회장이 12일 사랑의열매 회관에서 인터뷰를 하고 있다. 오른쪽은 조흥식 사회복지공동모금회 회장이다. 김정효 기자 hyopd@hani.co.kr “나는 인간 내면의 ...

  • HERI
  • 2022.07.14
  • 조회수 2255

협동조합기본법 시행 10년…‘지속가능한 도약’ 가능할까

9일 ‘제4회 사회적경제 박람회’서 협동조합기본법 평가 현장선 협동조합 법제도·정책의 효과성 체감 미미 “2032년 협동조합 도약 위해 ‘지원’에서 ‘진흥’으로, 중앙 주도에서 지역 중심으로 정책 설계 필요” 지난 9일 경북...

  • HERI
  • 2022.07.12
  • 조회수 1321

전통 리조트로 되살아난 고택…지역 중심 사회적경제가 ‘지방시대’ 이끈다

‘제4회 대한민국 사회적경제박람회’ 사회적경제 기반, 다양한 지역발전 사례 쏟아져 정책포럼·광역지원센터협의회 발족 등 눈길 지난 8일 오후 경북 경주시 보문로 경북화백컨벤션센터에서 열린 ‘지역발전과 사회적경제’ 심포지엄...

  • HERI
  • 2022.07.12
  • 조회수 1377

'경주 최부자집’ 나눔 정신과 만난 사회적경제

8~10일 경주에서 제4회 사회적경제 박람회 열려 연대와 혁신 추구…시민 등 3만여명 한 자리에 기재부, 새 정부 사회적경제 4대 정책방향 발표 지난 8일 오후 경북 경주시 보문로 경주화백컨벤션센터 3층 컨벤션홀에서 열린 ‘제...

  • HERI
  • 2022.07.12
  • 조회수 1371

“사회적경제, 진보-보수 경계 없이 사회서비스 혁신 견인해야”

‘제18회 사회적경제 정책포럼’ 개최 사회서비스 건강한 공급 주체로 사회적경제 호명 공공성과 혁신성 도전 지원하는 정책 제안 쏟아져 지난 1일 서울 마포구 한겨레신문사 청암홀에서 ‘사회서비스 분야 사회적경제’의 역할과 ...

  • HERI
  • 2022.07.05
  • 조회수 1262

“죽음 두려워요”…감정 AI 논쟁에 숨어든 빅테크의 속임수

인공지능 람다와 대화 공개한 구글 개발자 징계, 정직 처분 사람 고유의 특성으로 여겨온 ‘지각하는 존재 생각하는 동물’ 언어모델 발달로 인공지능도 모방 지난 11일 구글의 수석엔지니어 르모인은 대화형 인공지능 ‘람다’가...

  • HERI
  • 2022.06.27
  • 조회수 1112

“명확한 비즈니스 모델 뒷받침 없는 메타버스는 ‘거품’에 불과”

제1회 한겨레 사람과디지털 포럼 특별대담 메타버스, 인터넷의 미래인가 환상인가 23일 오후 경기 성남시 분당구 그래비티서울판교호텔에서 제1회 한겨레 '사람과디지털포럼' 이 열려, 패널들이 '메타버스, 인터넷의 미래인가?환상인...

  • HERI
  • 2022.06.24
  • 조회수 1383

김초엽 작가 “기술 발전이 가져올 변화…휩쓸리기만 해선 안 돼”

<한겨레> 사람과디지털 포럼 특강 김초엽 작가가 `당신의 우주정거장을 상상해보세요’ 주제로 특강을 하고 있다.강창광 선임기자 chang@hani.co.kr “아무리 첨단 기술이라도 방향성을 고민하지 않는다면 결국 누군가를 배제할 수밖...

  • HERI
  • 2022.06.24
  • 조회수 1145

“빅테크 은밀한 차별 규제해야” vs “규제 둑은 생태계 파괴 우려”

제 1회 사람과 디지털 포럼 원탁회의 빅테크 전문가·기업인, 규제 두고 논쟁 “디지털 시대 노동 변화·실업 대비해야” 23일 경기 성남시 판교 그래비티 호텔에서 열린 제1회 한겨레 사람과 디지털 포럼에서 국내외 패널들이 ‘...

  • HERI
  • 2022.06.24
  • 조회수 1099