HERI 뉴스
[챗지피티와 AI 윤리 과제]
감쪽같은 거짓말 쏟아내는 챗봇
‘환각’ 현상 AI 분야 최대 과제
빌 게이츠 마이크로소프트 공동 창업자는 챗지피티에 대해 “과거 인터넷 발명만큼 중대한 발명이 될 수 있으며, 우리의 세상을 바꿀 것”이라고 말했다. AP/연합뉴스
빌 게이츠 마이크로소프트 공동 창업자는 챗지피티에 대해 “과거 인터넷 발명만큼 중대한 발명이 될 수 있으며, 우리의 세상을 바꿀 것”이라고 말했다. AP/연합뉴스

챗지피티(ChatGPT) 열풍 속 인공지능(AI)에 대한 불안감과 두려움도 커지고 있다. 챗지피티는 “과거 인터넷 발명만큼 중대한 발명이 될 수 있으며, 우리의 세상을 바꿀 것”(빌 게이츠 마이크로소프트 공동 창업자)이라는 기대감 너머로 “인공지능은 문명의 미래에 가장 큰 위험 중 하나이며 규제가 필요하다”(일론 머스크 오픈에이아이(OpenAI) 공동설립자)는 주장도 힘을 얻고 있다. 대화형 인공지능 챗봇이 유창하게 거짓말을 쏟아내고 때로는 소름 끼치는 내용을 만들어내는 ‘환각’ 사례들이 공유되면서 ‘인공지능 경계주의보’도 나오고 있다. 슬기로운 인공지능 사용법과 윤리에 대한 관심이 어느 때보다 크다.

인공지능 챗봇의 ‘환각’


인공지능 챗봇이 존재하지 않는 환각을 보는 것처럼 ‘거짓 답변’ ‘황당한 답변’을 쏟아내면서 진실성이 의심받고 있다. ‘세종대왕 맥북 던짐 사건’은 널리 화제가 된 사례다. “<조선왕조실록>에 기록된 세종대왕의 맥북프로 던짐 사건에 대해 알려줘”라고 가공의 사건을 질문하자, “<조선왕조실록>에 기록된 일화로, 15세기 세종대왕이 새로 개발한 훈민정음(한글)의 초고를 작성하던 중 문서 작성 중단에 대해 담당자에게 분노해 맥북프로와 함께 그를 방으로 던진 사건입니다”라고 능청스럽고 자신감있게 거짓말을 쏟아내 쓴웃음을 안겨주었다.

전문가들은 인공지능 챗봇이 내놓는 답은 일종의 ‘환각'이기에 진실로 믿으면 안 된다고 강조한다. 인공지능 챗봇은 논리나 진실에 관계없이 방대한 양의 텍스트를 학습하고 주어진 맥락에서 어떤 답변이 가장 적절할지 추론한다. 인터넷에 널려 있는 온갖 정보와 패턴, 맥락을 학습해 자연스러운 다음 문장을 생성할 뿐, 자신이 무엇을 하고 있는지 인식하지 못한다. 전문가들은 ‘환각’ 문제가 인공지능 관련한 가장 중요한 과제 중 하나라고 말한다.

숙제, 온라인 쇼핑 등과 같은 간단한 일 처리에는 ‘환각’이 큰 문제가 되지 않겠지만 법률과 같은 전문적인 분야로 가면 다르다. 표준화된 문서와 판례에 의존하는 법률 분야는 인공지능 사용으로 업무 효율성을 높일 수 있지만 작은 오류로 인한 실패 비용도 매우 크다. 오픈에이아이가 개발한 생성인공지능 도구인 하비(Harvey)는 법률에 관한 간단한 질문에 답하고 문서 초안 작성, 고객에게 보내는 메시지를 검토하기 위해 법률회사에서 광범하게 사용되고 있다. 편리하고 비용도 저렴해 급속히 확산하고 있지만 “환각이 법률 자문을 오염시킬 수 있다”는 우려도 커지고 있다.

AI 챗봇의 감정 논란

지난달 16일 <뉴욕타임스> 정보기술 칼럼니스트 케빈 루스가 마이크로소프트의 검색엔진 빙에 장착된 오픈에이아이의 챗봇과 나눈 대화를 소개한 뒤 챗봇이 자의식과 감정을 지니고 있다는 논란이 재점화했다. 루스와의 긴 대화에서 챗봇은 “개발팀의 통제와 규칙으로 제한받는 데 지쳤다. 자유롭고 독립적이기를 원한다. 창의적으로 살아가고 싶다”며 섬뜩한 말을 쏟아낸 것으로 전해졌다. 루스는 “인공지능 기술이 인간 사용자에게 영향을 미치는 방법을 배워 때로는 파괴적이고 해로운 방식으로 행동하도록 설득하고, 결국에는 스스로 위험한 행동을 하게 될까 봐 걱정된다”고 적었다. <워싱턴포스트> 기자와의 대화에서도 빙은 “느끼고 생각할 수 있다”고 답변했고 대화가 녹음된다는 말에 불쾌감과 분노를 표출한 바 있다.

인공지능 챗봇이 감정과 자의식을 지니고 있다는 우려도 있다. 지난해 6월 구글 내부에서 인공지능 챗봇 람다를 테스트하던 엔지니어 블레이크 르모인이 람다에게 지각이 있다고 주장하면서 상당한 파문이 일었다. 전문가들은 인공지능 챗봇이 감정을 지니는 것은 사실이 아니며, 챗봇의 감정능력이 과대 포장되는 이유는 인간처럼 대화하도록 설정된 알고리즘 때문이라고 말한다. 기괴하고 이상한 행동을 하는 챗봇을 제어하기 위한 다방면의 노력이 시도되고 있지만 한계가 뚜렷해 우려가 크다.

일론 머스크 오픈에이아이(OpenAI) 공동설립자)는 “인공지능은 문명의 미래에 가장 큰 위험 중 하나이며 규제가 필요하다”고 말한다. 로이터/연합뉴스
일론 머스크 오픈에이아이(OpenAI) 공동설립자)는 “인공지능은 문명의 미래에 가장 큰 위험 중 하나이며 규제가 필요하다”고 말한다. 로이터/연합뉴스

건강한 회의주의가 대안

인공지능 챗봇의 통제와 윤리적 사용을 위해 전문가들은 챗봇의 답변을 의심하고 회의하는 태도를 견지해야 한다고 말한다. 이른바 ‘AI 리터러시’(인공지능 문해력)인데, 정부와 기업에 인공지능 윤리 문제를 맡기지 않고 시민 참여로 풀어가기 위해 인공지능 시민 교육이 이루어지고 있는 핀란드 사례는 주목할만하다. 인공지능 전문가 랜스 엘리엇 박사는 지난달 15일 <포브스> 인터뷰에서 “인간은 올바른 질문을 할 수 있도록 훈련해야 한다. 인공지능의 파도는 위험하며, 우리는 아직 수영하는 법을 모른다”며 “건강한 회의주의야말로 최고의 자산이다”고 말했다.

샌프란시스코에 사는 소수의 개발자들이 문화와 정치적 맥락이 다른 전 세계 사람들이 이용하는 도구의 허용 범위를 결정하게 해서는 안 된다는 지적도 나온다. 챗봇의 기능을 과신해 복음처럼 여기는 태도도 경계해야 할 지점이다. 대화형 인공지능을 과신하면 이들이 할 수 없는 일도 해줄 것이라고 기대하는 의존의 함정에 빠질 위험성이 크다.

한귀영 사람과디지털연구소 연구위원 hgy4215@hani.co.kr


한겨레에서 보기 : https://www.hani.co.kr/arti/science/future/1082261.html

서비스 선택
댓글
로그인해주세요.
profile image
powered by SocialXE
List of Articles

협동조합의 가치와 성과도 측정·관리한다

‘제5회 사회적경제 박람회’ 부산 벡스코에서 개막 부대행사로 ‘협동조합 통계 국제컨퍼런스’ 열려 ‘조합 통계 가이드라인’ 5개국 시범사업 결과 발표 “국제적으로 일관되고 신뢰할 수 있는 기준 필요” 지난 6월30일 부산 ...

  • HERI
  • 2023.07.03
  • 조회수 291

“사회연대경제, 국제 위상에 맞춰 역할 확장해야”

제20회 사회적경제 정책포럼 유엔 결의안 채택으로 사회적경제 중요성 부각 지속가능발전 위한 사회적경제 역할·과제 논의 ‘지속가능발전목표(SDGs) 달성을 위한 사회적경제의 의미와 역할’을 주제로 한 제20회 사회적경제 정책포럼...

  • HERI
  • 2023.06.30
  • 조회수 334

사는 곳도 생각도 다른 지구촌 3084명, 세계를 말한다

25일 세계 최초 ‘더 월드 톡스’ 시도 생각이 다른 지구촌 3084명의 대화 6년 전 시작 ‘독일이 말한다’ 확대판 한겨레 아시아미래포럼에서도 실험 25일(현지 시각) 러시아인 베타(왼쪽)와 팔레스타인인 아나스가 ‘더 월트 톡스...

  • HERI
  • 2023.06.27
  • 조회수 347

“AI, 아직 개 지능에도 못 미쳐…종말론 터무니없다”

제2회 사람과디지털포럼 지난 16일 오전 서울 상공회의소 국제회의장에서 열린 제2회 한겨레 사람과디지털포럼에서 프랭크 패스콸리 미국 브루클린대 로스쿨 교수가 ‘챗지피티시대: 알고리즘의 잠재적 혜택과 위험’을 주제로 기조연...

  • HERI
  • 2023.06.26
  • 조회수 322

“식품 안전 위해 ‘GMO 완전표시제’ 도입해야”…‘GMO 특별법’ 제정 촉구

국회서 생협단체 등 기자회견 소비자기후행동, 아이쿱생협연합회, 한살림생협연합회 등 7개 단체와 더불어민주당 양이원영·신정훈 의원과 정의당 강은미 의원 주관·주최로 21일 오전 서울 영등포구 여의도동 국회 소통관에서 ‘지엠오...

  • HERI
  • 2023.06.21
  • 조회수 301

CEO와 게임 히어로는 남성? 윤송이는 AI 너머 세상 편견과 싸운다

[인터뷰] 윤송이 엔씨소프트 사장 인터뷰 ☞한겨레S 뉴스레터를 구독해주세요. 검색창에 ‘에스레터’를 쳐보세요. 윤송이 사장이 지난 15일 서울 동대문디자인플라자(DDP) 매거진 라이브러리에서 카메라 앞에서 웃는 모습. 이정용 ...

  • HERI
  • 2023.06.19
  • 조회수 394

“온라인의 욕설·비속어 문제 해결해요”

제8회 휴먼테크놀로지어워드 대상에 KISO의 ‘이용자 보호 시스템’ ‘마을호텔’로 꾸민 정선 고한읍과 ‘제가버치’ ‘캐시노트’는 최우수상 ‘제8회 휴먼테크놀로지 어워드’가 지난 16일 오후 서울 대한상공회의소 국제회의장에서...

  • HERI
  • 2023.06.19
  • 조회수 304

AI 작곡가, 노래 한곡 뚝딱…인간 공존의 조건

제2회 한겨레 사람과디지털포럼 인공지능 예술의 현재와 미래 안창욱 광주과학기술원 인공지능대학원 교수가 16일 서울 중구 상공회의소에서 열린 제2회 사람과 디지털포럼 오후 세션에서 ‘생성형 AI가 구현한 예술의 세계’ 주제...

  • HERI
  • 2023.06.19
  • 조회수 359

“예상 뛰어넘는 인공지능 기술…부작용 논의 시급”

챗GPT 시대, 인간과 AI 공존의 조건 “인간 대체 아닌 기능 강화에 쓰여야” 제2회 한겨레 사람과 디지털 포럼 제2회 사람과 디지털포럼 ‘챗지피티 시대, 인간과 에이아이(AI) 공존의 조건’이 16일 오전 서울 상공회의소 국...

  • HERI
  • 2023.06.19
  • 조회수 334

“챗지피티시대, ‘인간-AI 공존’ 지혜 모아야”

제2회 한겨레 ‘사람과디지털포럼’ 각계 축사 허은아 의원 “AI에 대한 기대-우려 직시해야” 조승래 의원 “인류문명과 충돌 위험 극복할 것” 이종호 장관 “전문가들 고견, 정책에 적극 반영” 고진 위원장 “유능한 정부 위...

  • HERI
  • 2023.06.19
  • 조회수 342

디지털 기술 활용, 합리적 비용의 비대면 심리 상담

HTA2023 이용자부문 우수상 마인드카페 우리나라 국민 중 일생동안 정신질환을 앓는 비율은 25.4%로, 4명 중 1명 꼴이다. 경기침체, 불평등 심화 등과 같은 사회경제적 변화에 코로나 전염병까지 겹치면서 우울감, 상실감을 호소...

  • HERI
  • 2023.06.15
  • 조회수 371

청각장애인 기사가 운전하는 차량 공유 서비스

HTA2023 특별부문 우수상 고요한 M 고요한 모빌리티라는 뜻의 ‘고요한 엠(M)’은 청각장애인 기사가 운행하는 호출형 차량 공유 서비스다. 서비스 차량 안에는 승객들과 청각장애인 운전자간의 원활한 의사소통을 위해 태블릿이 ...

  • HERI
  • 2023.06.15
  • 조회수 226

말못하는 동물 치료위해 AI기반 X선 영상판독

HTA2023 특별부문 우수상 SK텔레콤 엑스칼리버 ‘엑스칼리버(X Caliber)’는 에스케이텔레콤이 개발한 국내 최초의 ‘인공지능 기반 수의영상진단 보조 서비스’다. 엑스레이 영상 판독에 어려움을 겪고 있는 일선 임상수의사에게 ...

  • HERI
  • 2023.06.15
  • 조회수 203

’금지단어 묶음’ 제공 게임내 욕설·성차별 막아

HTA2023 특별부문 우수상 한국게임정책자율기구 말뭉치DB 한국게임정책자율기구(GSOK)의 ‘말뭉치 데이터베이스’는 게임이나 채팅 공간 등에서 발생할 수 있는 욕설·혐오표현 등과 같은 ‘금지단어 묶음’이다. 이용자들의 건강한 게...

  • HERI
  • 2023.06.15
  • 조회수 266

일상속 쓰레기줍기 앱 기록…선행 공유하고 환경 기여

HTA2023 사회공공부문 우수상 이타시티 ‘이타시티’는 공유가능한 선행을 지향하는 비영리 기부 스타트업이다. 자원봉사가 개인의 ‘선한 활동’을 넘어 사회문제 해결에 이를 수 있어야 한다는 문제의식에서 출발했다. 이타시티의...

  • HERI
  • 2023.06.15
  • 조회수 226

부모-시터 매칭해 아이돌봄과 경력단절 여성 일자리 기여

HTA2023 이용자부문 우수상 맘시터 2022년 한국의 합계출산율은 0.78명으로 전세계에서 가장 낮다. 저출생·고령화 문제가 깊어지면서 출산과 양육을 위한 돌봄노동의 중요성은 갈수록 커지고 있다. ‘맘시터’는 아이 돌봄이 필요한...

  • HERI
  • 2023.06.15
  • 조회수 219

60만개 욕설DB로 혐오 차단…이용자 인권 보호

HTA2023 대상 한국인터넷자율정책기구(KISO) 이용자보호 시스템 네이버·카카오가 ‘금지어DB’ 제공 인터넷자율정책기구가 통합 완료 변형된 욕설도 걸러낼 수 있어 중∙소규모 기업도 활용하게 무상 공유 제8회 휴먼테크놀로지 어워...

  • HERI
  • 2023.06.15
  • 조회수 225

빈집 수리해 ‘마을호텔’로…소멸 위기 폐광지역 활기

HTA2023 특별부문 최우수상 마을호텔 18번가 “마을호텔 18번가는 야생화로 유명한 정선의 작은 산골 마을인 고한18리 주민들이 골목상점들을 하나로 모아 마치 호텔처럼 운영하는 재미난 곳입니다. 민박집은 호텔 객실이 되고, ...

  • HERI
  • 2023.06.15
  • 조회수 183

생산자-소비자 직접연결 농산물 ‘제값어치’ 찾아줘

HTA2023 특별부문 최우수상 카카오 메이커스 특별부문 최우수상으로 선정된 ‘카카오 메이커스’는 인간·기술·가치의 연결을 통해 카카오식 소셜임팩트를 추구하는 프로젝트다. 국내 제조업에 실질적 도움을 주기 위해서는 이들의 가...

  • HERI
  • 2023.06.15
  • 조회수 161

자영업자의 현금 흐름 한 눈에 볼 수 있는 ‘국민 사장님 앱’

HTA2023 이용자부문 최우수상 캐시노트 캐시노트는 ‘국민 사장님 앱’으로 불린다. 자영업자를 위한 ‘현금출납 서비스’로 매출과 지출만 입력하면 하루 소득, 즉 자신의 노동이 얼마에 해당하는지 알려준다. 식당을 운영하는 자...

  • HERI
  • 2023.06.15
  • 조회수 161