[ 인공지능 알고리듬의 이해 ]
[인공지능 알고리듬의 이해] “제9회: 알고리즘 기회와 차별”
정보통신정책연구원 ICT데이터사이언스연구본부장
정용찬
* 이 글은 저자의 “인공지능 알고리듬의 이해”에서
주요 내용을 요약, 발췌하였습니다.
알고리즘과 기회
알고리즘은 종종 오류와 편향을 포함하는 경우도 있지만 다음과 같은 상황에서는 저소득층과 같은 사회적 취약계층에게 도움을 주는 역할을 한다(Federal Trade Commission, 2016).
- 중퇴할 위험성이 높은 학생을 미리 파악하여 이를 예방하기 위한 프로그램을 조기에 적용
- 신용도가 낮아 예전 방식으로는 대출을 받기 어렵지만 전문 자격증 보유, 임대료 지불, 자동차 보유 등 새로운 데이터를 활용하여 신용도 낮은 소비자도 신용 등급 부여
- 환자의 특성에 맞는 의료 서비스 제공
- 시골과 저소득 지역 등 소외지역에 특화된 의료 서비스 제공
- 면접관의 편견을 최소화하는 알고리즘 적용을 통해 공정한 채용기회 제공
빅데이터 알고리즘을 적용하여 신용 점수, 고용, 교육, 형사 재판 등에서 새로운 기회가 열리고 있다(Executive Office of the President, 2016). 기존애는 대학을 졸업하고 사회에 처음 진출한 사람들은 신용점수를 받을 수 없었지만 이들에게 혜택을 줄 수 있다. 교육 분야에서는 대학 선택 정보 제공을 통해 학생들을 위한 교육 기회를 제공하고 고등교육 입학 결정 과정에서 차별 가능성을 분석하는데 활용된다. 미국에서는 형사 재판 분야에서 데이터와 알고리즘을 활용하여 법 집행의 투명성과 효율성을 높이는 데 활용한다.
미연방수사국(FBI)은 범죄자 DNA로 용의자를 색출하는 시스템(Combined DNA Index System)을 운영하고 있다. 이 시스템에는 약 1300만 건의 범죄자 DNA와 약 300만 건의 체포자 DNA 정보가 저장되어 있다(Wikipedia). 미리 수집된 범죄자의 DNA 데이터를 활용해서 예전에 범죄를 저지른 사람이 또 범죄를 저지르고 사건 현장에 침이 묻은 컵이나 머리카락, 혈흔과 같이 아무리 작은 흔적이라도 남긴다면 등록된 DNA 정보와 일치하는지를 확인해서 범인을 알아낼 수 있다(정용찬, 2018). DNA 분석 기술을 활용하여 미국에서는 8세 소녀를 살해한 범인을 30년 만에 체포했다(서울신문, 2018). 우리나라도 DNA분석으로 미궁에 빠졌던 화성연쇄살인범을 33년 만에 찾아냈다.
알고리즘과 차별
알고리즘의 활용이 좋은 기능만 하는 것은 아니다. 새로운 차별의 수단이 될 수 있기 때문이다. 미국 공정거래위원회(FTC, Federal Trade Commission)가 발간한 보고서의 제목(“Big Data, A Tool for Inclusion or Exclusion?”)처럼 빅데이터에 기반을 둔 알고리즘은 포용의 수단이면서 동시에 배제의 수단이 될 가능성이 있다.
빅데이터 알고리즘은 특정 집단을 배제하는 방식으로 소비자를 분류하기 때문에 저소득층이나 소외계층에게 다음과 같은 악영향을 미칠 수 있다(Federal Trade Commission, 2016).
- 다른 사람들의 행동에 기초한 추천시스템의 적용으로 다양하게 선택할 수 있는 기회 박탈
- 맞춤형 광고의 제공으로 저소득층 소비자들이 더 좋은 기회를 제공받지 못할 가능성
- 인종, 종교, 정치적 성향과 같은 민감한 개인 특성 정보의 노출 가능성
- 특정 질병에 걸린 환자 등 취약한 대상자에게 사기성 제안을 제공할 가능성
- 기업이 채용 등에서 특정 대상자를 배제하는 것을 정당화하기 위한 근거를 만드는 데 악용
- 온라인 상품 가격의 지역별 차등에 의한 저소득층의 경제적 손실 가능성
규모가 방대한 빅데이터를 활용하여 알고리즘 기술을 적용한 분석 결과는 정확할 것이라고 생각하는 경향이 있다. 그러나 데이터에 기초한 알고리즘의 적용이 반드시 객관적인 결과를 보장하는 것은 아니다. 데이터 자체에 의한 편향과 알고리즘 기술의 적용으로 인한 편향이 존재하기 때문이다
데이터 편향으로 인한 차별은 잘못된 데이터의 선택, 완전하지 않거나 시기가 지난 데이터의 사용, 특정 집단에 편중되어 데이터가 수집된 선택 편향(selection bias), 기존의 편견이 반영된 데이터로 인해 발생한다(Executive Office of the President, 2016). 기업은 물론 정부가 소비자와 지역사회 구성원에게 신용, 고용, 주택, 입학 분야의 다양한 서비스를 제공할 때 편향된 데이터의 사용으로 잘못된 결과가 나오지 않도록 신중하게 고려해야 한다.
알고리즘 기술의 적용 과정은 “블랙박스(black box)”라고 표현하는데 이는 처리과정이 전문적이고 복잡해서 일반인은 물론 전문가라 하더라도 어떤 이유에서 결과가 도출되었는지를 파악하기 어렵기 때문이다. 머신러닝과 알고리즘 시스템으로 인한 차별 원인으로는 매칭 시스템(matching system)의 설계 오류, 이용자 특징을 지나치게 협소하게 적용한 개인화 추천 서비스(Personalization and recommendation services), 상관관계를 인과관계로 잘못 판단한 의사결정 시스템 등이 있다(Executive Office of the President, 2016).
참고문헌
서울신문(2018.7.17). 美 8세 소녀 성폭행 살해범, DNA로 30년 만에 체포되다. http://nownews.seoul.co.kr/news/newsView.php?id=20180717601015&wlog_tag3=naver#csidxfc645f7bd9176d2a93ef6df0734e0e1
정용찬(2018). 생각이 크는 인문학, 빅데이터. 을파소.
Executive Office of the President(2016), “Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights”
Federal Trade Commission(2016), Big Data: A Tool for Inclusion or Exclusion?
Wikipedia. https://en.wikipedia.org/wiki/Combined_DNA_Index_System
