Jailed by a "black box" : the impact of opaque algorithms on the right to a fair trial in the United States of America

Abstract

Ontwikkelings in kunsmatige intelligensie (AI) en masjienleer het daartoe begin lei dat regerings die gesag om openbare funksies te verrig uitkontrakteer aan masjiene. Algoritmiese besluitneming word inderdaad algemeen, van die bepaling van verbruikers se kredietwaardigheid, tot die identifisering van die mees geskikte kandidaat vir 'n betrekking, tot die besluit oor water matrikulante toegelaat moet word tot 'n universiteit. Afgesien van die breer maatskaplike, etiese, en regsoorwegings, is daar omstredenheid oor die ondeursigtige, onbetwisbare, en ontoerekeningsvatbare aard van AI-stelsels. 'n 2016 beslissing in die Verenigde State van Amerika, S v Loomis, illustreer die bedreiging wat die ongereguleerde en onbeperkte uitkontraktering van openbare gesag aan AI-stelsels inhou vir menseregte en die oppergesag van die reg. In hierdie saak het die Hooggeregshof van Wisconsin beslis dat die gebruik van 'n geoutomatiseerde, algoritmiese risikobepaling deur die verhoorhof nie die beskuldigde se reg op 'n billike verhoor geskend het nie, alhoewel die metodologie wat deur die sagteware gebruik is om die risikobeoordeling te maak n6g aan die hof n6g aan die beskuldigde openbaar is. Die betrokke sagteware - 'n sogenaamde getuienis-gebaseerde stelsel - is 'n hoogs omstrede instrument wat verskillende datapunte met betrekking tot 'n beskuldigde in ag neem en dan 'n risikotelling aan sodanige beskuldigde toeken. Hoe ho@r die telling, hoe meer waarskynlik word dit geag dat die betrokke beskuldigde in die toekoms weer 'n misdryf sal pleeg. Die algoritme word dus aangewend om die toekomstige gedrag van beskuldigdes te voorspel. Baie beskuldigdes word dan as potensiele toekomstige misdadigers beskou en behandel sonder dat hulle ooit oor die grondslag vir hulle risikotellings ingelig word - en sonder die middele om ooit sodanige grondslag te kan uitvind. Baie van hierdie geoutomatiseerde stelsels, soos COMPAS wat in die Loomis-saak ter sprake was, bestaan uit 'n sogenaamde "black box" van privaatsektor-handelsgeheime wat geensins verantwoordbaar is nie.