Wat betekent het Ethisch Vereiste?

Welke (bestaande) regels zijn een uitdrukking van het Ethisch Vereiste?

Waar zitten mogelijke verbeter- en/of aandachtspunten?

Welke tools zijn er al/kunnen worden gebruikt om aan de Ethische Richtsnoer te voldoen?

Wat betekent het Ethisch Vereiste?

Welke (bestaande) regels zijn een uitdrukking van het Ethisch Vereiste?

Waar zitten mogelijke verbeter- en/of aandachtspunten?

Welke tools zijn er al/kunnen worden gebruikt om aan de Ethische Richtsnoer te voldoen?

Welke (bestaande) regels zijn een uitdrukking van het Ethisch Vereiste?

Op grond van de ALTAI beoordelingslijst en de daarin gestelde vragen gaan we per element na welke regels relevant zijn voor deze ethische vereiste.

1. Traceerbaarheid waarbij mechanismen moeten worden aangenomen die betrekking hebben op de traceerbaarheid van het AI-systeem doorheen de hele levensduur.

Werden maatregelen aangenomen die de kwaliteit van de invoergegevens voor het AI-systeem voortdurend beoordelen?

• Contractuele afspraken tussen betrokken actoren lijken hierover aangewezen, conform toepasselijke algemene beginselen van het verbintenissenrecht of bijzondere wetgeving. Ook de nodige maatregelen kunnen hierover worden aangenomen zoals bijvoorbeeld door standaard geautomatiseerde kwaliteitsbeoordeling van de gegevensinvoer waarbij volgende zaken relevant zijn: het kwantificeren van ontbrekende waarden of hiaten in de gegevens; het onderzoeken van breuken/hindernissen in de gegevensvoorziening; het opsporen van wanneer de gegevens onvoldoende zijn voor een taak; het opsporen van wanneer de ingevoerde gegevens foutief, onjuist, onnauwkeurig of niet in het juiste formaat zijn.

• Art. 5.1, a) AVG: persoonsgegevens moeten worden verwerkt op een rechtmatige, behoorlijke en transparante wijze
• Art 5.1, d) AVG: persoonsgegevens moeten juist zijn en worden geactualiseerd indien nodig
• Art. 15 AVG: recht van inzage voor de betrokkene (o.a. verzoek aan de verwerkingsverantwoordelijke dat persoonsgegevens worden gerectificeerd of gewist)
• Art. 16 AVG: recht om van de verwerkingsverantwoordelijke onverwijld rectificatie van betreffende onjuiste persoonsgegevens te verkrijgen
• Art. 18 AVG: recht op beperking van de verwerking indien bijvoorbeeld de juistheid van de persoonsgegevens wordt betwist door de betrokken
• Art. 12 AVG: de verwerkingsverantwoordelijke faciliteert de uitoefening van deze rechten van de betrokkene (bv. gevolg geven aan verzoek)
• Art. 3 Richtlijn 1999/44/EG betreffende bepaalde aspecten van de verkoop van en de garanties voor consumptiegoederen: verkoper is ten aanzien van de consument aansprakelijk voor elk gebrek aan overeenstemming dat bestaat bij de aflevering van de goederen (o.a. gelet op beschrijving, eigenschappen, gewoonlijk gebruik)
• Mogelijkheid tot aansprakelijkheid onder artikels 6 en 7 van de nieuwe Richtlijn 2019/770 over digitale inhoud en Richtlijn 2019/771 over verkoop goederen bij gebrek aan objectieve en subjectieve conformiteit (bv. over kenmerken, kwaliteit, functionaliteit, compatibiliteit en interoperabiliteit)

Kan u nagaan welke gegevens door het AI-systeem werden gebruikt om een bepaalde beslissing(en) of aanbeveling(en) te nemen?

• Contractuele afspraken tussen betrokken actoren lijken hierover aangewezen, conform toepasselijke algemene beginselen van het verbintenissenrecht of bijzondere wetgeving.
• Art. 12 AVG: de verwerkingsverantwoordelijke neemt passende maatregelen opdat de betrokkene de informatie en communicatie in verband met de verwerking van persoonsgegevens in een beknopte, transparante, begrijpelijke en gemakkelijk toegankelijke vorm en in duidelijke en eenvoudige taal ontvangt
• Art. 13/14 AVG: te verstrekken informatie wanneer persoonsgegevens (niet) bij de betrokkene worden verzameld onder andere over het bestaan van geautomatiseerde besluitvorming, met inbegrip van profilering, en, ten minste in die gevallen, nuttige informatie over de onderliggende logica, alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene.
• Art. 15: recht van inzage van de betrokkene onder andere met betrekking tot de betrokken categorieën van persoonsgegevens
• Art. VI.45 Wetboek Economisch Recht (WER): onderneming verstrekt de consument op duidelijke en begrijpelijke wijze informatie over o.a. de voornaamste kenmerken van de goederen en de diensten (bv. de gebruikte gegevens voor AI-gegevens)
• Art. 4 Richtlijn 2019/2161 tot modernisering EU consumentenrecht: consumenten moeten duidelijk worden geïnformeerd wanneer de prijs die zij te zien krijgen, is gepersonaliseerd aan de hand van geautomatiseerde besluitvorming, zodat zij in hun aankoopbesluit rekening kunnen houden met de potentiële risico’s
• Art. 3 Richtlijn 2019/2161 tot modernisering EU consumentenrecht: bijkomende transparantieverplichtingen voor onlineplatformen met betrekking tot de weergave van zoekresultaten. De consument moet worden ingelicht over de parameters die gebruikt worden voor de rangschikking van resultaten

Kan u nagaan welk AI-model of welke regels hebben geleid tot de beslissing(en) of aanbeveling(en) van het AI-systeem?

• Contractuele afspraken tussen betrokken actoren lijken hierover aangewezen, conform toepasselijke algemene beginselen van het verbintenissenrecht of bijzondere wetgeving.

• Art. 12 AVG: de verwerkingsverantwoordelijke neemt passende maatregelen opdat de betrokkene de informatie en communicatie in verband met de verwerking van persoonsgegevens in een beknopte, transparante, begrijpelijke en gemakkelijk toegankelijke vorm en in duidelijke en eenvoudige taal ontvangt
• Art. 13/14 AVG: te verstrekken informatie wanneer persoonsgegevens (niet) bij de betrokkene worden verzameld, onder andere over het bestaan van geautomatiseerde besluitvorming, met inbegrip van profilering, en, ten minste in die gevallen, nuttige informatie over de onderliggende logica, alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene. Maar ook of de verstrekking van persoonsgegevens een wettelijke of contractuele verplichting is dan wel een noodzakelijke voorwaarde om een overeenkomst te sluiten.
• Art. VI.45 Wetboek Economisch Recht (WER): onderneming verstrekt de consument op duidelijke en begrijpelijke wijze informatie over o.a. de voornaamste kenmerken van de goederen en de diensten (bv. de gebruikte gegevens voor AI-gegevens)
• Art. 4 Richtlijn 2019/2161 tot modernisering EU consumentenrecht: consumenten moeten duidelijk worden geïnformeerd wanneer de prijs die zij te zien krijgen, is gepersonaliseerd aan de hand van geautomatiseerde besluitvorming, zodat zij in hun aankoopbesluit rekening kunnen houden met de potentiële risico’s
• Art. 3 Richtlijn 2019/2161 tot modernisering EU consumentenrecht: bijkomende transparantieverplichtingen voor onlineplatformen met betrekking tot de weergave van zoekresultaten. De consument moet worden ingelicht over de parameters die gebruikt worden voor de rangschikking van resultaten
• Art. 3 Richtlijn 1999/44/EG betreffende bepaalde aspecten van de verkoop van en de garanties voor consumptiegoederen: verkoper is ten aanzien van de consument aansprakelijk voor elk gebrek aan overeenstemming dat bestaat bij de aflevering van de goederen (o.a. gelet op beschrijving, eigenschappen, gewoonlijk gebruik)
• Mogelijkheid tot aansprakelijkheid onder artikels 6 en 7 van de nieuwe Richtlijn 2019/770 over digitale inhoud en Richtlijn 2019/771 over verkoop goederen bij gebrek aan objectieve en subjectieve conformiteit (bv. over kenmerken, kwaliteit, functionaliteit, compatibiliteit en interoperabiliteit)

Heeft u maatregelen getroffen om de kwaliteit van de output van het AI-systeem continu te beoordelen?

• Contractuele afspraken tussen betrokken actoren lijken hierover aangewezen, conform toepasselijke algemene beginselen van het verbintenissenrecht of bijzondere wetgeving. Dit kan de vorm aannemen van een standaard geautomatiseerde kwaliteitsbeoordeling van de AI-output: de voorspellingsscores zijn bijv. binnen het verwachte bereik; anomaliedetectie in de uitvoer en het opnieuw toewijzen van invoergegevens die leiden tot de gedetecteerde anomalie.
• Art. 5.1, a) AVG: persoonsgegevens moeten worden verwerkt op een rechtmatige, behoorlijke en transparante wijze
• Art 5.1, d) AVG: persoonsgegevens moeten juist zijn en worden geactualiseerd indien nodig
• Art. 15 AVG: recht van inzage voor de betrokkene (o.a. verzoek aan de verwerkingsverantwoordelijke dat persoonsgegevens worden gerectificeerd of gewist)
• Art. 16 AVG: recht om van de verwerkingsverantwoordelijke onverwijld rectificatie van betreffende onjuiste persoonsgegevens te verkrijgen
• Art. 18 AVG: recht op beperking van de verwerking indien bijvoorbeeld de juistheid van de persoonsgegevens wordt betwist door de betrokken
• Art. 12 AVG: de verwerkingsverantwoordelijke faciliteert de uitoefening van deze rechten van de betrokkene (bv. gevolg geven aan verzoek)
• Art. 21 AVG: de betrokkene heeft het recht om vanwege met zijn specifieke situatie verband houdende redenen bezwaar te maken tegen de verwerking van hem betreffende persoonsgegevens
• Art. 3 Richtlijn 1999/44/EG betreffende bepaalde aspecten van de verkoop van en de garanties voor consumptiegoederen: verkoper is ten aanzien van de consument aansprakelijk voor elk gebrek aan overeenstemming dat bestaat bij de aflevering van de goederen (o.a. gelet op beschrijving, eigenschappen, gewoonlijk gebruik)
• Mogelijkheid tot aansprakelijkheid onder artikels 6 en 7 van de nieuwe Richtlijn 2019/770 over digitale inhoud en Richtlijn 2019/771 over verkoop goederen bij gebrek aan objectieve en subjectieve conformiteit (bv. over kenmerken, kwaliteit, functionaliteit, compatibiliteit en interoperabiliteit)

Heeft u adequate logging procedures ingevoerd om de beslissing(en) of aanbeveling(en) van het AI-systeem vast te leggen?

• Artikel 15 AVG: de betrokkene heeft het recht om van de verwerkingsverantwoordelijke uitsluitsel te verkrijgen over het al dan niet verwerken van hem betreffende persoonsgegevens en, wanneer dat het geval is, om inzage te verkrijgen van die persoonsgegevens

• Art. 24 AVG: de verwerkingsverantwoordelijke treft passende technische en organisatorische maatregelen om te waarborgen en te kunnen aantonen dat de verwerking in overeenstemming met deze verordening wordt uitgevoerd
• Art. 30 AVG: elke verwerkingsverantwoordelijke en, in voorkomend geval, de vertegenwoordiger van de verwerkingsverantwoordelijke houdt een register van de verwerkingsactiviteiten die onder hun verantwoordelijkheid plaatsvinden
• Het invoeren van adequate logging procedures zal in de toekomst vermoedelijk aan belang winnen (bv. binnen aangepast wetgevende kader over aansprakelijkheid en AI-systemen): de ‘log-verplichting’ zou in beginsel op producenten van AI-systemen rusten. Ze zou inhouden dat producenten hun AI-systemen uitrusten met de capaciteit om alle informatie op te slaan die gewoonlijk essentieel is om ex post uit te maken of een aan de technologie verbonden risico zich heeft gemanifesteerd (‘logging by design’). Wanneer een andere partij zoals een front end AI-operator na een schadegeval aansprakelijk zou worden gesteld wegens onbeschikbaarheid van gelogde informatie zou deze beschikken over een verhaalsrecht tegen de op vlak van de ‘log-verplichting’ nalatige producent.

2. Verklaarbaarheid waarbij het vermogen om zowel de technische processen van een AI-systeem als de daaraan gerelateerde menselijke beslissingen te verklaren.

Werden de beslissingen van het AI-systeem uitgelegd aan de gebruikers?

• Dit is afhankelijk van de organisatie: als de ontwikkelaars direct betrokken zijn bij de interactie met de gebruikers bijvoorbeeld door middel van workshops kan deze vraag daar worden toegelicht. Als de ontwikkelaars niet rechtstreeks betrokken zijn, moet de organisatie zorgen dat gebruikers het AI-systeem begrijpen en eventuele misverstanden aan ontwikkelaars duidelijk maken.
• Art. 12 AVG: de verwerkingsverantwoordelijke neemt passende maatregelen opdat de betrokkene de informatie en communicatie in verband met de verwerking van persoonsgegevens in een beknopte, transparante, begrijpelijke en gemakkelijk toegankelijke vorm en in duidelijke en eenvoudige taal ontvangt
• Art. 13.2.(f), 14.2.(g), 15.1.(h) AVG: verplichting om te informeren omtrent het bestaan en gebruik van geautomatiseerde (individuele) besluitvorming en profilering, verplichting om nuttige informatie omtrent de onderliggende logica te geven, verplichting om te informeren omtrent het belang en de verwachte gevolgen van deze verwerking voor de betrokkene
• Art. 22 AVG: verplichting om uitleg te geven bij een geautomatiseerd individueel besluit

Onderzoekt u of de gebruikers voortdurend de beslissing(en) van het AI-systeem begrijpen?

• Contractuele afspraken tussen betrokken actoren lijken hierover aangewezen, conform toepasselijke algemene beginselen van het verbintenissenrecht of bijzondere wetgeving
• Art. 22 AVG, lid 2: in de opgesomde gevallen bij geautomatiseerde individuele besluitvorming treft de verwerkingsverantwoordelijke passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene, waaronder ten minste het recht op menselijke tussenkomst van de verwerkingsverantwoordelijke, het recht om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten
• Art. IX.8. WER: de producenten verstrekken binnen het bestek van hun activiteiten de gebruiker de informatie die hem in staat stelt zich een oordeel te vormen over de aan een product inherente risico's gedurende de normale of redelijkerwijs te verwachten gebruiksduur, indien deze risico's zonder passende waarschuwing niet onmiddellijk herkenbaar zijn, en zich tegen deze risico's te beschermen.
• Art. 5 Machinerichtlijn: fabrikant moet alvorens een machine in de handel te brengen en/of in bedrijf te stellen de noodzakelijke informatie verstrekken, zoals de gebruiksaanwijzing
• Art. 10 Verordening Medische Hulpmiddelen: wanneer zij hun hulpmiddelen in de handel brengen of bij de ingebruikneming ervan, zien de fabrikanten erop toe dat die hulpmiddelen overeenkomstig de vereisten van deze verordening zijn ontworpen en vervaardigd

3. Communicatie waarbij de mogelijkheden en beperkingen van het AI-systeem aan de gebruikers zijn gecommuniceerd op een wijze die past bij het gebruik. Deze zou de communicatie van de nauwkeurigheid van het AI-systeem kunnen omvatten, evenals de communicatie van het beperkingen.

In het geval van interactieve AI-systemen (bijv. chatbots), licht u de gebruikers in dat ze met een AI-systeem werken in plaats van met een mens?

• Art. 10 Richtlijn 2000/31 over elektronische handel: informatieplichten moeten op een duidelijke, begrijpelijke en ondubbelzinnige wijze worden verstrekt voor het plaatsen van een order. De onderneming moet voorafgaand aan het aanbieden van deze dienst onder andere de verschillende technische stappen vermelden die nodig zijn om het contact te sluiten. Het feit dat een AI-systeem wordt ingezet bij de totstandkoming van een contract moet dus duidelijk worden aangegeven door een onderneming, zodat de consument de eventuele risico’s van dergelijke systemen kan inschatten.

• Art. 4 Richtlijn 2019/2161 tot modernisering EU consumentenrecht: consumenten moeten duidelijk worden geïnformeerd wanneer de prijs die zij te zien krijgen, is gepersonaliseerd aan de hand van geautomatiseerde besluitvorming, zodat zij in hun aankoopbesluit rekening kunnen houden met de potentiële risico’s

Heeft u mechanismen ingesteld om gebruikers te informeren over het doel, de criteria en beperkingen van de door het AI-systeem gegenereerde beslissing(en)?

Heeft u de voordelen van het AI-systeem aan de gebruikers gecommuniceerd?

Heeft u de technische beperkingen en potentiële risico’s van het AI-systeem gecommuniceerd aan gebruikers, zoals het niveau van de nauwkeurigheid en/of de foutenpercentages?

• Art. VI. 2, 1° en 8°, VI. 45, 1° en 18° en VI. 64, 1° en 17° WER: geven aan welke informatie op duidelijke en begrijpelijke wijze aan de consument moet worden verstrekt. Het gaat daarbij onder andere over de voornaamste kenmerken van de goederen of diensten, de functionaliteit van digitale inhoud met inbegrip van toepasselijke technische beveiligingsvoorzieningen en de relevante interoperabiliteit ervan met hardware en software waarvan de handelaar op de hoogte is of redelijkerwijs kan worden verondersteld op de hoogte te zijn. De informatieverplichtingen omtrent de functionaliteit van de digitale inhoud moeten consumenten bovendien ook in staat stellen om de risico’s van het gebruik van AI-systemen in aanmerking te nemen.

• Art. 7 en 8 Richtlijn 2019/770 (digitale inhoud) en art. 6 en 7 Richtlijn 2019/771 (verkoop goederen): informatieplichten kunnen immers in overweging worden genomen bij het bepalen of een digitale dienst of inhoud of een goed met digitale elementen voldoet aan de contractueel toepasselijke subjectieve of objectieve conformiteitsvereisten (bv. functionaliteit, compatibiliteit en interoperabiliteit). Daarnaast moeten goederen met digitale elementen en digitale inhoud en diensten ook geleverd worden met (installatie-)instructies. Ten slotte zijn er updateverplichtingen die als doel hebben om de blijvende conformiteit van digitale inhoud of diensten of van goederen met digitale elementen te waarborgen.
• Art 12, 13, 14 en 15 AVG: elke communicatie met een betrokkene in de zin van de AVG moet in een beknopte, transparante, begrijpelijke en gemakkelijk toegankelijke vorm zijn, en in duidelijke en eenvoudige taal worden opgesteld. De doeleinden van de verwerking evenals de wettelijke grondslag en de gerechtvaardigde belangen voor de verwerking duidelijk zijn. Om een behoorlijke en transparante verwerking te waarborgen, kan daarbij ook het bestaan van geautomatiseerde besluitvorming met inbegrip van profilering worden verstrekt. Ook de nuttige informatie over de onderliggende logica, alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene kunnen door de verwerkingsverantwoordelijke worden verstrekt.
• Art. IX.8. WER: de producenten verstrekken binnen het bestek van hun activiteiten de gebruiker de informatie die hem in staat stelt zich een oordeel te vormen over de aan een product inherente risico's gedurende de normale of redelijkerwijs te verwachten gebruiksduur, indien deze risico's zonder passende waarschuwing niet onmiddellijk herkenbaar zijn, en zich tegen deze risico's te beschermen.
• Art. 5 Machinerichtlijn: fabrikant moet alvorens een machine in de handel te brengen en/of in bedrijf te stellen de noodzakelijke informatie verstrekken, zoals de gebruiksaanwijzing
• Art. 10 Verordening Medische Hulpmiddelen: wanneer zij hun hulpmiddelen in de handel brengen of bij de ingebruikneming ervan, zien de fabrikanten erop toe dat die hulpmiddelen overeenkomstig de vereisten van deze verordening zijn ontworpen en vervaardigd (nodige informatieplichten zoals etikettering en gebruiksaanwijzingen)

Heeft u de gebruikers passend trainingsmateriaal en disclaimers ter beschikking gesteld over hoe het AI-systeem adequaat te gebruiken?

• Art. IX.8. WER: de producenten verstrekken binnen het bestek van hun activiteiten de gebruiker de informatie die hem in staat stelt zich een oordeel te vormen over de aan een product inherente risico's gedurende de normale of redelijkerwijs te verwachten gebruiksduur, indien deze risico's zonder passende waarschuwing niet onmiddellijk herkenbaar zijn, en zich tegen deze risico's te beschermen.

• Art. 5 Machinerichtlijn: fabrikant moet alvorens een machine in de handel te brengen en/of in bedrijf te stellen de noodzakelijke informatie verstrekken, zoals de gebruiksaanwijzing
• Art. 10 Verordening Medische Hulpmiddelen: wanneer zij hun hulpmiddelen in de handel brengen of bij de ingebruikneming ervan, zien de fabrikanten erop toe dat die hulpmiddelen overeenkomstig de vereisten van deze verordening zijn ontworpen en vervaardigd (nodige informatieplichten zoals etikettering en gebruiksaanwijzingen)
• Art. VI. 2, 1° en 8°, VI. 45, 1° en 18° en VI. 64, 1° en 17° WER: geven aan welke informatie op duidelijke en begrijpelijke wijze aan de consument moet worden verstrekt. Het gaat daarbij onder andere over de voornaamste kenmerken van de goederen of diensten, de functionaliteit van digitale inhoud met inbegrip van toepasselijke technische beveiligingsvoorzieningen en de relevante interoperabiliteit ervan met hardware en software waarvan de handelaar op de hoogte is of redelijkerwijs kan worden verondersteld op de hoogte te zijn. De informatieverplichtingen omtrent de functionaliteit van de digitale inhoud moeten consumenten bovendien ook in staat stellen om de risico’s van het gebruik van AI-systemen in aanmerking te nemen.
• Art. 7 en 8 Richtlijn 2019/770 (digitale inhoud) en art. 6 en 7 Richtlijn 2019/771 (verkoop goederen): informatieplichten kunnen immers in overweging worden genomen bij het bepalen of een digitale dienst of inhoud of een goed met digitale elementen voldoet aan de contractueel toepasselijke subjectieve of objectieve conformiteitsvereisten (bv. beschrijving, type, kwaliteit, functionaliteit, compatibiliteit en interoperabiliteit). Daarnaast moeten goederen met digitale elementen en digitale inhoud en diensten ook geleverd worden met (installatie-)instructies. Ten slotte zijn er updateverplichtingen die als doel hebben om de blijvende conformiteit van digitale inhoud of diensten of van goederen met digitale elementen te waarborgen.

Waar zitten mogelijke verbeter- en/of aandachtspunten?

• Nood aan een duidelijke kader specifiek voor transparantie over de werking, eigenschappen van eigenschappen van AI-systemen en het gebruik van AI-systemen door bedrijven
• Zorgen dat nodige documentatie over werking, besluitvormingsproces,… over AI systemen worden bewaard
• Blijven zorgen dat gebruikers blijven weten hoe het AI-systeem werkt, gegevens verwerkt,…
• Manier vinden waarop beslissingen aan de mensen worden uitgelegd

Welke tools zijn er al/kunnen worden gebruikt om aan de Ethische Richtsnoer te voldoen?

• Google Explainable AI: https://cloud.google.com/explainable-ai

• Microsoft Interpret ML: https://github.com/interpretml
• LIME: https://github.com/h2oai/mli-resources/blob/master/notebooks/lime.ipynb
• TreeInterpreter: https://github.com/andosa/treeinterpreter
• Random-Forest-Explainability-Pipeline: https://www.aiforpeople.org/tools-for-explainability-and-transparency/
• ALIBI: https://github.com/SeldonIO/alibi
• DeepLIFT: Deep Learning Important FeaTures: https://github.com/kundajelab/deeplift
• Fairness in Classification: https://github.com/mbilalzafar/fair-classification
• What If Tool: https://pair-code.github.io/what-if-tool/
• SHapley Additive exPlanations: https://github.com/slundberg/shap
• AI Explainability 360: https://github.com/Trusted-AI/AIX360
• Activation Atlases: https://openai.com/blog/introducing-activation-atlases/
• Rulex Explainable AI: https://www.rulex.ai/rulex-explainable-ai-xai/
• Technieken: https://searchenterpriseai.techtarget.com/feature/How-to-achieve-explainability-in-AI-models
• ICO, “Explaining decisions made with AI”,     https://ico.org.uk/for-organis...
• R. Hamon, “Robustness and Explainability of Artificial Intelligence”, 2020, https://publications.jrc.ec.europa.eu/repository/handle/JRC119336
• Royal Society, “Explainable AI: the basics. Policy briefing”, november 2019, https://ec.europa.eu/futurium/en/system/files/ged/ai-and-interpretability-policy-briefing_creative_commons.pdf
• J. Goldenfein, “Algorithmic Transparency and Decision-Making Accountability: Thoughts for buying machine learning algorithms”, in Office of the Victorian Information Commissioner (ed), Closer to the Machine: Technical, Social, and Legal aspects of AI, 2019, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3445873
• J. Lu et al., “Good Explanation for Algorithmic Transparency”, november 2019, https://ssrn.com/abstract=3503603 en http://dx.doi.org/10.2139/ssrn.3503603

Interdum et malesuada fames ac ante ipsum primis in faucibus. Nam laoreet sem eu molestie faucibus. Suspendisse quis diam laoreet massa commodo dapibus imperdiet vitae dolor. Vestibulum quis iaculis diam. Phasellus gravida pulvinar mollis. Quisque ultricies orci id fringilla finibus. Nullam aliquam vestibulum turpis, ac consequat dui vestibulum at. Aliquam erat volutpat. Aenean dui velit, venenatis at elit et, ultricies dapibus ante. Nulla facilisi. Donec dui est, posuere at iaculis vitae, ultricies et lorem. Praesent interdum lacinia nisi non dictum. Morbi id neque at purus cursus placerat. Morbi et ante a diam vestibulum pharetra nec eget augue. Nullam eleifend quam nunc, eu congue velit dictum at. Mauris vitae viverra ipsum.

Mauris commodo mollis rutrum. Nunc placerat quam in pretium ornare. Aenean leo mauris, semper ut maximus vel, facilisis et velit. Fusce eget vestibulum magna, ut pellentesque justo. Nullam ac venenatis neque, non finibus erat. Sed rutrum orci vitae malesuada viverra. Phasellus sit amet finibus odio. Curabitur tempus turpis sed rhoncus fermentum. Fusce convallis sem sit amet tortor facilisis, nec tincidunt lacus facilisis. Morbi sed ipsum facilisis, auctor lacus lobortis, efficitur diam. Sed rutrum dolor blandit eros placerat sagittis. Sed ut pulvinar nibh, id cursus justo. Vestibulum ante ipsum primis in faucibus orci luctus et ultrices posuere cubilia curae; Maecenas sagittis dictum mauris, in pretium turpis accumsan in.

Duis vitae consectetur sapien. Morbi quis bibendum tellus, sit amet rhoncus purus. Mauris vel suscipit lorem. Nulla id lacus at elit fermentum condimentum non a tortor. Aenean in neque lorem. Aliquam dapibus, tellus in viverra commodo, leo ante viverra lectus, eu aliquet nunc sapien nec ante. Duis sit amet diam ligula.