NYC Local Law 144

Un AEDT est un processus computationnel issu de l'apprentissage automatique, de la modélisation statistique, de l'analytique de données ou de l'intelligence artificielle qui produit un résultat simplifié (note, classification, classement ou recommandation) utilisé pour aider de façon substantielle ou remplacer la prise de décision discrétionnaire en matière d'emploi. Les règles du DCWP précisent qu'aider de façon substantielle inclut se fier au résultat comme facteur principal ou l'utiliser pour renverser des conclusions humaines.

La définition capture plus que les logiciels RH spécialisés. Un outil d'IA généraliste devient un AEDT en pratique quand un recruteur lui demande de noter ou de présélectionner des candidats et que le résultat oriente la décision. Les organisations ont besoin d'un inventaire de chaque endroit où un résultat d'IA touche l'embauche, y compris l'usage informel de robots conversationnels, parce que les obligations de vérification et d'avis s'attachent à l'usage, pas à la catégorie de produit du fournisseur.

Un AEDT ne peut pas être utilisé à moins d'avoir fait l'objet d'une vérification de biais par un vérificateur indépendant au plus un an avant l'utilisation. La vérification doit calculer les taux de sélection ou de notation et les ratios d'impact selon les catégories de sexe et de race ou d'ethnicité, en utilisant les données historiques de l'employeur quand elles existent.

Pour les organisations qui appliquent l'IA aux données de candidats, cela signifie que chaque outil de présélection doit disposer d'une vérification indépendante à jour, renouvelée chaque année, et que le pipeline de données alimentant l'outil doit être assez propre pour calculer des ratios d'impact par catégorie démographique. Cela signifie aussi qu'un flux de travail d'IA improvisé par un recruteur ne peut pas être vérifié, puisque personne ne sait qu'il existe : découvrir l'usage réel de l'IA dans l'embauche est une condition préalable à la conformité.

Avant d'utiliser un AEDT, l'employeur ou l'agence doit publier sur son site web un résumé des résultats de la plus récente vérification de biais, incluant les taux de sélection et les ratios d'impact, ainsi que la date de mise en distribution de l'outil.

La publication transforme les mesures de biais en preuves publiques et citables. Les organisations doivent présumer que les avocats de demandeurs, les journalistes et les régulateurs lisent ces publications et les comparent d'une année à l'autre. Cela hausse les enjeux de qualité des données : quelles données de candidats entrent dans l'outil, comment les catégories sont consignées, et si les chiffres publiés peuvent être reproduits à partir des dossiers sous-jacents.

Les candidats et employés résidant à New York doivent être informés, au moins 10 jours ouvrables avant l'utilisation de l'AEDT, qu'un AEDT les évaluera, quelles qualifications et caractéristiques il utilisera, et comment demander un processus de sélection de rechange ou un accommodement. L'information sur les sources de données et la politique de rétention de l'outil doit être disponible sur demande.

Les obligations d'avis supposent que l'employeur sait quels outils seront utilisés avant le début de la présélection, ce qui est incompatible avec des recruteurs qui improvisent avec une IA non approuvée en cours de processus. La divulgation des sources de données et de la rétention force aussi l'employeur à savoir ce que ses fournisseurs conservent. Les CV et renseignements personnels de candidats collés dans un robot conversationnel grand public échappent à chacun de ces engagements : aucun avis n'a été donné, aucune politique de rétention ne s'applique et aucune vérification ne l'a couvert.