人工智能存在歧视问题 在银行业后果可能很严重

【友财网讯】-人工智能存在种族偏见问题。

(资料图片仅供参考)

从不成比例地错误识别黑人和少数民族面孔的生物识别系统，到无法区分带有明显地区口音的声音的语音识别软件应用程序，人工智能在歧视方面还有很多工作要做。

在银行和金融服务领域，放大现有偏见的问题可能会更加严重。

德勤（Deloitte）指出，人工智能系统的好坏最终取决于它们所获得的数据：不完整或不具代表性的数据集可能会限制人工智能的客观性，而训练此类系统的开发团队的偏见可能会使这种偏见循环持续下去。

*人工智能可能很笨*

Worldpay加密货币和Web3主管纳比尔·曼吉(Nabil Manji)表示，了解人工智能产品的一个关键问题是，该技术的强度在很大程度上取决于用于训练它的原始材料。

“关于一个人工智能产品有多好，有两个变量。”曼吉在一次采访中告诉美国消费者新闻与商业频道（CNBC），“一是它可以访问的数据，二是大型语言模型有多好。这就是为什么在数据方面，你会看到像Reddit和其他公司这样的公司，他们已经公开表示，不会允许公司抓取他们的数据，你必须为此向他们付费。”

至于金融服务，曼吉说，许多后端数据系统分散在不同的语言和格式中。

“没有一个是整合或协调的。”他补充道，“这将导致人工智能驱动的产品在金融服务领域的效率远低于在其他垂直行业或其他公司的效率，在这些行业或公司中，它们拥有统一的、更现代的系统或数据访问。”

曼吉建议，区块链或分布式账本技术可以作为一种更清晰地查看隐藏在传统银行混乱系统中的不同数据的方式。

然而，他补充说，银行——作为受到严格监管、行动缓慢的机构——在采用新的人工智能工具方面，不太可能以与更灵活的科技同行相同的速度前进。

“你有微软（Microsoft）和谷歌（Google），它们在过去的一二十年里被视为推动创新的力量。他们跟不上那个速度。然后你会想到金融服务。银行并不以速度快著称。”曼吉说。

*银行业的人工智能问题*

推特（Twitter）前机器学习道德、透明度和问责制负责人鲁曼·乔杜里(Rumman Chowdhury)表示，借贷是人工智能系统对边缘化社区的偏见如何抬头的一个主要例子。

乔杜里在阿姆斯特丹Money20/20的一个小组讨论会上说:“算法歧视在贷款中实际上非常明显。芝加哥有拒绝向主要是黑人社区发放贷款的历史。"

20世纪30年代，芝加哥以“划红线”的歧视性做法而闻名，在这种做法中，房地产的信誉在很大程度上取决于特定社区的种族人口统计数据。

“芝加哥所有地区的墙上都会有一幅巨大的地图，他们会在所有主要是非洲裔美国人的地区划红线，不给他们贷款。”她补充说。

“几十年后，你正在开发算法来确定不同地区和个人的风险。虽然你可能没有包括某人种族的数据点，但这是隐含的。”

事实上，旨在增强人工智能领域黑人女性权能的组织“人工智能中的黑人女性”(Black Women in Artificial Intelligence)的创始人安格尔·布什(Angle Bush)告诉CNBC，当人工智能系统专门用于贷款审批决策时，她发现存在复制用于训练算法的历史数据中现有偏见的风险。

“这可能导致边缘化群体的个人被自动拒绝贷款，加剧种族或性别差异。”布什补充说。

“银行必须认识到，将人工智能作为一种解决方案来实施，可能会无意中延续歧视。”她说。

在人工智能和机器学习领域工作了十多年的开发人员弗罗斯特·李(Frost Li)告诉CNBC，人工智能集成的“个性化”维度也可能有问题。

“人工智能的有趣之处在于我们如何选择‘核心功能’进行培训。”弗罗斯特·李说，他创立并经营着Loup，一家帮助在线零售商将人工智能整合到他们的平台上的公司。“有时候，我们会选择与我们想要预测的结果无关的特征。”

弗罗斯特·李说，当人工智能应用于银行业时，当一切都在计算中错综复杂时，很难识别出偏见的“罪魁祸首”。

“一个很好的例子是，有多少金融科技初创公司是专门为外国人服务的，因为一个东京大学毕业生即使在谷歌工作，也无法获得任何信用卡；然而，人们可以很容易地从社区大学信用社获得贷款，因为银行家更了解当地的学校。”弗罗斯特·李补充说。

生成式人工智能通常不用于创建信用评分或消费者风险评分。

“这不是这个工具的初衷。”Taktile的首席运营官尼克拉斯·古斯克(Niklas Guske)说，Taktile是一家帮助金融科技公司自动化决策的初创公司。

相反，古斯克说，最强大的应用程序是预处理文本文件等非结构化数据，如分类交易。

“这些信号可以被输入到一个更传统的承保模式中。”古斯克说，“因此，生成式人工智能将提高此类决策的基础数据质量，而不是取代常见的评分流程。”

但这也很难证明。例如，苹果公司和高盛公司被指控给予女性更低的苹果卡限额。但是，在监管机构没有发现性别歧视的证据后，这些指控被纽约州金融服务局驳回。

根据欧洲反种族主义网络主任金·斯莫特(Kim Smouter)的说法，问题在于证实基于人工智能的歧视是否真的发生了，具有挑战性。

他说：“大规模部署人工智能的困难之一，是这些决定如何产生的不透明性，以及如果一个种族化的个人甚至注意到存在歧视，存在什么补救机制。”

“个人对人工智能系统如何工作知之甚少，事实上，他们的个案可能只是整个系统的冰山一角。相应地，也很难发现事情出错的具体情况。”他补充道。

斯莫特引用了荷兰儿童福利丑闻的例子，其中数千份福利申请被错误地指控为欺诈。在2020年的一份报告发现受害者“受到制度偏见的对待”后，荷兰政府被迫辞职。

斯莫特说，这“证明了这种功能障碍传播的速度有多快，证明它们并在发现后得到补救有多困难，同时造成了重大的、往往是不可逆转的损害。”

*监管人工智能的偏见*

乔杜里说，有必要建立一个像联合国这样的全球监管机构，来解决围绕人工智能的一些风险。

尽管人工智能已被证明是一种创新工具，但一些技术专家和伦理学家对该技术的道德和伦理合理性表示怀疑。业内人士表达的最大担忧是错误信息；人工智能算法中嵌入的种族和性别偏见；以及类似ChatGPT的工具产生的“幻觉”。

“我很担心，由于生成式人工智能，我们正在进入这个后真相世界，在这个世界中，我们在网上看到的任何东西都不可信——任何文本、任何视频、任何音频都不可信，但我们如何获得我们的信息？我们如何确保信息的高度完整性？”乔杜里说道。

现在是对人工智能进行有意义的监管的时候了——但知道像欧盟人工智能法案这样的监管提案生效需要多长时间，一些人担心这不会发生得足够快。

“我们呼吁提高算法的透明度和问责制，以及它们如何运行，并呼吁一个外行人的声明，允许非人工智能专家的个人自行判断，测试证明和结果公布，独立的投诉流程，定期审计和报告，以及在设计和考虑部署技术时让种族化社区的参与。”斯莫特说。

斯莫特表示，人工智能法案是此类监管框架中的第一个，它纳入了基本权利方法和补救等概念，并补充说，该法规将在大约两年内实施。

“如果能缩短这个时间，以确保透明度和问责制是创新的核心，那就太好了。”他说。

文章来源友财网由整理发布，转载请注明出处。