Риски: модели, предвзятость, стадное поведение и мошенничество
Риски искусственного интеллекта в сфере финансовых услуг распадаются на несколько категорий, выделенных надзорными органами и литературой. Старейшая из них — модельный риск. Любая модель упрощает действительность и может дать сбой при изменении условий. Модели машинного обучения особенно уязвимы, поскольку они усваивают закономерности из исторических данных, которые в будущем могут перестать действовать. Сложность больших моделей затрудняет их валидацию тем способом, каким банки с 2000-х годов валидировали статистические модели.1
Вторую категорию образуют предвзятость и дискриминация. Кредитная модель, обученная на прошлых решениях, может воспроизводить их закономерности, включая неблагоприятное положение отдельных групп, даже если она напрямую не использует защищаемые признаки. Швейцарское право не содержит общего запрета дискриминации в отношениях между частными лицами, хотя защиту в определённой мере обеспечивают охрана личности по статье 28 Гражданского кодекса и специальные законы. В рекомендациях FINMA равное обращение названо среди областей особого внимания, а Регламент ЕС об ИИ (EU AI Act) решает этот вопрос через требования к управлению данными для систем высокого риска.2 С этим тесно связана объяснимость. Если модель не может объяснить, почему она отклонила заявку на кредит или пометила операцию, клиент не может оспорить решение, а учреждение — доказать, что действовало правомерно.
Финансовая стабильность — забота базельских институтов. Если многие участники рынка используют сходные модели, обученные на сходных данных, их решения могут стать коррелированными, что способно усиливать движения рынка и сокращать разнообразие мнений, поддерживающее ликвидность рынков. Гэри Генслер — ещё до того, как он возглавил Комиссию по ценным бумагам и биржам США, — и Лили Бейли описали этот риск стадного поведения в работе 2020 года, утверждая, что глубокое обучение может повышать системный риск за счёт единообразия, сетевой взаимосвязанности и пробелов в регулировании.3 Совет по финансовой стабильности добавил к этому концентрацию среди немногих поставщиков моделей, облачных услуг и чипов, которая создаёт для финансовой системы единые точки отказа.4
Вместе с технологией выросли киберриски и мошенничество. Злоумышленники используют языковые модели, чтобы составлять убедительные фишинговые сообщения на любом языке, включая швейцарский немецкий, и выявлять уязвимости в программном обеспечении. Клонирование голоса и видеодипфейки позволяют преступникам выдавать себя за руководителей, клиентов или родственников. В широко освещавшемся случае 2024 года сотрудник инженерной компании Arup в Гонконге перевёл около 25 млн долларов США после видеоконференции, в которой другие участники, включая мнимого финансового директора, были сгенерированы искусственным интеллектом.5 Национальный центр кибербезопасности, преобразованный в 2024 году в Федеральное ведомство по кибербезопасности, сообщает о растущем числе таких попыток в Швейцарии.6 Для банков и их клиентов это означает, что голос или лицо на экране больше не подтверждают личность, поэтому платёжные поручения требуют независимой проверки по отдельному каналу.
Примечания
- Об управлении модельным риском см. надзорные указания Федеральной резервной системы и Управления контролёра денежного обращения SR 11-7, Guidance on Model Risk Management, апрель 2011 г., которые повлияли на практику во всём мире. Требует проверки. ↩
- Ст. 28 Гражданского кодекса Швейцарии (ZGB, SR 210); FINMA Guidance 08/2024; ст. 10 Регламента (ЕС) 2024/1689 о данных и управлении данными. Требует проверки. ↩
- Gary Gensler and Lily Bailey, «Deep Learning and Financial Stability», рабочий доклад, MIT, ноябрь 2020 г. Требует проверки. ↩
- Financial Stability Board, The Financial Stability Implications of Artificial Intelligence, 14 ноября 2024 г., разделы о зависимости от третьих лиц и рыночных корреляциях. Требует проверки. ↩
- Сообщения полиции Гонконга и международной прессы за февраль и май 2024 г. о мошенничестве с использованием дипфейков против гонконгского офиса Arup. Цифры требуют проверки. ↩
- Федеральное ведомство по кибербезопасности (BACS), полугодовые отчёты и еженедельные обзоры по мошенничеству и дипфейкам начиная с 2024 г. Актуальность требует проверки. ↩
Только для общего ознакомления. Настоящая статья не является юридической или налоговой консультацией, не заменяет консультацию по конкретному делу и не создаёт отношений между адвокатом и клиентом. Она отражает правовое положение по состоянию на октябрь 2026 г.