Модель доверия к прикладным системам искусственного интеллекта

Аннотация

Рассматривается проблема оценки и подтверждения доверия к прикладным системам искусственного интеллекта (CИИ). Показано, что, несмотря на разнообразие работ в данной области, на практике отсутствует единый подход к подтверждению доверия. При этом разные исследователи делают акцент на тех или иных аспектах доверия, без попытки охватить проблему в целом. Свойство доверия сводится к эмоциональной характеристике, конструктивный смысл которой в контексте управления жизненным циклом CИИ не определен. В некоторых случаях происходит не вполне оправданное «очеловечивание» понятия доверия, в результате которого характеристики технической системы полностью замещаются субъективным отношением к её создателям, поставщикам или владельцам.

В работе предпринята попытка обоснования целостной модели доверия к CИИ, основанной на формализации связи между доверием и качеством системы. При этом показано, что характеристика доверия может быть использована для принятия решения эксплуатантом, регуляторами и другими заинтересованными лицами о возможности (или невозможности) применения системы по назначению в определенных условиях эксплуатации. Выявлены основные аспекты доверия, учитывающие как общие вопросы доверия к автоматизированным системам (техническая надежность, информационная безопасность и импортонезависимость), так и специфику систем ИИ на основе алгоритмов машинного обучения (функциональная корректность). Предложен подход к оцениванию характеристик CИИ по этим аспектам.

Полученные результаты могут быть использованы для развития системы оценки соответствия в области технологий ИИ, а также при выборе систем, обеспечивающих решение задач интеллектуальной обработки данных в различных отраслях экономики и социальной сферы.

Литература

Андреев А.В., Яковлев В.В., Короткая Т.Ю. Теоретические основы надежности технических систем. СПб.: Изд-во Политехн. ун-та, 2018. 164 с.

Гарбук С.В. Особенности применения понятия «доверие» в области искусственного интеллекта. // Искусственный интеллект и принятие решений. 2020. № 3. С. 15-21.

Гарбук С.В. Оценка качества систем искусственного интеллекта: особенности проведения и нормативно-техническая база. // Контроль качества продукции. 2024. № 1. С. 20-26.

Гарбук С.В. Функциональность и безопасность систем искусственного интеллекта: качество данных. // Открытые системы. СУБД. 2024. № 1. С. 18–22. DOI: 10.51793/OS.2024.95.90.004

Липаев В.В. Сертификация программных средств. М.: СИНТЕГ, 2010. 344 с.

Allen G., Chan T. Artificial Intelligence and National Security. A study on behalf of Dr. Jason Matheny, Director of the U.S. Intelligence Advanced Research Projects Activity (IARPA). Cambridge, Belfer Center Study, 2017.

Garbuk S.V. Intellimetry as a way to ensure AI trustworthiness // The Proceedings of the 2018 International Conference on Artificial Intelligence Applications and Innovations (IC-AIAI). Limassol, Cyprus, 6-10.10.2018. С.27-30. DOI: 10.1109/IC-AIAI.2018.00012.

Hall P. Machine Learning for High-Risk Applications. First Edition. Techniques for Responsible AI. O'Reilly Media, Inc, 2022. 112 p.