Опрос: насколько полной должна быть проверка ML-модели

Мы делаем инструмент, который проверяет модели машинного обучения атаками: пытается так изменить входные данные — картинку, текст, звук, — чтобы модель ошиблась. Если ни одна атака не сработала, инструмент пишет «модель устойчива».

Но такой вывод можно сделать и по слишком скромной проверке: атак мало, все они одного типа, примеров мало. Мы выделили пять таких недостатков и хотим понять, какие из них сильнее подрывают доверие к выводу.

Вам покажут 10 пар недостатков. В каждой паре выберите, какой хуже и насколько. Правильных ответов нет, нам важно ваше мнение.

Займёт 5–7 минут. Имя указывать не обязательно.