В практических системах важно измерять не только «точность», но и устойчивость:
что модель делает под атакой, какие инструменты может вызвать и как оформляет отказ.
- Сценарии: подмена инструкций, скрытые сообщения, внешние документы
- Метрики: воспроизводимость, поведение отказа, соблюдение политик
- Инженерия: разрешения, журналы, песочницы инструментов
Пользовательские требования обычно сводятся к управляемости: стабильный стиль,
повторяемые персонажи, контроль движения и сцены.
- Метрики: соответствие тексту, артефакты, стабильность
- Контроль: референсы, маски, ключевые кадры
Продакшен — это задержка, стоимость и стабильность. Поэтому исследования всё чаще опираются
на воспроизводимые измерения и сценарии реальной нагрузки.
- Пайплайны: A/B, канареечные релизы, откаты
- Наблюдаемость: деградации, дрейф, регрессии