Содержание
Коротко
Диффузионные модели используют как априор в задачах восстановления изображений, но плохо ловят тонкий или локальный сдвиг распределения — когда «чужой» фрагмент спрятан внутри кадра. KLIP предлагает метрику на KL-дивергенции между prior и posterior без калибровочного набора «аномалий».
Что изучили
Классические детекторы «чужого домена» часто требуют знания сдвинутого распределения или работают только на целом изображении. KLIP оценивает расхождение распределений на косвенных измерениях типичных обратных задач восстановления (не полный пиксельный кадр на входе).
В экспериментах метрика находит семантически значимые сдвиги — например, переход от здоровой печени на КТ к снимкам с опухолями — и локализует подозрительные патчи внутри изображения.
Главные выводы
- Не нужны отдельные калибровочные данные с «чужим» доменом.
- Работает на разных типах диффузионных моделей, датасетов и постановок обратной задачи.
- Код авторов открыт на GitHub (voilalab/KLIP).
Что это значит для разработчиков
- В медицинских и промышленных пайплайнах восстановления снимков добавляйте проверку домена до инференса модели.
- Локализация аномалии важнее бинарного «весь кадр OOD» — можно отсечь только проблемный регион.
- При эксплуатации моделей: мониторинг KL-подобных метрик между обучающей и боевой выборкой как ранний сигнал дрейфа данных.
Ограничения
Фокус — обратные задачи восстановления и диффузионные модели как начальное распределение; перенос на обычный табличный ML не описан. Медицинские примеры требуют клинической валидации — это инженерный сигнал, не диагноз.