Обзор методов Video Moment Retrieval

Как обрабатываются токены в декодере DETR

• Рекуррентно

• Авторегресионно

• Параллельно

• Последовательно

Какой backbone используется в Moment-DETR для кодирования признаков видео

• ResNet

• ViT

• CLIP

• SlowFast

Что можно сказать о датасете QVHIGHLIGHTS?

• Подходит для задачи Highlight Detection

• Подходит для задачи Video Moment Retrieval

• Содержит большое количество категорий видео (спорт, фильмы, анимация и. т. д.)

• Является относительно маленьким по объему в сравнении с другими датасетами для VMR

Какие нововведения были предложены в работе QD-DETR

• Используют модификацию оригинального DETR - DAB-DETR

• Early-fusion признаков текста и видео

• Добавление в обучение негативных примеров и лосса на их ранжирование

• Использование Video SWIN Transformer в качестве backbone для видео

Какую основную проблему решали авторы в работе CG-DETR?

• Увеличение количества визуальной информации за счет других backbone

• Предварительная фильтрация релевантных клипов с учетом текстового запроса

• Ускорение сходимости DETR архитектуры в задаче VMR за счет добавления в moment query зашумленных таргетов

• Учет границ сцен для повышения точности в контексте IoU

Показался ли вам доклад полезным
(с точки зрения DETR-like подходов к решению задач с видео)?

• Да, до этого не слышал/не углублялся в принцип работы DETR

• Да, подробно знал, что такое DETR, но в качестве детектора объектов. Не думал о применении подобной архитектуры к другим задачам видео

• Нет, зачем мне знать решения других задач, не связанных с моей научкой