视觉提示新突破，IDEA研究院发布T-Rex模型，可在图上直接选取“Prompt”

继火爆出圈的


Grounded SAM


之后，


IDEA研究院团队


携重磅新作归来：全新视觉提示


（


Visual Prompt


）模型


T-Re


x


，以图识图，开箱即用，

开启开集检测新天地。

拉框、检测、完成！在刚刚结束的2023IDEA大会上，IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了基于视觉提示的目标检测新体验，并发布了全新视觉提示模型T-Rex的模型实验室（playground）, Interactive Visual Prompt（iVP），掀起现场一波试玩小高潮。

在iVP上，用户可以亲自解锁“一图胜千言”的prompting体验：在图片上标记感兴趣的对象，向模型提供视觉示例，模型随即检测出目标图片中与之相似的所有实例。整套流程交互便捷，只需几步操作就可轻松完成。

IDEA研究院4月份发布的Grounded SAM (Grounding DINO + SAM) 曾在Github上火爆出圈，至今已狂揽11K星。有别于只支持文字提示的Grounded SAM，此次发布的T-Rex模型提供着重打造强交互的视觉提示功能。

T-Rex具备极强的开箱即用特性，无需重新训练或微调，即可检测模型在训练阶段从未见过的物体。该模型不仅可应用于包括计数在内的所有检测类任务，还为智能交互标注场景提供新的解决方案。

团队透露，研发视觉提示技术是源自对真实场景中痛点的观察。有合作方希望利用视觉模型对卡车上的货物数量进行统计，然而，仅通过文字提示，模型无法单独识别出每一个货物。其原因是工业场景中的物体在日常生活中较为罕见，难以用语言描述。在此情况下，视觉提示显然是更高效的方法。与此同时，直观的视觉反馈与强交互性，也有助于提升检测的效率与精准度。

基于对实际使用需求的洞察，团队将T-Rex设计成可接受多个视觉提示的模型，且具备跨图提示能力。除了最基本的单轮提示模式，目前模型还支持以下三种进阶模式.

• 多轮正例模式：适用于视觉提示不够精准造成漏检的场景
• 正例+负例模式：适用于视觉提示带有二义性造成误检的场景
• 跨图模式：适用于通过单张参考图提示检测他图的场景

在同期发布的技术报告中，团队总结了T-Rex模型的四大特性：

• 开放集：不受预定义类别限制，具有检测一切物体的能力
• 视觉提示：利用视觉示例指定检测目标，克服罕见、复杂物体难以用文字充分表达的问题，提高提示效率
• 直观的视觉反馈：提供边界框等直观视觉反馈，帮助用户高效评估检测结果
• 交互性：用户便捷参与检测过程，对模型结果进行纠错

研究团队指出，在目标检测场景中，视觉提示的加入能够补足文本提示的部分缺陷。未来，两者的结合将进一步释放CV技术在更多垂直领域的落地潜能。

有关T-Rex模型的技术细节，请参考同期发布的技术报告。

iVP


模型实验室：


https://deepdataspace.com/playground/ivp

Github链接：


trex-counting.github.io

本项工作来自IDEA研究院计算机视觉与机器人研究中心。该团队此前开源的目标检测模型DINO是首个在COCO目标检测上取得榜单第一的DETR类模型；在Github上大火的零样本检测器Grounding DINO与能够检测、分割一切的Grounded SAM，同样为该团队作品。