开yun体育网

这项由南京开大学VCIP计较机科学实验室与阿里巴巴通义实验室转圜开展的商榷，以预印本局势于2026年5月发表在arXiv平台，论文编号为arXiv:2605.18018v1。商榷提倡了名为SWIM（See What I Mean，"显然我的好奇"）的全新教练战略，勉力于处分多模态大语言模子在理会用户翰墨容貌时"找不准宗旨物体"的根人性问题。

你有莫得际遇过这么的体验：你对着一个智能助手说"帮我容貌一下街谈上阿谁穿红穿着的东谈主"，纵脱它给你容貌的却是整条街谈，或者容貌了傍边那辆最显眼的汽车？这种"问官答花"的表象在当下最先进的视觉语言AI系统中宽广存在，而且令东谈主颓败的是，这并不是AI莫得"看到"阿谁东谈主，而是它无法把你说的"红穿着的东谈主"这几个字，和视频画面里阿谁具体的东谈主物准确地对应起来。

商榷团队把这个问题比作一场相易错位——AI领有眼睛，也领有耳朵，但眼睛和耳朵之间的"翻译系统"出了问题。SWIM花样的中枢宗旨，便是竖立这套翻译系统，让AI着实作念到"显然你说的是哪个"。

一、为什么AI老是找不准你说的阿谁物体

要理会这个问题，不错用一个宽泛场景来类比。假定你站在一个扰乱的菜阛阓里，让一个一又友帮你找"阿谁卖西红柿的摊位"。若是你的一又友教学丰富，他会把你说的"西红柿"这个词，和视线里某个具体摊位的红色圆形物体对应起来，精确锁定宗旨。但若是这个一又友对阛阓不熟悉，他可能会漫无目的地疑望整个这个词阛阓，最终指向了阿谁最显眼的大摊位，而不是你说的阿谁。

现存的多模态大语言模子（不错理会为"同期能看图、看视频又能理会翰墨的AI"）就像阿谁不熟悉阛阓的一又友。为了弄明晰问题出在那边，商榷团队作念了一个相等直不雅的实验：他们把AI模子在处理翰墨时的"细心力分散"可视化出来——也便是说，当AI读到某个词的时候，它的意见落在图像的哪些区域。

实验纵脱令东谈主只怕，却又在事理之中。当AI读到"棕色"、"髯毛"这么容貌外不雅特征的词时，它的细心力相等连合，准确落在了图像中阿谁着实棕色的区域、那张着实有髯毛的脸上。但当AI读到"男东谈主"、"东谈主"这么的名词时，细心力却分散得到处都是，整张图像上都有少量点激活，就像把一滴墨水点进了一大盆水里，那边都有脸色，却那边都不澄清。

这个发现揭示了一个系统性的礼貌：容貌外不雅特征的词（脸色、纹理、方法）大略精确定位，而代表物体自身的名词却老是漫无标的。商榷团队分析了其中的原因：在AI用来教练的海量图文数据中，"红色"这个词往往只出咫尺图像里着实红色的区域隔壁，因此AI学到了"红色"和特定视觉区域的紧密关联。但"男东谈主"这个词在各类不同的场景下都会出现——室内、室外、近处、远方、正脸、背影——这各类种性导致AI无法把这个词和某个具体的视觉区域紧紧绑定在一都。

正因如斯，当用户用纯翰墨容貌某个物体时，AI往往无法准确理会你说的到底是画面里的哪一个。而为了处分这个问题，现存的一些门径走了一条"绕路"：让用户很是提供视觉标记——比如在图像上画一个框、打一个点、或者涂一个遮罩——来明确告诉AI"便是这个"。这种方式自然灵验，却背离了东谈主类最自然的交流方式：咱们讲话的时候，不会顺手拿着画笔在空气中圈出宗旨物体，咱们依靠语言自身来指定宗旨。

二、现存处分决策的局限：不得不拿着"带领棒"讲话

咫尺学术界和工业界也曾有了一批成心针对"详细化物体理会"的模子，它们如实能更好地理会用户指定的具体物体，但代价是需要很是的视觉输入。

以视频规模为例，VideoRefer这类模子需要用户提供对应帧的精确遮罩（就像在物体轮廓上描了一圈），Ferret需要用户框出物体的位置，还有一些模子需要用户点击物体场地的坐标点。这些门径如实能让AI"看准"宗旨，但使用起来极为未便——凡俗用户在宽泛对话中不可能随时准备好这些视觉标注器具。

更贫寒的是，这类门径在架构打算上常常需要很是的模块：一个成心处理遮罩的编码器、一个很是的视觉区域索取收罗……这不仅加多了系统的复杂度，也意味着在使用时必须很是准备这些"谈具"。

商榷团队合计，着实空想的系统应该像东谈主类一样：只用语言就能精确指定宗旨，不需要任何很是器具。收尾这个宗旨的关节，不是给模子加多更多模块，而是让模子里面的"语言-视觉对应联系"变得愈加精确。

三、构建"课本"：NL-Refer数据集的降生

任何学习都需要好的课本，教练AI也不例外。要让AI学会把名词和具体物体对应起来，最初需要一批"要领谜底"——每张图、每段视频里，翰墨中提到的物体，都要有对应的精确视觉标注。

商榷团队的起点是VideoRefer数据集，这是一个已有700K个视频样本的视频理会数据集，其中每个样本都包含视频帧、翰墨容貌，以及物体的像素级遮罩标注。然则问题在于，原始数据连合的翰墨容貌用的是一个占位绚丽``来指代宗旨物体，比如"请容貌视频中``的特征"。这个占位符对东谈主来说一看就懂（趋承视觉标记），但对于但愿从纯翰墨中学习对应联系的AI来说，这等于告诉它"这里有个宗旨物体"，却莫得给出任何语义信息——AI无从认识这个物体叫什么、有什么特征。

为了处分这个问题，商榷团队打算了一个GPT-4o驱动的数据处理过程。具体而言，他们让GPT-4o阅读每个样本中配套的详备容貌翰墨（比如"一个穿白色T恤、留着髯毛的年青男性正在走路"），然后让它把翰墨里的``占位符替换成一个浅近、准确的自然语言指代抒发式，同期在这个抒发式里找出最中枢的名词（比如"男东谈主"），用很是标记``把它包围起来。

经过这么处理，原来的"请容貌视频中``的特征"就造成了"请容貌视频中阿谁**留着髯毛的年青男东谈主**在街上行走的特征"，其中"男东谈主"这个词被标记出来，何况与原来的像素级遮罩凯旋挂钩。这套经过尽心处理的数据集被定名为NL-Refer，包含12.5万个视频样本，每个样本都成就了从自然语言名词到视觉区域的精确映射。

这至极于为AI准备了一套带有精确谜底的纯熟题：每谈题告诉AI"当你读到这个词时，你的意见应该落在图像的这个区域"。

四、SWIM教练战略：用"进修压力"改良细心力民俗

有了高质料的课本，接下来是打算教练门径。SWIM的中枢想路其实并不复杂：在AI教练过程中，每当AI读到一个被标记的关节名词时，就检讨它的细心力是否落在了正确的视觉区域；若是莫得，就给它一个"刑事牵累信号"，推着它把细心力转念到正确位置上去。

具体来说，当AI处理一段输入时，它的里面有多层"细心力机制"，每一层都在决定"当我处理某个词时，我应该激情视频画面的哪些部分"。商榷团队从AI的中间多层同期索取这种细心力分散图，然后把这些来自不同层的细心力争取平均，得到一张详细的细心力热力争，代表AI合座上在激情画面的哪些区域。

接下来，这张热力争被拿来和事前标注好的物体遮罩（即宗旨物体的真实轮廓）进行对比：热力争中的高亮区域是否和物体遮罩重合？使用的预料要领是二值交叉熵亏损函数——不错理会为一种"考卷评分机制"，它对图像上每个像素点独处打分：若是某个像素属于宗旨物体，对应位置的细心力越高越好；若是某个像素不属于宗旨物体，对应位置的细心力越低越好。这个评分机制会生成一个"罚分"，罚分越高诠释细心力和真实区域偏差越大，教练过程会字据这个罚分不停转念AI的参数，直到细心力越来越连合在正确区域上。

这里有一个相等关节的打算特质：这套遮罩监督只在教练阶段使用。当教练完成、模子素雅参加使用时，用户不需要提供任何遮罩或其他视觉标注，只需用凡俗翰墨容貌宗旨物体，模子就能自动把细心力瞄准正确区域。这就好比你通过宽广纯熟学会了"看到容貌就能假想对应画面"的才气，在践诺使用时不再需要图片扶植，单凭容貌就能在脑海中精确定位宗旨。

对于具体从哪些层索取细心力争，商榷团队也作念了系统性的探索。他们发现，从单一层索取着力最差，使用六层着力最佳，再加多层数收益递减。更贫寒的发现是，这六层最佳均匀分散在整个这个词收罗的浅层到深层，而不是连合在某个特定深度段——这诠释精确的物体理会需要同期愚弄低层的纹理特征和高层的语义理会，两者不可偏废。

在细心力争的合并方式上，商榷团队对比了加法、最大值池化、乘法、平均值四种方式，最终发现凯旋取平均着力最佳。原因在于，乘法会导致某个层细心力稍低的区域被合座压低，遗漏了部分灵验信息；而平均值能平滑各层之间的噪声，同期保留最显赫的激活峰值。

在亏损函数的禁受上，商榷团队对比了四种决策：mIoU亏损、Focal亏损、Dice损结怨二值交叉熵（BCE）亏损。最终BCE亏损着力最优，原因在于细心力争自然是疏淡的（大部分区域细心力接近零），而BCE对每个像素独处计较，既刑事牵累了宗旨区域内的低细心力，也刑事牵累了非宗旨区域的高细心力，与细心力争的疏淡性情相等契合。

五、实验纵脱：不仅仅比别东谈主强少量点

商榷团队在多个视频理会基准上对SWIM进行了系统测试，纵脱至极令东谈主降服。

在VideoRefer-Bench上，这个成心评测视频详细化物体理会才气的基准分为两个子任务。第一个子任务（VideoRefer-Bench-Q）让模子回支吾于特定物体的禁受题，涵盖基础领略、时序联系、物体间联系、推理和瞻望五个维度。SWIM取得了78.3%的平均准确率，比之前最佳的成心模子VideoRefer-7B跳跃6.4个百分点，也杰出了GPT-4o（71.3%）和限制更大的InternVL2-26B（65.0%）。其中升迁最较着的是基础领略（比Qwen2.5-VL-7B高5.8%）和时序联系（高5.3%），这两类任务都需要AI最初精确识别出宗旨物体才能作答，正巧是SWIM转变最中枢的才气。

第二个子任务（VideoRefer-Bench-D）条目模子对指定物体进行详备容貌，评分维度包括主体对应准确性（容貌的是不是指定的阿谁物体）、外不雅容貌准确性（脸色、方法、纹理是否正确）、时辰算作容貌准确性（算作、怒放是否容貌准确）、以及幻觉检测（有莫得造谣不存在的细节）。SWIM在这四个维度上分别得到4.92、3.85、3.43、2.96分（满分5分），详细平均3.78分，不仅杰出了最佳的成心模子DAM-8B（3.68分），也远超GPT-4o（3.25分）。其中主体对应性和外不雅容貌的升迁最为杰出，这凯旋反应了SWIM在把名词和视觉区域对应方面的转变。

在通用视频理会基准上，SWIM在MVBench上得到62.1分（杰出VideoRefer-7B的59.6），在VideoMME上与VideoRefer-7B执平（55.9），在ActivityNet-QA上得到55.6分。这些纵脱诠释，SWIM在专精于详细化物体理会的同期，并莫得葬送通用视频理会才气——一个专注于某项妙技的教练门径，莫得让AI"偏科"。

六、AI的意见究竟落在那边：用数字量化细心力精确度

为了更直不雅地考据SWIM如实改善了细心力分散，商榷团队打算了两套成心的评估目的。

第一套是GamePoint@P目的，它预料的是：在AI细心力最高的前P%像素中，有若干比例落在了宗旨物体的遮罩范围内？在P=1%时，SWIM的得分是0.392，而基础的Qwen2.5-VL只好0.329，升迁了6.3个百分点；在P=5%时升迁5.5个百分点；在P=10%时升迁4.7个百分点。这意味着SWIM的细心力峰值更准确、更连合，最受激情的那些像素如实更多地落在了宗旨物体上。

第二套是GamePoint@K目的，预料的是细心力排行靠前的K个像素点中，有若干属于宗旨物体。在K从1到100的各个值上，SWIM（0.373~0.375）耐久高于Qwen2.5-VL（0.328~0.331），且各个K值下的差距相等强壮。这诠释SWIM不仅仅在最高细心力点上发扬更好，而是合座的细心力排序都愈加准确可靠。

此外，商榷团队还用AP（平均精度）、AUC（弧线底下积）、NSS（归一化扫描旅途显赫性）和Precision（精确率）四个更要领的视觉显赫性目的，对两个模子的细心力争进行了全面比较。四花样的上SWIM全部优于基础模子：AUC从0.62升迁到0.67，NSS从0.39升迁到0.50，Precision从0.28升迁到0.39，AP从0.26升迁到0.30。这些数字背后的好奇是：SWIM生成的细心力争与真什物体遮罩的重合进度更高，诞妄激活（细心力落在非宗旨区域）更少，差别宗旨与非宗旨的才气更强。

七、数据越多越好：SWIM的限制膨胀后劲

一个实用的AI门径，除了当下的性能，还需要具备"越喂越好"的后劲——跟着数据限制扩大，性能能否执续升迁？

商榷团队对NL-Refer数据集按照不同限制进行了实验，从3万个样本启动，徐徐加多到5万、8万、10万、最终12.5万个好意思满样本，不雅察性能变化。纵脱炫夸出澄清、单调的上涨趋势：3万样本时得分3.23，5万时3.39，8万时3.60，10万时3.69，12.5万时3.78。全程莫得出现性能停滞或下落的迹象，而且在12.5万这个面前最大限制处，弧线仍然莫得发扬出"富裕"的迹象。这意味着若是能取得更多高质料的遮罩标注数据，SWIM的性能还有至极大的升迁空间。

八、靠近"换个说法"的挑战：鲁棒性测试

现实宇宙中的用户容貌清除个物体时可能用不同的词：有东谈主说"男东谈主"，有东谈主说"男性"，有东谈主说"男士"。一个着实实用的系统应该在靠近这类同义词替换时保执强壮的性能，而不是只意志教练时见过的特定词汇。

为了测试这少量，商榷团队把VideoRefer-Bench-D测试连合整个被标记的关节名词替换成同义词，然后重新评测。纵脱炫夸，SWIM在同义词干预下的得分（3.74）仅比原始得分（3.78）低0.04分，降幅极为眇小。比较之下，原始Qwen2.5-VL在莫得干预时得分为2.97，加上精确关节词后（至极于给它少量很是的语义痕迹）得分为3.43，仍然低于SWIM在有同义词干预时的3.74。这个对比诠释SWIM学到的不是死记硬背特定词汇，而是对物体语义的深层理会，这种理会不错泛化到语言抒发的自然变化中。

九、践诺着力：看得见的区别

除了数字，商榷团队也展示了一些具体的对比案例，让SWIM的转变变得相等直不雅。

在一个容貌类任务中，用户让模子容貌"视频桌子上阿谁长方形的木质砧板"。基础的Qwen2.5-VL容貌的是傍边的饼干，因为饼干是画面中最显眼的动态物体；而SWIM准确容貌了那块砧板，内容与要领谜底高度吻合。在两谈禁受题案例中，SWIM同样选出了正确谜底，而基础模子都选错了。这些例子都指向清除个问题：当AI弗成准确将翰墨容貌与视觉区域对适时，它会本能地被画面中最显眼的物体"诱导"，而冷漠用户着实在问的阿谁宗旨。

说到底，SWIM作念的事情并不是给AI添加了某种神奇的新才气，而是竖立了一个耐久被冷漠的基础问题：当AI读到一个物体名词时，它应该确切"看向"阿谁物体，而不是漫无目的地疑望整个这个词画面。这个问题之是以之前莫得被系统性处分，很猛进度上是因为传统的评测方式（问答准确率、容貌畅通度）并弗成凯旋泄露细心力分散的颓势，需要像这篇论文这么把细心力争可视化出来才能发现。

对于凡俗用户来说，这项商榷的意旨在于：异日你在使用AI助手时，只需要用自然语言说"帮我激情视频里阿谁戴红帽子的孩子"，AI就能着实把意见和细心力聚焦在阿谁孩子身上，而不是容貌整个这个词场景或者最显眼的布景元素。SWIM的教练决策只需要在教练时提供遮罩，推理使用时透彻依靠翰墨，这意味着它不错凯旋集成到现存的模子教练过程中，不需要改造模子架构或加多推理时的很是输入。

这项商榷的好意思满论文不错通过arXiv编号2605.18018查阅，代码和NL-Refer数据集也已开源，有兴味潜入了解本事细节的读者不错通过GitHub上的HumanMLLM/SWIM仓库获取。

Q&A

Q1：SWIM教练门径和凡俗多模态大模子教练有什么区别？

A：凡俗多模态大模子教练只消求模子输出正确的翰墨谜底，并无论模子里面的细心力是否落在了正确的视觉区域。SWIM在此基础上加多了一个很是的监督信号：当模子读到物体名词时，它的跨模态细心力争必须和事前标注的物体遮罩尽量重合，不然会产生刑事牵累。这个很是拘谨迫使模子把名词和对应视觉区域更紧密地绑定在一都，从而在推理时仅凭翰墨就能精确定位宗旨物体，不再需要用户很是提供遮罩或标注框。

Q2：NL-Refer数据集和原始VideoRefer数据集有什么不同？

A：原始VideoRefer数据连合，翰墨容貌用占位符``代替宗旨物体，这个绚丽对东谈主来说要互助视觉标记才能理会，AI无法从中学习到名词和视觉区域的对应联系。NL-Refer通过GPT-4o处理，把每个``替换成了具体的自然语言容貌（比如"阿谁留髯毛的年青男东谈主"），同期标记出最中枢的名词，并保留了与之对应的像素级遮罩。这么AI就能从翰墨自身凯旋学习"读到这个词就该看阿谁区域"的对应联系。

Q3：SWIM在视频之外的图像理撤职务上也灵验吗？

A：面前论文的实验主要连合在视频理撤职务上，教练数据也以视频为主。不外SWIM的核神思制（对跨模态细心力施加遮罩监督）在表面上同样适用于静态图像理会场景，因为图像和视频在模子的细心力计较方式上本体不异。商榷团队并未成心测试纯图像场景，但由于基础框架Qwen2.5-VL自身复旧图文输入，SWIM的教练战略表面上不错移动到图像规模开yun体育网，这亦然异日商榷不错探索的标的。