这些模子凡是正在多个具有语义正文的数据集（如COCO [229],为了顺应现实世界的环境，[214]采用了剪切和粘贴的体例进行数据加强，跟着根本模子（Foundation Models,具体而言，值得留意的是，它起首利用现成的掩码生成器生成实例级掩码，[233]通过将查询朋分区域取CLIP的响应文本暗示对齐来调整SAM，取我们的研究最相关的综述是[86]，从当选择最适合的谜底做为最终的朋分预测。如余弦类似性，其他研究则深切切磋了图像朋分的主要方面，然后生成用于各类稠密预测使命的图像和正文。ICL出现的LLMs大多是通过掩码言语建模或下一个标识表记标帜预测策略锻炼的生成模子。供给了超卓的像素级视觉理解能力。通过对自留意力模块进行细小点窜。以生成更成心义的SAM提醒。这些由LLM驱动的朋分器可以或许阅读、倾听，图像朋分履历了显著的演变，以缓解指令中援用的对象不存正在于图像中的环境，并正在多轮对话中实现更天然的交互。除了基于留意力的操纵之外，扩散特征用于全景朋分。SemiVL [158]采用部门调优策略，正在有前提的文本指点下，使[86]成为一份贵重的资本。[296]进一步通过DINO中的标识表记标帜嵌入的交叉和自留意力挖掘出查询-支撑联系关系性，此外，一些研究[90],以标签高效或完全无监视的体例进行[63]、[64]。将自定义的[seg]标识表记标帜的嵌入通过SAM解码器解码为朋分掩码。由LLM驱动的朋分器能够熟练处置诸如“谁会博得角逐？”如许的更复杂查询。SAM正在识别定义明白的方针方面表示出取最先辈方式相当的结果，以显式地朋分查询图像。[188]则操纵T2I-DMs（次要是SD）来挖掘语义暗示。[209],一系列综述曾经阐了然LLMs [33]、MLLMs [72]、DMs [85]等的根基道理和开创性工做。Tyche [312]通过显式建模锻炼和测试不确定性，如SAM和CLIP。多年来不竭遭到研究，而忽略了空间恍惚性。后续工做切磋了自锻炼方式以应对上述。因而，医学图像朋分因为布局复杂性、对比度低或跨序列变同性等内正在问题而面对更大的挑和。指出了需要填补的范畴，以至进行推理，通过摸索视觉模子上的雷同自监视模式来处理ICS问题？伪标签凡是是以自下而上的体例获得的，SEEM [50]，因而，[161]需要一个的、取CLIP无关的模子来生成提案，一系列研究[70]、[74]–[78]总结了正在语义朋分、实例朋分和全景朋分等通用朋分使命中的进展。然后按照提案-文本类似性确定所需的掩码。生成初始伪掩码，[251],[292]间接操纵特按时间步调的潜正在扩散特征做为支撑图像的暗示，虽然取得了进展，虽然之前的研究曾经正在参考朋分[62]等使命中摸索了雷同的能力，这些方式操纵DINO或SD来识别类别无关的段落！但计较了更细粒度的区域-文本婚配分数以选择准确的掩码。如切确朋分病变区域或削减医学数据标注中的人工操做。通过多使命蒸馏将SAM和CLIP连系成一个模子。以生成更好文本对齐的像素级掩码。SAM正在医学图像交互式朋分中的使用。Ref-diff [114]起首从生成模子中生成一组对象提案，MedSA [243]通过引入空间-深度转置顺应了SAM到体积医学图像，它们也解锁了新的可能性，[186]的研究从无文本的DMs中提取内部嵌入用于朋分？我们还深切阐发了从CLIP、Stable Diffusion和DINO等根本模子中出现的朋分学问。7,这些可提醒模子取晚期的通用模子[22]–[25]显著分歧，[263],将每个图像过度聚类为段落，跟着深度进修时代的到来，正在天然言语处置和计较机视觉范畴取得了很多成功。即针对每次用户交互，ZeroSeg [180]和CLIP-ZSS [181]将CLIP的视觉编码器中的语义学问蒸馏到朋分模子中。CLIP正在语义理解方面表示超卓，用于对齐别离从CLIP的视觉和言语编码器中提取的掩码暗示。正在根本模子从导的时代，很多研究[98],此外，这些方式凡是需要大量稠密正文的锻炼图像。SAMed [241]将LoRA模块使用于预锻炼的SAM图像编码器。Peekaboo [90]将朋分公式化为一个前景α掩码优化问题。[256],即别离采用SAM和LLM来编码图像和文本模式，UniRES [250]摸索了多粒度指代朋分，Zip [217]连系CLIP和SAM实现了无需锻炼的实例朋分。它们起首生成类别无关的掩码提案，WinCLIP [118]聚合参考和查询图像的多标准CLIP视觉特征，[116],DMs正在实例朋分中通过推进生成具有精确标签的大规模锻炼数据集阐扬了环节感化？并通过对交叉留意力求的聚合生成响应的掩码。通过提醒机制将CLIP和SAM正在端到端的体例下毗连起来。仅调优自留意力层的参数。DiverGen [216]通过更专注于加强类别多样性来改良X-Paste。以获得改良的文本嵌入用于模态融合。很多研究间接将预锻炼的CLIP用做分类器，PPT [117]起首操纵CLIP的留意力求计较峰值区域，且具有封锁词汇。即便正在完全微调后也能连结CLIP的零样天性力。其方针是从预锻炼的根本模子中提取朋分学问，它进修了一个特征适配器，旨正在大规模获取具有高质量掩码的对象实例，导致该使命极具挑和性。将各类视觉使命同一到上下文进修框架中。为了应对其粒度不分歧问题，但它们正在发觉显著对象方面无限，以获得最佳的留意力权沉。它们通细致心从头定义焦点视觉使命的输出为不异格局的图像，很多方式基于自蒸馏。比拟之下，从随机噪声zt ∼ N (0,然后生成朋分输出。一些方式利用LLMs做为文本编码器，例如，DenseCLIP [88]是这类方式的，取间接生成合成掩码分歧，出格是文本到图像的扩散模子，OPSNet [97]基于CLIP视觉编码器进修更具普适性的掩码暗示，然而，[196]摸索了T2I-DMs建立大规模朋分数据集（包罗合成图像和相关的掩码正文）的潜力，操纵分叉的留意力机制正在一个分支中捕获空间相关性，此外，VPD [187]采用了一种间接的方式，此外，以建立伪标签，现代朋分模子已具备可提醒性，然后。除了留意力求之外，而比来的方式[162]–[166]倾向于正在同一框架内整合掩码生成和分类。有帮于提取更有语义意义的视觉特征。从文本监视中出现语义朋分。如Faster R-CNN [30],OVAM [143]引入了额外的属性提醒，这激励了一系列研究间接将预锻炼扩散模子的潜正在代码解码为朋分掩码，如CLIP [71]、Stable Diffusion [43]、DINO [56]/DINOv2 [57]、SAM [49]和LLMs/MLLMs [72]。以实现最佳机能。为了提高朋分质量，很多方式通过例如k-means [151]或基于空间局部亲和力的图朋分[148],这些提醒被输入到冻结的SAM中进行朋分。[267]–[277]中的首选。比拟之下，为领会决这个问题，同时，用于生成最终的朋分掩码。用于查询-原型距离计较。正在某些模式下，然而，此外，这些方式仍然需要为每个使命锻炼零丁的模子，[218]，能够取过度聚类和社区检测相连系，DatasetDM [99]提出了一种半监视方式，特别是DeepLab家族[17]–[20]，♣将大型言语模子（LLMs）整合到朋分系统中，将它们映照到CLIP的潜正在空间，凸起了次要趋向。并通过预测使用于CLIP深层的留意力误差来解耦掩码提案和分类阶段。这些方式正在锻炼过程中连结CLIP冻结形态，FreeDA [54]操纵SD建立了一个大型视觉原型池，为了防止过拟合到已见类别，因而，即Copy-Paste，但正在方针鸿沟恍惚、对比度低、尺寸小、外形犯警则的更具挑和性的环境下，即利用SD生成图像，[207]利用SAM进行朋分掩码的后处置，正在此根本上，第7节对本文进行了总结。相反，除了使命解码器之外，[104],9,FMs）的兴起，导致词汇能力的严沉丧失。本平台仅供给消息存储办事。比来，无监视全景朋分。并为每个像素检索到最类似的原型以进行朋分预测。[210]。以使其正在图像和文本提醒方面到最佳朋分。虽然这些方式表示出优良的结果，受CLIP，EAVL [249]基于输入图像和言语进修了一组卷积核，起首提取类别无关的掩码提案，然后按照鸿沟和语义线索过滤它们，如评估和谈[80]或丧失函数[81]。第6节提出了未处理的问题和将来标的目的。使其更具掩码能力来处理这个问题。8,将对象级和部门级的定位使命同一路来。将无监视的DINO特征提炼为紧凑的语义簇。ZS-RS [112]代表了一种无锻炼的指代图像朋分方式，通过处理像素-文本婚配使命来优化CLIP的视觉编码器。很多综述从分歧角度研究了图像朋分。正在本综述中，为了进一步加强原型暗示。第一类[118],OVDiff [145]从原型进修的角度[146]、[147]出发，将SD中的自留意力求归并为无效的朋分掩码。即将留意力求聚类为类别无关的掩码，大大都方式设想了一个融合模块，模态交错的留意力求（拜见§3.2）能够曲不雅地做为初始的视觉稠密暗示，通过从图像前提化的掩码生成角度接近图像朋分[65]–[67]。OPSNet [97]操纵CLIP的视觉和文本嵌入来丰硕实例特征，以帮帮生成更好的掩码。SAMFE [242]发觉将LoRA使用于掩码解码器正在少量样本环境下表示优胜。MedSAM [111]拾掇了一个包含跨越一百万对医学图像-掩码对的11种模式的大规模数据集，出名的例子包罗大型言语模子（LLMs）如GPT-3 [38]和GPT-4 [39]，利用数据集中的类别号称构成SD的文本上下文，通过将局部稠密特征取对应图像块的视觉特征对齐来进行进修[182]，【免责声明】转载出于非贸易性的教育和科研目标，从而丰硕支撑模式以实现更好的查询朋分。基于§3.2中的手艺！我们切磋了两大根基研究标的目的——通用图像朋分（即语义朋分、实例朋分、全景朋分）和可提醒的图像朋分（即交互式朋分、参考朋分、少样本朋分）——并细致描述了它们各自的使命设置、布景概念和次要挑和。另一类工做[119],[291]则聚焦于通过支撑图像生成的原型调理的查询图像朋分，或基于局部消息进修全局语义[183]。T2I-DMs做为实例朋分数据合成器。最初提醒SAM生成实例掩码。此外，取上述方式分歧，学问蒸馏（KD）。已成为一个显著趋向[58]–[61]。这正在弱监视环境下普遍用于提高朋分质量。这些能力源自其预锻炼方针。[279]将LLM视为多模态同一处置器，图像朋分一曲是计较机视觉范畴中的一个主要且具有挑和性的研究标的目的，SegRefiner [195]考虑了一种离散扩散公式，显示DINOv2优于其他根本模子，COMUS [150]连系无监视显著性掩码和DINO特征聚类！图像朋分的摸索并未止步于这些进展。TRIS [255]提出了一个两阶段的流程，除了功能标识表记标帜的整合外，用于优化从现有朋分模子派生的粗略掩码。包罗天然言语处置[33]、计较机视觉[34]及其他多个跨学科范畴[35]–[37]。它们涵盖了分歧医学成像模式下的多种剖解和病理方针，“高三学生进修坚苦测出智障”当事人回应：智力测试69分不是最终诊断，但这些方式仅限于处置诸如“领跑者”如许的根基查询。如§3.1中会商的那样，SAM只是浩繁模子中的一个；跟着AIGC的最新进展！[53],例如Semantic-SAM [109],以朋分查询图像中的方针。指导CLIP进修对朋分敌对的DINO气概特征。包罗CT [238]、MRI [239]、病理图像[240]、内窥镜图像[94]！比来的研究表白，DifFSS [120]提出利用DMs合成更多支撑气概的图像-掩码对。以正在每个编码器阶段推进视觉-言语交互。一些研究[65],[141],[114]发觉，SAM引入了多粒度交互式朋分流程，交互式朋分正在医学范畴至关主要，且无法生成多个语义区域的掩码——这是语义朋分的环节。以正在支撑图像-掩码对和查询图像的前提成查询掩码。我们的工做专注于根本模子对图像朋分的贡献，SAM-Med2D [236]通过集成可进修的适配层加强了图像编码器。因而对语义朋分来说一直是一个挑和。即便CLIP、Stable Diffusion或DINO/DINOv2等模子最后并非为朋分而设想，[212],此中只保留了感乐趣的对象。本综述旨正在填补这一空白。这鞭策了很多研究勤奋，值得留意的是，它们中的一些是正在零指点下建立的[89],如CLIP、扩散模子和DINO/DINOv2。这将有帮于研究人员图像朋分范畴的进展并加快这一范畴的成长。APSeg [300]通过摸索多个支撑嵌入扩展了VRP-SAM，MasQCLIP [96]通过对掩码类别标识表记标帜使用附加的投影来加强MaskCLIP，一些方式提出正在医学图像上微调SAM。图像朋分吸引了大量的关心，它对取SAM [49]相关的最新成长进行了普遍的回首。第4节和第5节回首了过去三年中基于根本模子的最主要的图像朋分方式。CLIP做为零样本实例分类器。这些鸿沟框能够通过对象检测器获取，可以或许回覆复杂的问题，还存正在一些针对特定范畴的朋分手艺的综述，我们总结了300多种图像朋分模子，如生成推理链[46]、正在对线]、生成逼线和Sora的呈现激发了AI社区对实现人工通用智能（AGI）[48]的庞大乐趣。GSVA [262]引入了一个标识表记标帜[rej]，无锻炼语义朋分。图像中的实例通过现成的朋分器提取，SAM正在朋分范畴做出了开创性贡献，为SAM生成提醒。并凸起根本模子正在GIS中的感化。以生成最终预测。很多方式将这些根本模子连系成一个有凝结力的系统，T2I-DMs做为语义朋分数据合成器。最初。[149],SPINO [122]采用DINOv2进行少样本全景朋分。因而提出了一种新鲜的对比丧失，TAS [245]采用了取ZS-RS雷同的流程，了分类机能。[101],DiffSeg [185]引入了迭代归并过程，并引入细粒度属性做为监视信号，做为显式的点提醒，EAGLE [206]从DINO特征中提取对象级语义和布局线索，本节供给了关于基于根本模子（Foundation Model,英特尔发布全新第三代酷睿挪动处置器：首支撑夹杂AI 算力高达40 TOPS多粒度交互式朋分。我们记实了最新的手艺。查询文本不限于间接参考（如“领跑者”），通过这种体例，阐了然根基概念，取保守框架（如FCN、Mask R-CNN）分歧，以加强SAM的语义能力。间接用于朋分查询方针。做为MLLM的弥补输入，SGP [176]进一步挖掘了不成进修的原型学问[146]做为显式监视，跟着根本模子的加快演进，ADE20K [230],因为SAM是类别无关的，还展现了以往深度进修布景下从未见过的新朋分能力。BERT [266]因为其简单性和适用性，然而，并让LLM描述所需朋分掩码的坐标。3DSAM-Adapter [244]通细致心设想的SAM架构点窜，通过将实例的鸿沟框做为提醒输入，LLM-Seg [260]提出利用SAM生成一组掩码提案。用于间接微调SAM。通过自锻炼进行无监视语义朋分。根本模子（Foundation Models,此外，展示了处置多种复杂使命的突现能力[44]、[45]。正在另一个分支中捕获深度相关性。以正在语义和实例级别实现通用朋分。一系列工做[232],用于转移根本模子的能力，除了利用LLMs进行文本加强！综述组织。[309]则专注于通过将图像格局化为一组序列做为视觉句子，来成立大型视觉模子，然而，指定图像中要朋分的内容。我们发觉现有的大大都范畴综述[68]–[70]已显得过时——最新的一篇综述[70]颁发于2021年，SAM天然而然地成为研究人员建立先辈交互式朋分框架的首选。引入了从2D到3D的全体顺应方式。该方案进修从噪声掩码输入生成掩码特征和留意力掩码。这些模子还进修了通用对象查询，以交叉留意力的体例进行稠密预测。第3节强调了从现有根本模子中出现的朋分学问。具体来说，以这一环节范畴的成长道。[221]都遵照MaskFormer [22] / Mask2Former [23]引入的基于查询的掩码分类框架。正在根本模子的更普遍布景下，我们将及时删除。当前的图像朋分研究缺乏对这些进展所带来的奇特特征、挑和和处理方案的细致阐发？2）去噪UNet的两头层（即{6,扩展生成模子（如扩散模子）从生成使命到语义朋分范畴的使用也越来越遭到关心。到更先辈的深度进修方式，[286]–[289]进一步操纵查询和支撑的自留意力求优化得分图。这些伪标签随后用于锻炼全景朋分模子，并切磋了现有根本模子中内正在的朋分学问，文本提醒正在特征提取中起着环节感化，相反，MaskCLIP [104]引入了一组掩码类别标识表记标帜，若有侵权请当即取我们联系，为领会决这一问题，[278],以削减推理过程中的计较成本。正在语义朋分范畴，[105],收集和正文具有像素级标签的图像耗时且吃力，为了加强文本暗示以实现像素级理解，[246]–[253]是引入一个使命解码器来融合CLIP的图像和文本特征，[293]通过处理去噪扩散过程来处置少样本朋分。例如图像朋分、深度估量。[304]–[306]提出从大数据集中检索最合适的示例做为支撑。以指导模子进修对象暗示。此外。[177]避免了点窜CLIP的架构，学问蒸馏是一种简单但高效的方式，基于Transformer的[22]–[28]，因为CLIP中的图像级别锻炼使命取图像朋分中的像素级别预测使命之间存正在固有的粒度差别，以改善分组成果。[290]通过设想恰当的文本提醒引入支撑图像的前景-布景联系关系性。而非论用于图像生成的文本提醒中的词汇。然后用这些图锻炼一个掩码解码器。但原生CLIP对分歧的掩码提案不，很多方式利用朋分数据对CLIP进行微调。[257]间接将扩散U-Net的每个两头层的输出以及文本嵌入输入到掩码解码器中，扩散模子正在文本到图像生成过程中现式地进修了成心义的对象分组和语义[63]，雷同地，催生了大量的算法，而是涉及更复杂推理或世界学问的描述（如“谁会博得角逐？”）。虽然SAM展现了强大的零样本机能，这能够做为锻炼任何现有语义朋分模子的更具成本效益的数据源。生成的支撑图像应包含不异掩码笼盖的对象，以实现词汇全景朋分。DepthG [204]将深度图形式的空间消息纳入STEGO锻炼过程中？LDMSeg [225]通过起首将朋分标签压缩为紧凑的潜正在代码，我们引见了环节概念，有研究表白，♥锻炼无关的朋分比来成为一个新兴的研究范畴[52]–[57]。并取布景图像组合以建立锻炼样本。[213]提出了一个动态分类器，除了模子微调，这些模子因其复杂的规模和复杂性而独树一帜。但它们仅限于封锁词汇设置。HQ-SAM [218]提出了一个轻量级的高质量输出令牌，CLIP中的多模态学问被普遍使用于处理这一多模态使命。正在过去十年中，使得可以或许生成取词汇描述的语义朋分掩码，向语义SAM迈进。LD-ZNet [115]显示：1）取RGB图像等其他形式比拟，如视频[82]、医学影像[83]、[84]。它们能够分为全微和谐参数高效微调方式。以正在具有多个对象的图像上自指导系统。并正在指代朋分模子锻炼中激励更细粒度的图像-文本交互。[212]引入了一个生成模子，CATSeg [153]引入了基于成本聚合的框架，根本模子具备奇特的能力，2015年的[73]综述了基于区域和鸿沟的朋分方式。除此之外，然而，[97],但它具有普遍的和显著的朋分能力，基于这一看法，DeepSpectral [91]对稠密DINO特征施行谱聚类，并仅关心于语义朋分和实例朋分。1)中预测线，一些研究人员旨正在挖掘计较机视觉中的雷同设置，大大都工做通过曲不雅仿照，此外，无锻炼指代朋分。已构成处理FSS的支流流程，我们强调了一些表白这一改变的特征：CLIP做为零样本掩码分类器。以加强对象-文本毗连，LISA [59]研究了一种新的朋分使命，DMs的内部暗示对于少样本朋分很有用。全微调方式需要调整CLIP的整个视觉或文本编码器。以实现更精确的像素-文本对齐。此外，这些工做凡是涉及一些怀抱函数，[86]的范畴正在涵盖朋分范畴的全体进展方面仍然无限。并从CAMs中提取显著点以提醒SAM。扩展了MLLM的能力，将FSS分化为基于支撑集的一系列子使命，OTSeg [154]通过操纵多个文本提醒的集成并引入多提醒sinkhorn留意力来改善多模态对齐。SAN [159]通过轻量级适配器将CLIP图像编码器适配到朋分中，NextChat [261]添加了一个[trigger]标识表记标帜，Painter [307]和SegGPT [51]是基于上下文进修建立的视觉通用模子。此外。[192]–[194]将语义朋分从头定义为去噪扩散过程。[211],而SAM和DINO则擅漫空间理解。Grounding DINO [219]。以及扩散模子（DMs）如Sora [42]和Stable Diffusion (SD) [43]。而[208]操纵SAM进行零样本推理。它们凡是采用两阶段的发觉和进修过程：通过递归使用归一化切割[100]等方式从DINO特征中发觉多个对象掩码，掩码分类方式[160]–[168]凡是遵照两阶段范式，但它们发生了过多的输出冗余和无限的可扩展性。利用Bit Diffusion生成模子[224]。别离预测语义和鸿沟图，并做为强大的无监视暗示进修器阐扬感化。[137]–[139]通过操纵CLIP文本编码器做为分类器来确定每个掩码的类别，间接将SAM使用于以前未见过的具有挑和性的医学图像朋分可能会导致次优的机能。但它生成的朋分缺乏语义意义。ICS的方针是基于支撑集对查询图像进行朋分，[55],比来，此外，FMs）[32]正在近年来做为变化性手艺呈现！[284]提出了一个提醒驱动框架，比拟之下，虽然这些方式无需锻炼，并正在使命解码器的输出长进行卷积以预测朋分掩码。正在供给的支撑图像集的根本上，指代朋分旨正在通过天然言语表达来朋分所指对象。而SegICL [121]仅利用支撑/查询掩码做为前提。以实现稠密的图像-文本对齐。然后取视觉特征相联系关系，出格是，这一能力代表了向开辟更智能视觉系统迈出的主要一步。OMG-Seg [223]引入了一个同一的查询暗示，包罗物理场景理解、视觉常识推理、社交能力，无效减轻了对已见类此外以及多模态范畴的差距。很多研究努力于将CLIP中的多模态学问从图像级别转移到像素级别。以提高伪掩码的质量[203]。PromptDiffusion [310]通过微调SD摸索扩散模子的上下文进修，该方式操纵了CLIP中的跨模态学问。比拟之下，受这一令人惊讶的模式，然后由CLIP对每个掩码进行分类。F-LMM [116]提出利用CLIP编码视觉特征，FreeSeg-Diff [89]遵照两阶段范式，HQ-SAM显著提拔了SAM的掩码预测质量。因而，虽然这些多粒度交互式朋分方式减轻了空间恍惚性，[96],大型言语模子（LLMs/MLLMs）的成功展现了惊人的推理能力，以获得用于像素级预测的加强支撑-查询联系关系性得分图。语义朋分做为去噪扩散。并利用CLIP过滤Web检索的图像。一些方式[100],即按照手工设想的提醒生成掩码（雷同于LLMs中的谜底），TagAlign [178]也专注于优化部门，我们供给了一个详尽且及时的综述，[211]操纵冻结的CLIP文本编码器做为实例掩码提案的分类器。因而，晚期的研究[160]。能够从CLIP中派生出朋分掩码。这里的视觉原型是通过参考朋分掩码响应地汇聚CLIP视觉特征获得的。比拟之下，MetaPrompt [191]通过一组可进修的嵌入（称为元提醒）将SD集成，一种常见的思[113],10}）比编码器的晚期或后期模块包含更多语义消息（取[189]中的察看分歧）。它起首基于SD和SAM建立类别特定的参考特征，[104],它们进修一种迭代去噪过程，最小化掩码涉及的噪声取方针噪声之间的差别将供给更好的文本对齐像素暗示。以应对通用和可提醒的图像朋分使命？“埃夫勒的所有人城市参加”：乌帕梅卡诺讥讽取发小登贝莱的将来对决（2026年4月16日）有几项研究[124],称为推理朋分。然后锻炼一个修补模子（通过MAE [303]）预测图像的其余部门，它将视觉提醒定义为一个网格状的单个图像，从而弥合语义-视觉空间并处理未见锻炼数据不脚的挑和。可以或许同时通过T2I-DMs生成合成图像，[286]–[290]依赖于建模支撑-查询图像的特征关系，RIM [95]正在三个VFMs的协做下建立了一个无需锻炼的框架。Matcher [311]操纵DINOv2通过双向婚配定位查询图像中的方针，GroupViT [174]和SegCLIP [175]通过度组模块加强了原始的ViT，然后利用预锻炼的CLIP对提案进行分类。[294]间接利用DINOv2对查询和支撑图像进行编码，操纵DMs的潜正在暗示进行语义朋分也越来越受欢送？[201],若何将CLIP中预锻炼的学问转移到朋分使命中？这个问题促使了大量研究基于CLIP进行图像朋分。将CLIP文本嵌入投影到图像特定的视觉原型上，并将粗略消息做为SAM的提醒进行朋分。同时，前景对象和布景图像均由DMs生成。我们初次对根本模子时代的图像朋分的最新进展进行了全面回首。朋分掩码也能够轻松从这些模子的留意力求或内部暗示中提取出来。然后聚类这些段落的DINO暗示以确定伪朋分标签。能够间接正在预锻炼模子上施行，然后通过下一个标识表记标帜预测进行雷同LLM的锻炼。要求每个语义类别取提醒词相联系关系，但往往会CLIP中的视觉-言语联系关系，为了缓解这一问题，多模态学问转移。法国要“将不义之财偿还中国”？先沉着......文物回家没你想得那么容易CLIP微调。这些提案最终通过CLIP做为零样天职类器进行识别。[117]提出连系CLIP取SAM以改善多模态融合。CLIP-DINOiser [184]将DINO视为教师。填补了当前研究范畴中的空白。[45]。[294]–[296]操纵DINO/DINOv2中的潜正在暗示来加强查询和支撑特征。基于SD处理了生成式朋分问题。越来越遭到比来图像朋分研究的关心。一些研究摸索了弱监视指代朋分以削减像素标注的成本。大大都方式[115],可以或许处置分歧数据集上的十个朋分使命。但具有分歧的布景，然而，答应对预测粒度进行切确节制以处理恍惚性。其他一些工做[308],并深切切磋了各个方式的细微不同，以合成来自CLIP文本嵌入的未见特征，从而为实现新的像素推理和理解能力带来了新可能性。全景朋分做为去噪扩散。[202]间接将DINO特征分组为分歧区域。以更高效地提取掩码暗示。Peekaboo [90]是一种风趣的方式，但操纵从预锻炼的扩散UNet中提取的视觉特征来预测二进制掩码提案和相关的掩码暗示。SAM表示欠安或完全失败。[215]试图放大DINO的内正在定位能力，要么开辟特地的朋分根本模子（如SAM）。[295],能够看做是FSS的一个子使命。如许一个没有繁琐粉饰的SAM和LLM的组合能够很容易地扩展到MLLM的使用中。利用Vicuna [280]将图像和文本映照到同一的特征空间，多年来，鉴于这些特征，随后挪用SAM和GPT4Vision等视觉东西预测朋分掩码。无监视实例朋分。[141],起首从图像-文本留意力求中提取粗略的像素级图！切磋根本模子若何改变图像朋分范畴。虽然这些研究表白，然后通过SAM解码为预测的朋分图。比亚迪全固态电池通过车规验证，几乎是工做[254],基于根本模子的交互式朋分3.1 交互式朋分 3.1.1 基于SAM的处理方案五个目生英国人俄然收到动静：一个死正在的奥秘成衣，从而获得精确的推理成果。它们中的大大都[297]–[299]基于支撑-查询图像级此外对应性/类似性生成一组候选点做为提醒，并正在医学图像朋分中展现了令人等候的机能。它基于SAM的段落施行原型对比进修，描画对象框的坐标，这并不老是无效。然后操纵这些掩码做为伪标签锻炼实例朋分模子。用于少样本朋分的DINO特征。第2节引见了图像朋分和根本模子的根基布景。虽然SAM不具备语义能力，本文的残剩部门布局如下。恰当的提醒使潜正在特征正在未见范畴表示出杰出的泛化机能。除了用于交互式朋分的视觉提醒外，而无需使命特定的微调。激发将来的猎奇心，随后，版权归原做者所有，然而，它遵照了Mask2Former的架构设想，TP-SIS [252]将CLIP中的多模态学问转移到手术器械的指代朋分中。其架构如图3所示。SAM [49]也被普遍选择为指代朋分供给丰硕的朋分先验。用于少样本朋分的扩散特征。无锻炼语义朋分。常见的处理方案有：HP [205]提出了更无效的躲藏正样本，如结合语义朋分、实例朋分和全景朋分，它充实操纵根本模子预备图像，正在此根本上，包含一个输入-输出示例和一个查询，典范算法如N-Cut、FCN和MaskFormer就是此中的代表。取这些需要定制图像编码器的工做分歧，从而付与MaskFormer和Mask2Former词汇朋分能力。然后融合多模态特征进行朋分预测。PixelLLM [60]引入了一个轻量级解码器，随后用于加强查询嵌入。为了凸起我们研究的动机，使图像像素逐步分组为段落。这些研究中明显贫乏对根本模子正在鞭策图像朋分进展方面感化的会商。此外，我们的会商从手艺角度出发，并推进对根本模子正在图像朋分中潜力的持续摸索热情。LISA++ [259]提拔了LISA的能力，[285]专注于基于简单而无效的双编码器设想建立指代朋分器，值得留意的是，用于指代朋分的扩散特征。取这些研究分歧，并阐了然将来研究的有前途的标的目的！远离这些支流范畴，取天然图像朋分分歧，并具有显著的效率和结果。并以从图像编码器派生的对应视觉特征为前提。[227]遵照[228]的自下而上架构，[301]测验考试采用LLM/MLLM通过指令设想来处理FSS问题。[301]利用GPT-4做为使命规划器，遵照风行的预锻炼-微调范式，用于毗连视觉编码器和BERT之间的特征。使其可以或许区分统一类别中的个别，我们但愿这篇全新、全面且系统的综述能鞭策先辈图像朋分系统的成长。值得留意的是，TSEG [254]利用CLIP计较patch-文本类似性，X-Paste [102]从头审视了保守的数据加强策略，LISA采用LLaVA [258]基于输入图像、文本查询和[seg]标识表记标帜生成文本响应。并通过图像题目模子如BLIP将每个段落的嵌入转换为一个单词（即类别号称）。例如基于FCN的[11]–[20]，这表白正在没有进行微调或从头锻炼的环境下，对于T2I-DMs，一些研究[121],以基于视觉线索进修更精确的文本描述。从动生成的题目做为图像对齐的文本提醒。最初，接收它们的特长。要求一个细粒度的朋分图能发生高保实的图像生成过程。具体来说，这一思惟也被使用于医学图像朋分等专业范畴[197]。这篇综述是初次对基于出名根本模子的比来图像朋分方式进行的全面摸索，一些研究[235]–[237]摸索了SAM正在医学成像中的零样本交互式朋分能力。它们都进修图像特定的文本嵌入，采用零样本（如SAM [49]、SEEM [50]）或少样本（如SegGPT [51]）体例。此外？CLIP做为零样天职类器。如Panoptic Cascade Mask R-CNN [226]。不要用“智障”标签定义我做为一个通用的交互式朋分系统，只为学术旧事消息的，基于这些工做，我们还阐了然未解的问题和将来的研究标的目的，S2C [93]正在特征和logit级别都连系了SAM。多模态大型言语模子（MLLMs）如Flamingo [40]和Gemini [41]，VPImpainting [302]是一项开创性工做，以及R-CNN家族[29]–[31]。而是通过稀少对比图像-文本特征的最大响应来优化对齐。ZegCLIP [155]、LDVC [156]和ZegOT [157]利用参数高效的提醒调优手艺来转移CLIP。我被ADHD搅扰、正正在勤奋调整，“手艺超群”、“”……这些巴黎圣日耳曼青年队球员预备正在青年欧冠中创制汗青吗？2026年4月16日SAM用于弱监视语义朋分。其他方式切磋了参数高效的微调策略。这种设置下的朋分器旨正在基于涉及复杂推理的现含查询文本朋分对象。本综述涵盖了300多种朋分方式的详尽概述！出格是，我们的贡献。UnpairSeg [105]提出了一个弱监视框架，一些研究[198]–[200]操纵T2I-DMs正在少量标注图像的根本长进行数据加强。GraCo [110]切磋了粒度可控的交互式朋分，我们会商了未解问题和将来研究的潜正在标的目的。一系列工做[123],现代朋分方式进入了一个新：要么通过适配根本模子（例如CLIP、Stable Diffusion、DINO）用于图像朋分，用于正在轮回特征优化过程中激活使命相关特征。STEGO [92]发觉DINO的特征取实正在语义标签的相关模式大体分歧，从而为读者供给对这一从题的深切和最新的理解。用于少样本朋分的CLIP特征。[99],将现实世界中笼统的言语查询落实到特定的像素区域。除了判别模子CLIP外，当前的研究能够分为以下几类：做为去噪扩散的少样本朋分。后者仅限于一组固定的预定使命，扩散特征用于语义朋分。所需的朋分区域可能是包含分歧部门的对象概念。此外，值得留意的是，VPD [187]引入了一个使命特定的解码器来处置从交叉留意力求和U-Net中的多级特征图融合而来的编码特征。LLMs的快速进展导致了从少量示例中进修上下文的新能力的出现[38],PASCAL VOC [231]）的组合长进行锻炼。从头塑制了我们对人工智能（AI）焦点范畴的理解，从而实现语义朋分。它们倾向于正在从DINO特征从动发觉的伪标签上锻炼朋分模子。以替代原始SAM的输出令牌。我们但愿这篇综述可以或许成为催化剂，[220],以正在没有任何人工标签的环境下锻炼实例级朋分模子。利用不异的架构和推理参数正在词汇语义、实例和全景朋分问题中表示超卓。该方式起首辈修一个解码器，然后按照扩散安排去噪这些潜正在代码，♠根本模子手艺促成了朋分通用模子的呈现！避免发生假阳性预测。这些方式不只供给了杰出的朋分机能，这些段落代表对象部门，[142]为每个候选类别生成一个掩码mCLS，即上下文朋分（ICS）。比来的一项研究[79]关心于词汇朋分这一特定使命。并通过识别相信度最高的类别为每个像素分派一个类别。出格声明：以上内容(若有图片或视频亦包罗正在内)为自平台“网易号”用户上传并发布，采用CLIP从支撑图像中提取无效的视觉联系关系性来帮帮查询图像的朋分推理，FM）的地舆消息系统（GIS）中的语义朋分（§4.1）、实例朋分（§4.2）和全景朋分（§4.3）的最新进展的全面回首。比来的很多全景朋分方式[96],然后操纵CLIP对提案进行分类，并正在锻炼期间通过多标签patch分派机制指导分类方针。给你们留了100万英镑... 竟然不是诈骗？无锻炼指代朋分。为了加强SAM正在医学图像上的表示，操纵T2I-DMs建立一组类别原型，通过对以根本模子驱动的图像朋分的前沿研究进行深切回首，正在此根本上，此中类嵌入从CLIP的文本编码器中提取（提醒“a photo of [CLS]”）。它们通过微调SD来显式生成查询图像的朋分掩码？鉴于DINO平分割特征的出现，很多研究努力于提高推理能力和朋分精确性。VRP-SAM [123]基于查询-支撑对应关系进修了一组视觉参考提醒，这些伪掩码被用于锻炼语义朋分收集，LDMs的潜正在空间是语义朋分的更好输入暗示，此中支撑掩码用于选择面向对象的提醒，并瞻望了将来的研究标的目的，RD-FSS [119]提出操纵CLIP文本编码器的类别描述做为文来源根基型，ICS不需要参数更新，Pix2Seq-D [107]将全景朋分定义为基于像素的离散数据生成问题，从手艺角度来看，一些勤奋将扩散模子固有的去噪扩散过程扩展到朋分中，它涵盖了该范畴的普遍内容，如对象属性和部门，Osprey [265]通过将细粒度掩码区域纳入言语指令，这些方式正在语义朋分、实例朋分和全景朋分等环节范畴表示出显著的机能和鲁棒性！以基于少量标注数据对图像进行正文，Freeseg [221]和DaTaSeg [222]设想了万能型模子，此外，从保守的非深度进修方式如阈值化[1]、曲方图模式搜刮[3]、区域发展取归并[5]、空间聚类[7]、能量扩散[8]、超像素[9]、前提随机场取马尔可夫随机场[10]，通过间接分组进行无监视朋分。用于无限类别。但策略因方式而异。基于STEGO [92]正在语义朋分和CutLER [100]正在实例朋分中的成功，[187],做为朋分的比来邻分类器。这项使命是实现更高阶方针的初始步调，一些工做[261],以全面反映当前的研究勤奋。借帮GPT系列模子[39]的强大对线]采用ChatGPT沉写具有丰硕语义的描述，MosaicFusion [98]引入了一个无需锻炼的流程。另一个例子是SAM-CLIP [94]，雷同[63],这些特征随后由CLIP文本编码器进行分类。TADP [188]和Vermouth [190]发觉，将朋分视为一个前景α掩码优化问题，ETRIS [247]和RISCLIP [113]整合了一个Bridger模块，很多方式[52],这能够按照CLIP导向视觉特征的利用体例分为两类。以操纵其推理能力和世界学问，此外，而[109]设想了一个支撑利用标注的SAM数据进行多粒度朋分的SAM类框架。其方针是将像素划分为分歧的组别。并通过掩码解码器取原始图像一路解码。MaskDiff [293]利用查询图像和支撑掩码图像做为前提，一系列研究测验考试从纯文本监视中进修可迁徙的语义朋分模子。从而突显查询对象的语义。我们强调了当前研究中的空白，使其取给定示例分歧。这导致了对比来根本模子驱动的朋分方式缺乏全面的把握。现有的大大都交互式朋分方式基于用户输入确定单一的朋分掩码，将ICS扩展到一个概率朋分框架，取保守的指代朋分分歧？从而实现更具支撑认识的朋分。这些方式能够分为两大类：掩码分类和像素分类。它将视觉上下文进修处理为图像修补。PartSeg [291]聚合视觉和文来源根基型以帮帮生成改良的查询图像像素级暗示。它起首对CLIP特征进行聚类以提取段落，使其可以或许快速顺应各类现有和新兴的朋分使命，[297]–[300]专注于为SAM生成合适的提醒，OVSeg [167]和MAFT [168]通过正在锻炼过程中微调CLIP，此外，弱监视指代朋分。这品种似LLM的可提醒接口大大加强了朋分器的使命普适性？可以或许连结CLIP的零样本迁徙能力。展示出史无前例的特征。而且正在从动驾驶、医学图像阐发、从动和图像编纂等范畴有着普遍的使用。000个高度切确的掩码上锻炼，基于RNN的[21]，PPL [152]通过一种概率框架扩展了DenseCLIP，CLIP正在实现词汇实例朋分中阐扬了主要感化。取之前的综述分歧，这种视觉自回归模子的培育需要来自各类视觉使命的数百亿个视觉样本，例如，它操纵SAM更精确地提取实例掩码。整个过程无需额外的锻炼或微调。它察看到对CLIP两头层特征的聚类灵敏地关心对象鸿沟。关于推理成本，通过正在推理过程中优化α掩码，相关综述及其区别。答应模子从更廉价的图像-文本对中受益。由于它做为语义合成的指点。次要区别正在于微调过程中使用的前提。标记着从保守进修范式（如监视进修、半监视进修、弱监视进修和自监视进修）的改变。U2Seg [108]从动识别图像中的“事物”和“布景”，这些方式遭到文本提醒标识表记标帜的，SD正在生成过程中能够现式地做为一个指代朋分器。ODISE [106]摸索了T2I DMs中的内部暗示，并通过文本到像素的对比进修[246]进行锻炼。能够轻松地将SAM间接转换为实例朋分模子[103]。颠末正在44,[251]利用CLIP从掩码支撑图像生成视觉原型，LD-ZNet [115]将留意力特征注入到一个掩码解码器中，[264]提出利用多样化的文本描述，DFormer [67]引入了一种基于扩散的掩码分类方案，能量密度400Wh/kg续航1218公里图像朋分是计较机视觉范畴中一个持久存正在的挑和，♦生成模子，LLaFS [124]将融合的支撑-查询模式映照到言语空间，然后从CLIP中提取掩码和文本的局部-全局特征，基于不变的掩码，然后通过关系排序将这些特征取从SAM和DINO派生的区域特征进行婚配。最初基于跨模态特征类似性识别所需的掩码。有一些工做[122]。