云开体育

这项议论由大连理工大学、Alaya Lab和东京大学聚拢完成，以预印本样子发布于2026年7月13日，论文编号为arXiv:2607.11523。有酷爱真切钻研的读者可以通过该编号在arXiv平台查阅完满论文。

你有莫得这么的资格：正在厨房忙着作念饭，却已而忘了我方把盐放在那处；或者拿着螺丝刀修东西，却意志到我方其实需要扳手；又或者一个蹙迫的任务作念到一半，被别的事情打断之后统统健忘。这些日常小困扰，大大皆情况下皆只可靠我方搞定，因为你身边的助手——不管是手机上的语音助手如故智能音箱——皆在等着你启齿提问，而不是主动帮你属意这些细节。

来重生连理工大学、Alaya Lab和东京大学的议论团队合计，这种"等你提问才回答"的助手模式实在太被迫了。他们念念打造一种新式助手，能像一个贴心的活命布告一样，通过赓续不雅察你正在资格的一切，在合适的时机主动启齿提醒、纠错或建议——而不是等你问了才说。这个系统被定名为Vinci2，是他们早前议论贬抑Vinci的升级版。统统形状包含两大中枢贬抑：一个叫EgoServe的评测基准，以及一个叫EgoMemo的智能代理模子。

一、为什么"等你提问"的助手依然不够用了

把助手比作一个跟在你身边的布告，现存的大大皆AI助手只可算是"管待员"——你走往日说"我需要匡助"，他才动手职责。议论团队把这种模式叫作念"被迫范式"，用大口语说即是：你不问，我不答。这种模式的问题在于，许多时候你甚而不知说念我方需要匡助，比如你根柢没意志到我梗直在用失实的方式削洋葱，或者你依然好几天每晚熬夜刷手机这个民风正在影响你的健康。

现存的另一类尝试略微朝上了一些，叫作念"半主动范式"。这类系统会在你一动手就告诉它"我要作念红烧排骨，帮我盯着门径"之后，自动监控你的操作并在要津节点给出领导。但问题是，这种系统的视线额外局限——它只可根据你最初给的任务指示行动，而且只可看到当下这一刻的画面，统统不睬解你这两天、这几个月的行动轨则，也莫得才略判断"这个时候惊扰你是否合适"。

议论团队建议的第三种范式，才是他们实在念念作念的事情：统统主动的助手。这种助手就像一个跟了你多年的老一又友，对你的民风、偏好、刻下现象皆了如指掌。它不需要你给出任何指示，就能我方判断"当今这个情况，我应不应该话语、说什么、怎样说"。这才是Vinci2念念要罢了的贪图。

二、先把"测验题"联想好——EgoServe评测基准的出身

在你入部属手打造一个聪慧的系统之前，你起原得有目的预计它到底有多聪慧。议论团队发现，现存的通盘视频强健测试题，要么是给你一段剪好的视频片断问你"这段视频讲了什么"，要么是让你在固定任务框架下评价系统的反应，莫得任何一套测试题是有利用来检会"AI在一语气不雅察你的日常活命时，能不成在正确的时刻主动帮你"这件事的。于是他们我方联想了这套测验——EgoServe。

EgoServe的底层素材来自三个现实场景的第一视角视频数据集。第一个是EgoLife，纪录了真实参与者一语气多天的日常活命，从早上起床到晚上休眠，时长跨越几天甚而更长，议论团队从中选取了三位参与者前五天的摄像。第二个是HoloAssist，纪录的是有东说念主率领下的实验操作任务，比如拼装诞生、配置电子产物，这些视频标注了每个操作门径、失实点和素养的校阅时机，一共挑选了191段考据视频。第三个是CaptainCook4D，有利纪录了东说念主们按照食谱烹调的过程，其中既有正确操作也有刻意成就的失实操作，掩饰24种菜谱，选取了87段有明确失实标注的视频。

这三个数据来源合在统统，掩饰了从几分钟到好几天的不同手艺圭臬，为EgoServe提供了丰富种种的现实场景基础，统统基准诡计卓越3000条服求实例，视频总时长约128小时。

EgoServe把助手能提供的匡助分红了四个档次，每个档次对应不同的时分跨度，就像是不同"驰念深度"的考题。最浅的一层叫即时做事，助手只需要看清当下发生了什么就能行动，比如你正在徒手搓刀刃，它坐窝提醒你防卫安全，或者你在用一把不对适的器具，它建议你换一个更顺遂的。这类做事检会的是对刻下画面的快速感知才略。

稍深一层叫短期做事，需要助手记着往日几分钟内发生的事情。比如它看到你刚才把盐放进了锅里，但你当今又提起盐罐准备再加，它就该提醒你不要放重了；又比如你刚完成了一说念工序，它可以趁势领导你下一步该作念什么；或者你半途犯了个操作失实，它帮你校阅记忆。

再深一层叫情节做事，需要助手记着几十分钟甚而几个小时前的事情。比如你之前动手了一个任务但还没作念完就去作念别的事了，等你空下来，它提醒你阿谁没完成的事情；或者你当今的处境让之前某件事变得蹙迫，它帮你把那件事从驰念里调出来。

最深的一层叫永远做事，需要助手跨越多天甚而多个举止场景进行预想。比如它发现你一语气好几天每次开会皆忘了带条记本，于是主动建议你养成一个新民风；或者它把你今天的情况和三天前发生的某件事规划起来，给你一个有配景依据的提醒。

在这四个时分档次之内，EgoServe又把具体的做事细化成了十个子类别，永别是安全提醒、器具建议、失实校阅、资源领导、门径辅导、任务提醒、驰念回溯、民风率领、日常优化和跨日关联。这十类做事掩饰了东说念主在日常活命和操作任务中最常见的需求场景，组成了一套相当全面的考卷。

EgoServe评测一个AI助手的犀利，从两个维度来看。第一个维度是时分精确度：助手提供匡助的时机是否准确？它不成太早（事情还没发生），也不成太晚（依然无法辅助），必须在一个合理的时分窗口内出现，而且提供的是正确类别的做事。第二个维度是内容质料：助手说的话是否确切灵验、是否贴合其时的情境？这部分由大型语言模子担任评判官，对生成的恢复打1到5分。

三、给AI装上一个"三层驰念系统"——EgoMemo的联想旨趣

搞定了"怎样测验"的问题之后，议论团队入部属手联想能通过这套测验的AI助手，这即是EgoMemo。它最大的特色是统统不需要有利锻真金不怕火，而是通过小巧的驰念结构和信息检索机制来罢了主动匡助。

把EgoMemo的职责方式比作一个训导丰富的私东说念主宰家，这位管家随时随着你，用三本不同粒度的记事本纪录你的活命，随时翻阅这些纪录来判断是否该主动向前话语。

第一册记事本纪录的是最精细的细节。每隔一小段时分，管家就把这段时分里发生的一切用笔墨形容出来，标注好时分，何况保存几张要津的画面截图。对EgoMemo来说，这些笔墨形容是通过一个视觉语言模子自动生成的，针对每一小段视频（比如30秒一段）产生细心的笔墨形容，纪录下你的手在作念什么、你看到了什么、周围有什么物品，酿成所谓的片断级形容库。

第二本记事本是中等粒度的。每隔几分钟，管家会回想一下最近这段时分的细节纪录，把它们压缩成一段连贯的举止形容，比如"这个东说念主往日五分钟一直在准备食材，依然切好了洋葱和胡萝卜"。这些举止级节录既保留了富足多的灵验信息，又大幅减少了需要处理的笔墨量，让助手能对最近的行动有个全体把执。

第三本记事本纪录的是最宏不雅的视角。每隔更长的时分（比如一个小时），管家会再把举止节录进一步浓缩，酿成对统统时分段的高级次形容，比如"今天上昼这个东说念主在厨房待了两个小时，烹调、清洁瓜代进行，手艺还接了两个电话"。这些会话级节录匡助助手强健用户在更永劫分圭臬上的行动模式。

光有这三层笔墨纪录还不够，因为有些信息用笔墨很难形容明晰，比如某个物品长什么样、放在什么位置。于是EgoMemo还爱戴了一个视觉画面档案，把每段视频的要津截图周折成机器能强健的数字向量（可以强健为每张图片的"数字指纹"），归档备查。当助手需要找"和这张图片长得差未几的往日场景"时，就能通过比对数字指纹快速定位。

除了这些驰念以外，EgoMemo还同步爱戴着一张束缚成长的干系收罗图。每次生成新的笔墨形容时，系统会自动索求出内部出现的东说念主物、物品、所在，以及它们之间的干系，把这些信息添加到一张语义干系图中。比如"刀放在厨房台面上"、"盐罐在橱柜第二层"、"张三昨天提到过要开会"——这些零碎的学问点皆被组织成一张互规划联的学问收罗，便捷助手在需要时快速找到规划联的信息。

四、判断该不该启齿，以及怎样找到规划驰念

每当一段新的视频片断到来，EgoMemo的推理部分就动手职责。它先看一眼最新的画面形容，勾通最近的举止节录，自问一个问题："刻下这个情况，我需不需要主动说点什么？"要是谜底是不需要，就络续静默不雅察；要是谜底是需要，就干与下一个阶段——决定去那处找撑持这个判断的配景信息。

这里的要津挑战在于，仅凭当下这一刻的不雅察，助手不时无法给出高质料的建议。就像一个新来的管家看到你在翻抽屉，不知说念你是在找钥匙如故找胶带，更不知说念你今天之前有没灵验过这个抽屉里的东西。但一个跟了你多年的老管家，会坐窝念念起你早上外出前把备用钥匙放进了这个抽屉。这种"历史配景"即是需要从驰念中检索的信息。

EgoMemo通过三条并行的检索通说念来找这些配景信息。第一条是笔墨相似度检索，它把刻下的问题周折成一个搜索要津词，在三层笔墨驰念里找出最规划的段落——无论是几分钟前的细节形容，如故几个小时前的举止节录，皆在检索范畴之内。第二条是干系图检索，它从问题中索求出要津的实体词（比如"钥匙"、"抽屉"），在干系图中找到这些词节点，再顺着图上的连线蔓延到相邻的规划信息，这么即使问题用的词和正本纪拜托的词不统长入样，也能找到语义上规划的内容。第三条是图像相似度检索，它把笔墨形容先周折成视觉特征形容，再用这个形容去比对视觉档案里通盘截图的数字指纹，找出画面上最相似的历史时刻。

检索收尾后，三条通说念的贬抑被集聚起来，但这里还有个难题：干系图检索和图像检索复返的只是一些片断的索引编号，而不是可以径直阅读的笔墨。为了让推理部分能普通使用这些信息，EgoMemo增多了一个"形容重建"门径——把检索到的图片和原始笔墨片断统统喂给视觉语言模子，让它用通顺的笔墨再行形容"在这段检索到的历史时刻里，发生了什么"。这个门径就像是让管家不仅找到了那页纪录，还把它翻译成了一段说得明晰的话，排斥了种种代词混用和视觉细节缺失的问题。

终末，当下画面的形容、三条通说念检索到的配景信息、以及重建后的历史证明，全部集聚给推理模块，由它作念出最终判断：要不要启齿，以及说什么。统统经过既可以在主动模式下运行（助手我方判断是否该说），也可以在被迫模式下运行（用户主动提问，助手去检索历史配景往来答）——两种模式共用团结套架构，不需要作念任何修改。

五、系统有多聪慧——用数据话语

议论团队在EgoServe上测试了EgoMemo，同期也拿当下最强的几个商用大模子作念了对比，包括OpenAI的GPT-5-mini和Qwen3-VL-Plus。

对比贬抑明晰地展示了主动匡助这件事有多难。Qwen3-VL-Plus径直在情节级和永远级做事上接近扫地外出——因为它根柢莫得历史驰念可供调用，碰到需要回忆几小时前甚而几天前信息的情况，统统无法可想。GPT-5-mini情况稍好，全体得分4.7，在即时安全提醒和门径辅导这类只需要看刻下画面的任务上施展还算过得去，但在永远做事上一样险些全部交白卷。

EgoMemo的全体F1得分达到了8.0，险些是GPT-5-mini的两倍。最显耀的升迁出当今那些需要跨时分驰念的做事类别上：跨日关联得分从两个基准的0分升迁到了4.9，日常优化得分达到了11.8，而基准模子在这个类别上一样是0分。在情节级做事上，EgoMemo在驰念回溯和任务提醒两个子类皆赢得了非零得分，而至少有一个基准模子在其中一类上得了0分。关于顺利匹配到正确时分窗口的预计，内容质料评分平均为2.8分（满分5分），全体质料处于合理水平。

议论团队还作念了一组拆解实验，把EgoMemo的各个组件一个一个拿掉，看会发生什么。把三层时分驰念系统简化成只消一层细节纪录，全体得分从8.0降到7.0，跨日关联得分从4.9跌到1.9，日常优化得分从11.8减半到5.7，讲明注解分层驰念对跨时分推理至关蹙迫。把形容重建门径去掉，全体降到6.6，驰念回溯和跨日关联皆跌到0分，讲明原始检索贬抑要是不经过重建处理，推理模块根柢无法诈欺。去掉图像档案，全体从8.0降到6.9，主要影响跨日关联和日常优化这两类需要识别重叠出现的视觉场景的任务。去掉干系图检索，全体降到6.5，跨日关联径直归零，讲明干系图是邻接跨时分语义关联的核情绪制。去掉笔墨相似度检索，全体降到6.8，跨日关联降到2.1，这是找到时分上规划内容的主要渠说念。三条检索通说念不可偏废，共同组成了互补的笔据体系。

六、才略迁徙——在其他测试场景一样施展出色

一套有利为主动助手联想的系统，能不成在其他更通用的视频理奉命务上也施展作用？议论团队把EgoMemo放到了另外五个已有的测试基准上考据。

在ESTP-Bench这个检会视频流中主动问答才略的基准上，EgoMemo在需要显式配景信息撑持的任务上达到了27.6分，卓越了包括EyeWO在内的有监督锻真金不怕火模子（EyeWO得23.6分），而且EgoMemo统统不需要锻真金不怕火数据，这极少相当值得防卫。

在OVO-Bench这个检会及时视频强健才略的基准上，EgoMemo的及时感知得分达到75.15，卓越了GPT-4o（64.46）和LLaVA-OneVision（64.02）。这背后的原因是，EgoMemo通过多层节录对视频进行了系统性的强健和索引，而不单是是逐帧处理画面。

在离线的第一视角视频问答任务上，EgoMemo在EgoSchema这个需要永劫分跨度推理的基准上得到74.8分，比此前最佳的EgoThinker高出7.2分；在QAEgo4D这个情节驰念查询任务上也达到68.0，一样最初。在EgoTaskQA这个更依赖短片断内精细手脚强健的任务上，EgoMemo得60.9，与EgoThinker的64.4接近，差距来自这个任务的性格——它更需要径直感知当下画面，而不是调用历史驰念。

从检索遵守角度看，议论团队也作念了横向相比。VideoAgent每处理一分钟视频需要67.25秒；Video-RAG需要20.81秒；EgoMemo只需要13.11秒，比VideoAgent快5.1倍，比Video-RAG快1.6倍。EgoMemo在构建驰念的阶段照实需要较永劫分（平均每分钟视频77.33秒），但由于驰念构建和推理检索是异步进行的，这部分时分不会加到每次查询的延伸上。

七、数据是怎样制作出来的——标注经过的联想

制作EgoServe的标注数据自身亦然一项不小的工程，因为标注主动匡助比标注鄙俚视频内容可贵多。你不仅要知说念视频里发生了什么，还要判断哪个时刻应该触发哪类做事，以及助手该说什么。

议论团队接纳了半自动化的经过。关于HoloAssist，他们把视频中已有的东说念主工标注（包括门径规模、失实秀雅、素养校阅）定手艺要领整理成结构化文档，然后用特定的领导词辅导Gemini大模子把这些结构化标注周折为主动服求实例——比如素养的校阅手脚当然对应失实校阅做事，门径调治点对应门径辅导做事。

关于EgoLife，议论团队把每小时的东说念主工标注整理后送入Gemini，针对即时、短期和情节级做事，让模子径直从刻下时分段内生成候选服求实例。但关于需要跨越多天的永远做事，他们联想了一个滚动累积的战略：先让模子从第一天的纪录中索求潜在的永远事件踪影，把这些踪影佩戴到下一天的处理过程中，再勾通新的不雅察生成候选触发点——这么就模拟了助手跨天累积驰念、识别行动轨则的过程。

关于CaptainCook4D，议论团队径直诈欺现存的食谱门径标注和失实标签，生成器具建议、门径辅导和失实校阅三类服求实例。

通盘自动生成的候选标注，终末皆经过了东说念主工核查。两名标注员共同不雅看对应视频片断，议论并决定是否接管该候选要求。他们会拒掉三类问题标注：莫得实验匡助价值的（比如把用户依然在屏幕上看到的信息再说一遍）、触发时分窗口与实验视频内容不对应的，以及仅凭对话音频而非视觉不雅察生成的。

最终，从4038个开动候选要求中，有3437条通过了东说念主工核查，全体通过率85.1%。不同做事类别的通过率有所互异：安全提醒最高（实验上因为再行分类还从195条增多到了241条），跨日关联满额保留，而资源领导类最低（69.8%），反应了从视觉画面中判断"刚才用了什么资源"这件事自身的费劲。

说到底，Vinci2这项议论作念的事情，可以用一句话来轮廓：它试图把AI助手从"你来问我才回答"的被迫接线员，升级为"我全程陪着你、在合适的时候主动启齿"的贴心伙伴。为了作念到这件事，议论团队起原制定了一套全面的考卷（EgoServe），明确界说了什么叫"在正确的时机提供正确的匡助"，何况把匡助分红了从即时到跨日的四个时分档次；然后联想了一套驰念和检索架构（EgoMemo），让AI能像实在有驰念的助手一样，把当下不雅察和历史累积勾通起来作念判断。

这项议论面前仍存在一些赫然的局限性。EgoMemo在把视频周折为笔墨形容时，会不可幸免地丢失一些难以言说的视觉细节；它依赖称号匹配来识别团结个实体，当两个物品外不雅相似但称号不同期容易出错；自动标注经过也可能对某些更容易生成的做事类别有偏向。议论团队也坦承，全体得分仍处于中等水平，讲明主动助手这个问题远比看起来复杂——同期找对时机、判对类别、生成灵验的恢复，三件事加在统统的难度相当高。

关于鄙俚用户来说，这项议论意味着改日的智能诞生有可能变得愈加"懂你"——不是你说什么它强健什么，而是它看着你的日常，在你最需要的时候主动说一句恰到平正的话。这一天什么时候会实在到来，大概值得赓续温顺。

Q&A

Q1：EgoMemo需要提前锻真金不怕火才略使用吗？

A：EgoMemo统统不需要有利锻真金不怕火，它是一个"开箱即用"的系统，通过及时构建驰念结构和检索历史信息来职责。这意味着它可以径直应用于新的场景，不依赖特定任务的锻真金不怕火数据，这亦然它能在多个不同类型的测试基准上皆赢得可以施展的蹙迫原因。

Q2：EgoServe和已有的视频强健测试有什么实验区别？

A：EgoServe最中枢的区别在于它检会的是"主动禁绝"而非"被迫回答"。现存测试大多是给你一段视频然后问你问题，而EgoServe要求AI我方判断什么时候该话语、说什么类型的话，何况评估时机是否准确。这是一个从"问答才略"到"情境判断才略"的根人性周折。

Q3：EgoMemo的三条检索通说念永别搞定什么问题？

A：三条通说念各有单干。笔墨相似度检索厚爱找语义左近的历史形容云开体育，相宜处理能用语言澄澈抒发的信息；干系图检索厚爱找语义上规划联但用词不同的信息，比如"刀"和"切割器具"之间的关联；图像档案检索厚爱找视觉上相似的历史画面，弥补笔墨形容无法捕捉的视觉细节。三者互补，缺任何一个皆会影响特定类别任务的施展。