这项由香港科技大学何轩华、杨天宇和陈启峰西宾指引，集中好意思团磋磨团队共同完成的磋磨发表于2024年12月，论文编号为arXiv:2512.20615v1。有益思深入了解的读者不错通过该编号查询竣工论文。

当咱们不雅看一个视频博主制作好意思食的进程时，会发现他们不仅能按照既定才略操作，还能在碰到不测情况时天真和谐。比如发现盐撒多了会实时拯救，或者看到锅子过热会主动调小火候。这种八成把柄情况变化自主方案的才智，恰是确实智能的体现。然则，面前的AI视频生成技能天然八成制作出看起来很传神的东说念主物动画，但这些编造变装就像木偶一样，只可机械地实践预设当作，无法像真东说念主那样具备主不雅能动性。

港科大的磋磨团队决心变调这种气象。他们援手了一套名为ORCA的立异性框架，初度让视频中的编造东说念主物具备了确实的"大脑"——不仅八成意会面前处境，还能制定长久野心，并在实践进程中握住和谐策略。这就像给一个演员装上了确实会想考的大脑，让他们八成在拍摄进程中把柄试验情况天真应变，而不是单纯背台词走过场。

磋磨团队面对的第一个中枢挑战不错用拍电影来类比。传统的视频生树立像拍一部敷裕按照脚本进行的电影，每个镜头皆严格按照预先写好的脚本实践。但问题是，AI生成的视频具有很强的立时性，就像每次拍摄并吞个场景皆可能出现不同的收尾。演员可能莫得按预期提起说念具，或者说念具的位置发生了变化。在这种情况下，若是后续场景还按照原野心进行，悉数这个词故事就会变得谬妄好笑。

第二个挑战在于奈何让编造变装意会复杂的指示并滚动为具体当作。就好比导演对演员说"阐扬出内心的纠结"，这么抽象的指示需要演员意会并滚动为具体的神采、当作和姿态。雷同，AI系统需要将"泡一壶茶"这么的高等次磋磨分解为"翻开茶叶罐"、"用勺子舀茶叶"、"将茶叶放入茶壶"等一系列具体可实践的当作。

为了考据他们的技能成果，磋磨团队构建了一个名为L-IVA的全新测试平台。这个平台包含了100个不同的任务场景，遮蔽厨房烹调、园艺栽植、工坊制作、办公室使命和直播扮演五个生涯界限。每个任务皆需要编造变装与多个物品进行3到8步的复杂交互，就像现实生涯中完成一项使命需要的才略一样。比如在厨房场景中，制作一顿简餐可能需要从雪柜取食材、清洗蔬菜、切配、烹调到装盘等多个重要。

ORCA框架的想象灵感来自理会科学中的"里面宇宙模子"表面。浮浅来说，就像东说念主类大脑中有一个对外部宇宙的内在模拟器，匡助咱们意会面前气象、辩论行动后果并制定合理野心。ORCA为编造变装构建了肖似的理会架构，让它们八成在复杂环境中进行自主方案。

这套框架选拔了一种叫作念"不雅察-想考-行动-反想"的轮回机制。编造变装最初不雅察面前环境和自己状态，然后想考下一步应该作念什么，接确凿践相应当作，临了查验实践成果是否安妥预期。若是发现问题，系统会实时校正，幸免乌有积贮影响后续操作。这就像一个素质丰富的厨师在作念菜时会握住回味调味，确保每个才略皆朝着正确标的进行。

在系统里面，ORCA选拔了双系统架构，模拟东说念主类大脑的快慢想维模式。系统二追究战术计较，就像咱们三想尔后行制定野心时的感性想维；系融合追究具体实践，将抽象野心滚动为精准的操作指示，就像咱们熟习完成平常当作时的直观反馈。这种单干让编造变装既能进行长久计较，又能确保每个当作的实践精度。

磋磨团队将ORCA与现存的几种范例进行了驻守对比。开环计较范例就像预先制定好竣工野心然后盲目实践，无法粗俗进程中的变化；反馈式代理天然八成把柄面前情况作念出反馈，但败落对合座气象的把执，容易堕入重叠当作的怪圈；而其他一些范例天然具备宇宙模子，但假定环境是详情的，无法粗俗生成进程中的立时性。

实验收尾显现，ORCA在职务完成率上达到了71%的平均收效能，彰着进步其他范例。更进击的是，ORCA生成的视频在物理合感性和当作连贯性方面阐扬优异。东说念主类评估者在不雅看这些视频时，八成明晰地看到编造变装按照合理逻辑完成复杂任务，而不是机械地重叠预设当作。

天然，这项技能也面对一些局限性。面前的视觉意会模子只怕会遗漏一刹出现的视觉乌有，导致系统采选了试验有问题的生成收尾。另外，底层的视频生成模子在惩办综合操作时仍然存在收尾精度不及的问题。不外磋磨团队指出，跟着基础模子才智的汲引，ORCA框架的性能也会相应改善。

说到底，这项磋磨最进击的意旨在于初度竣事了确实具备主不雅能动性的视频变装生成。以往咱们只可制作出外在传神的编造东说念主物，面前则不错创造出八成自主想考和行动的智能变装。这不仅为编造主播、教导视频和文娱内容创作斥地了新的可能性，也为东说念主工智能向更高等次智能口头发展迈出了进击一步。

归根结底，ORCA框架阐扬了一个进击不雅点：确实的东说念主工智能不应该仅仅精雅的动画生成器，而应该具备像东说念主类一样的理会才智。当编造变装八成意会环境、制定野心、实践任务并从乌有中学习时，它们才确实启动接近东说念主类智能的内容。这项技能的出现，标记着咱们正在从"制作传神视频"向"创造智强人命体"调遣，这个调遣将潜入影响从文娱产业到教导培训的各个界限。

Q&A

Q1：ORCA框架是什么？

A：ORCA是港科大团队援手的视频头像智能框架，全称为"在线推理与理会架构"。它能让视频中的编造东说念主物像真东说念主一样具备主不雅能动性，八成自主不雅察环境、制定野心、实践任务并从乌有中学习，而不是只可机械地重叠预设当作。

Q2：L-IVA测试平台包含哪些内容？

A：L-IVA是磋磨团队构建的测试平台，包含100个不同的任务场景，遮蔽厨房烹调、园艺栽植、工坊制作、办公室使命和直播扮演五个生涯界限。每个任务需要编造变装与多个物品进行3到8步的复杂交互，用于考据AI变装的自主完成复杂任务才智。

Q3：这项技能有什么试验哄骗价值？

A：这项技能八成创造出确实会想考的编造变装，为编造主播、教导视频制作和文娱内容创作斥地新可能性。比较传统只可按脚本行动的编造东说念主物，ORCA生成的变装八成把柄试验情况天真应变，大大汲引编造变装的确实感和实用性。