从虎牙 VAM 出发的恋爱方向数字人技术与应用调研
调研目标
这篇笔记从虎牙 VAM 1.0 出发，记录截至 2026-08-07 能够用于恋爱、陪伴和角色互动方向的数字人技术与应用。
调研关注四个问题：
- VAM 1.0 解决了数字人技术栈里的哪一部分。
- 阿里等团队有没有类似的开源模型或完整方案。
- 目前有哪些产品可以直接试用、通过 API 接入或自行部署。
- 这些方案分别能支持什么样的恋爱、陪伴和角色互动体验。
这里记录的是技术与产品调研，不预设具体的恋爱游戏题材，也不提前决定数字人应该成为主表现层还是特殊玩法。
起点：虎牙 VAM 1.0
虎牙 VAM 1.0，全称 Vivid Avatar Model，是虎牙展示的实时多模态数字人基础模型。
官方页面描述的核心能力，是基于单张静态肖像生成能够说话、聆听、产生表情反应和联动动作的实时数字人视频。页面重点强调了 full-duplex interaction、长时间 streaming、低延迟，以及 speaking、listening、conversation 等互动状态。
当时官网展示的指标包括：
- 单张肖像驱动数字人。
- 音频驱动口型、表情、头部动作和身体动作。
- 支持说话、聆听和连续对话状态。
- 480 × 832、28 FPS、TTFF 约 1.3 秒。
- benchmark 中写到 8 张 H200、448 × 832 下 36.4 FPS，视频生成延迟 0.77 秒。
- 技术报告仍显示 Coming Soon。
从公开信息看，VAM 展示的是实时视频数字人的底层能力：角色不仅能跟随音频说话，还能在对话过程中表现出“正在听”和“准备回应”的状态。这种连续状态对恋爱与陪伴场景很重要，因为用户感受到的不只是口型同步，而是屏幕另一边似乎有一个人正在参与交流。
它当前更接近虎牙自研并用于直播平台的能力展示，还不是可以直接下载、部署并接入项目的开源产品。因此，VAM 更适合作为这次调研的技术坐标，而不是现成的项目选型。
这类数字人需要哪些技术层
“可以实时聊天的数字人”通常由几层能力组合在一起。
| 技术层 | 负责什么 | 对恋爱与陪伴体验的作用 |
|---|---|---|
| ASR / Realtime Audio | 把用户语音转成可理解的输入，处理打断、停顿和双向通话 | 决定对话是否自然，角色能不能及时听懂和接话 |
| LLM / Character Agent | 处理人格、知识、语境、工具调用和回复内容 | 决定角色说什么，以及是否保持稳定的人格 |
| Memory / Relationship State | 保存长期记忆、关系变化、事件与用户偏好 | 决定互动能否形成持续的关系，而不是每次重新认识 |
| TTS / Voice | 生成角色声音，控制语气、情绪和节奏 | 决定角色的声音辨识度与情绪表达 |
| Avatar Generation | 生成口型、表情、视线、动作或完整视频 | 决定用户能否看见一个正在回应自己的角色 |
| RTC / Streaming | 负责实时音视频传输、延迟和会话稳定性 | 决定体验是否真的像通话，而不是轮流播放视频 |
| Game / Application State | 连接剧情、任务、付费、内容审核和用户账户 | 决定数字人互动如何进入完整产品 |
虎牙 VAM 和阿里夸克 LiveAvatar更靠近 Avatar Generation；Vidu S1同样以实时视频生成作为核心，但已经提供在线体验、API 和计费方案，位于底层模型与商业服务之间；OpenAvatarChat更像把 ASR、LLM、TTS 和 Avatar 串起来的完整 pipeline；Tavus、D-ID、Simli等产品则把其中多层封装成了可以调用的商业服务。
开源与研究方案
虎牙 VAM 1.0
- 定位：实时多模态数字人基础模型。
- 适合观察：单图驱动、连续对话状态、实时视频生成能力。
- 当前边界：尚不是可直接接入的开源产品。
OpenAvatarChat
OpenAvatarChat 是模块化的开源实时数字人对话系统，可以连接 ASR、LLM、TTS 和 Avatar 模块。
- 适合做什么：研究完整实时对话 pipeline，替换其中的语音、语言模型和数字人模块，自行部署验证。
- 优势：结构完整、模块可替换，比单独的视频生成模型更接近可运行的对话系统。
- 边界：本地部署、模型配置和维护成本较高，不是点开即用的商业产品。
阿里夸克 LiveAvatar
LiveAvatar 是更靠近底层的实时 audio-driven avatar 生成模型。
- 适合做什么：研究音频驱动的实时人物视频生成，作为自研系统里的 Avatar 层。
- 优势：更接近 VAM 所代表的底层技术方向。
- 边界：它不是完整的角色对话产品，ASR、LLM、记忆、TTS、RTC 和应用逻辑仍需另外搭建，算力与工程门槛也更高。
这三条路线承担的角色不同：VAM 是技术展示与坐标，OpenAvatarChat 是完整开源对话系统，LiveAvatar 是实时视频生成底座。不能因为它们都叫“数字人”，就把它们当成同一种产品比较。
可以直接试用或接入的方案
Vidu S1 / Vidu Live
Vidu S1 是生数科技推出的实时交互视频生成模型，也是目前与 VAM 最接近、但产品化程度更高的一条路线。
官方模型地图把它描述为能够互动、表演和双向感知的商业级交互式数字人。2026-07-03 公开的技术论文进一步写到：用户可以在生成过程中通过语音随时控制角色，模型支持持续实时视频生成；上传形象可以是真人、动漫角色或宠物，也可以选择不同音色。论文报告的运行指标是消费级 GPU 上生成 540p 视频，最高 42 FPS。
它对恋爱与陪伴方向最值得关注的地方，是角色表现不再局限于口型和轻微表情。语音指令可以影响视频中的动作和表演，加上对真人、3D 与 2D 动漫风格的支持，更接近“角色正在参与互动”，而不只是一张会说话的脸。
- 适合验证：真人或动漫角色的实时视频通话、动作回应、虚拟偶像互动和剧情演出。
- 当前状态：已有在线体验；官方模型地图将 API 标为 Beta，价格页已经列出按时长计费、音色克隆和并发方案。
- 与 VAM 的区别：VAM 当前更像技术展示，Vidu S1 已经提供可体验、可计费和逐步开放的产品入口。
- 仍需外接的部分：公开资料重点展示实时视频生成、语音控制和表演能力；长期记忆、恋爱关系状态、剧情逻辑与内容安全仍需要单独确认或自行搭建。
海外实时视频 Agent
| 方案 | 能做什么 | 适合验证什么 | 主要边界 |
|---|---|---|---|
| Tavus CVI | WebRTC 实时视频 Agent；Face 负责人脸与声音，PAL 负责人格、知识、行为、RAG 和工具调用 | 快速做出真人感的一对一视频通话；可用 stock faces，也能训练自定义 Face | 更像通用视频 Agent，恋爱角色的关系、剧情和内容系统仍需自己设计 |
| D-ID Agents | 实时 Avatar Agent，可连接 LLM、knowledge base、RAG 或自有模型 | 网站角色、知识问答、陪练和轻量陪伴原型 | 角色演出、长期关系和游戏状态需要外部系统负责 |
| Simli | 实时 Avatar API，可为已有 voice agent 增加一张会说话的脸 | 已有 OpenAI Realtime 等语音 Agent 时，快速补齐视频表现 | 主要解决视觉输出，记忆、人格和业务逻辑需要自己完成 |
| HeyGen LiveAvatar | 商业实时 Avatar API，面向视频 Agent、销售、培训和互动应用 | 高质量形象、商业 Demo、IP 或真人分身 | 定制权限和 API 范围取决于具体产品方案；不要与阿里夸克的同名开源模型混淆 |
这类产品的价值，是最快验证“屏幕上有一个人正在和我实时交流”。它们解决了存在感和接入速度，但不自动等于一套恋爱角色系统。
国内云数字人
| 方案 | 能做什么 | 适合验证什么 | 主要边界 |
|---|---|---|---|
| 阿里云虚拟数字人 | 数字人实时对话、WebSDK、RTC，可连接百炼、通义或自研模型 | 中文实时对话、国内服务接入、企业合规 | 开通和集成链路相对更重，产品形态偏企业服务 |
| 腾讯云智能数智人 | 云端交互式数字人、会话驱动和形象配置 | 腾讯云生态内的中文数字人应用 | 更偏企业级数字人，不直接提供恋爱游戏所需的角色关系系统 |
| Azure TTS Avatar / Voice Live | 语音、Avatar 与企业云能力 | 国际化、企业账户和稳定服务 | 对早期创意原型来说接入偏重 |
国内云方案的优势主要是中文环境、账户体系、合规路径和服务支持。它们更适合需要正式上线和企业协作的项目，不一定是验证角色吸引力最快的方案。
游戏角色与风格化角色
| 方案 | 能做什么 | 适合验证什么 | 主要边界 |
|---|---|---|---|
| Convai | Unity、Unreal、MetaHuman 和 3D 角色实时对话，支持知识、记忆和游戏上下文 | 游戏内 NPC、3D 角色与场景互动 | 重点是游戏引擎角色，不是真人视频通话 |
| Inworld | 角色人格、记忆、行为与游戏状态编排 | 多角色 AI NPC、长期关系和剧情反应 | 视觉表现需要接入自己的游戏资产 |
| NVIDIA ACE | 语音、动画、数字人与游戏 AI 技术套件 | 高质量 3D 数字人与生产级游戏角色 | 技术栈较重，适合有完整 3D 生产能力的项目 |
| Live2D / Spine / VRM + LLM | 风格化角色表现，加上自研对话、记忆和关系系统 | 多角色恋爱游戏、视觉小说、长期陪伴 | 需要自行搭建角色状态、剧情触发、记忆和内容安全系统 |
如果目标是多角色、长期关系、剧情分支和稳定的美术风格，这条路线比真人视频 Agent 更接近完整游戏生产。它与 VAM 代表的路线并不冲突：一个偏实时真人视频，一个偏可控的游戏角色资产。
恋爱与陪伴方向可以落到哪些应用
| 应用形态 | 用户获得的体验 | 需要的关键能力 | 可以优先观察的方案 |
|---|---|---|---|
| 一对一实时视频通话 | 像在和角色打视频电话，能够看见对方说话、聆听和即时反应 | 低延迟 RTC、全双工语音、Avatar、角色人格 | Vidu S1、VAM、Tavus、D-ID、Simli、HeyGen LiveAvatar |
| 长期 AI 伴侣 | 角色持续记得用户、关系和共同经历 | 长期记忆、关系状态、稳定人格、内容安全 | 视频 Agent + 自研 Memory，或 Inworld / 自研 Agent |
| 虚拟偶像与 IP 互动 | 用户能够和熟悉的形象单独见面、通话或参与活动 | IP 形象、声音一致性、实时互动、并发与付费系统 | Vidu S1、商业视频 Agent、云数字人、直播平台数字人技术 |
| 剧情中的视频来电 | 在特定剧情阶段与角色进行面对面交流 | 剧情上下文、角色状态、可控演出、通话表现 | Vidu S1 或视频 Agent + 游戏剧情系统 |
| 多角色恋爱游戏 | 与多名角色建立关系，经历事件、选择和长期变化 | 多角色记忆、关系数值、剧情编排、可复用美术资产 | Live2D / Spine / VRM + LLM，Inworld、Convai |
| 陪练、顾问或前辈型角色 | 通过稳定身份与用户反复交流，关系可以逐渐变化 | 专业知识、RAG、人格、长期记忆 | Tavus、D-ID、国内云数字人、自研 Agent |
这些应用对“数字人”的需求并不相同。一对一视频通话最依赖实时生成和 RTC；长期伴侣最依赖记忆与关系；多角色恋爱游戏最依赖角色资产、剧情和状态管理。选型时需要先确认想验证的是哪一种体验。
按验证目标选择路线
| 当前目标 | 更合适的起点 |
|---|---|
| 快速验证真人或动漫角色的实时视频互动 | 先体验 Vidu S1；如果需要现成 Agent pipeline，再看 Tavus、D-ID、Simli |
| 研究类似 VAM 的底层实时生成能力 | 对照 Vidu S1 论文、VAM 技术页面和 LiveAvatar 等 audio-driven avatar 模型 |
| 自己控制完整对话 pipeline | OpenAvatarChat，替换 ASR、LLM、TTS、Avatar 等模块 |
| 做国内可上线的中文数字人应用 | 阿里云、腾讯云等企业数字人服务 |
| 做多角色、长期关系的恋爱游戏 | Live2D / Spine / VRM + LLM、记忆和关系系统，或接入 Inworld / Convai |
| 做高质量 3D 游戏角色 | NVIDIA ACE、Convai、MetaHuman 或自研 3D 角色管线 |
选型前仍需确认的问题
这次调研梳理了现有技术和产品，但还没有对应到一个确定的项目形态。真正选型前，需要先回答几个问题：
- 当前要验证的是 Avatar 表现效果，还是包含人格、记忆和关系状态的完整 Agent？
- 产品更接近一对一视频通话、长期 AI 伴侣，还是多角色恋爱游戏？数字人要承担主表现层、视频通话玩法，还是剧情中的少量事件？
- 长期记忆、关系变化和剧情状态由哪一层系统负责？现有产品是否提供，还是需要项目自行搭建？
- 如果使用真人感形象，形象一致性、声音与肖像授权、隐私、内容审核和用户误认如何处理？
- 如果涉及未成年角色，题材表达、暧昧互动和付费陪伴需要遵守什么边界？
官方入口与参考来源
起点与开源方案
实时交互视频模型
商业实时视频 Agent
- Tavus CVI Overview
- Tavus CVI Quickstart
- Tavus Stock Faces
- Tavus Pricing
- D-ID Agents Quickstart
- Simli Docs
- HeyGen LiveAvatar Docs