OpenTalking 知识库功能实践:用开源实时数字人做一个景区导游

6 月 17 日
 xuxin123122

最近我们在 OpenTalking 里加入了知识库能力,并做了一个景区数字人导游的 demo 。github 可以搜索 datascale-ai/opentalking

OpenTalking 本身是一个开源实时数字人对话编排框架,主要负责把 LLM 、TTS 、STT 、WebRTC 、数字人驱动模型和前端交互串起来。之前它更偏“实时对话数字人”的基础链路验证,现在接入知识库后,可以开始承载一些更具体的业务场景。

这次 demo 里的思路比较直接:

准备景区相关资料,比如景点介绍、历史背景、游览路线、注意事项等。

将资料导入 OpenTalking 的知识库。

给数字人绑定对应知识库。

用户用自然语言提问。

系统检索相关知识片段,交给 LLM 组织回答。

再通过 TTS 和数字人驱动模型完成语音播报和口型/画面输出。

这样做的价值是,数字人不再只是套一个通用大模型聊天,而是可以基于一组明确资料回答问题。对于景区、展馆、博物馆、企业展厅、产品介绍等场景,这种方式会更接近实际落地需求。

知识库在这里主要解决三个问题:

回答内容可控:核心信息来自上传资料,而不是完全依赖模型自由发挥。

场景迁移方便:换一批资料,就可以从景区导游变成展馆讲解、产品顾问或课程助教。

数字人链路完整:检索、回答、语音合成、字幕和数字人画面可以在同一个系统里完成。

目前这个功能还在持续完善中,后续会继续补充文档管理、检索效果、引用展示、多知识库绑定、Persona 交付包等能力。

如果你也在做数字人、RAG 、企业知识库或多模态交互相关方向,欢迎交流和提建议。

1058 次点击
所在节点    分享创造
2 条回复
p1aintiff
6 月 17 日
请多给小东西多分享一些经验
robinxplorer
6 月 18 日
很有意思 最近也在做这个方案。有开源代码或者其他材料吗

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1221060

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX