WebRTC实现VoiceAgent智能体

今天给大家介绍使用RTCPilot实现基于WebRTC的voice agent。RTCpilot是基于c17开发的跨平台支持服务集群的WebRTC服务。什么是voice agent一句话定义实时语音对话AI大模型跑在 WebRTC 低延迟实时音视频通道上让用户直接在浏览器 / APP 里像打电话一样和 AI 自然对话。Voice Agent主要功能Voice Agent语音智能体主要功能和特点是能听能想能说能实时、全双工、可打断地跟人聊天也就是在它的回答过程中你可以打断它的回答提出新的问题。它基于WebRTC体系整个流程语音采集 → WebRTC 传输 → 云端实时 ASR → LLM 流式推理 → 流式 TTS → WebRTC 回传 → 播放RTC Voice Agent在国内云厂商已经非常普及声网火山引擎科大讯飞。他们宣传实时语音交互基础设施 大模型语音化引擎把任意文本大模型快速变成可实时对话的 Voice Agent。我们使用基于开源的RTC pilot来实现一个完整的voice agent完全开源实现可以本地部署不依赖任何云平台。在视频连接中有演示效果RTC实现VoiceAgentRTC Pilot的Voice Agent实现原来的RTC Pilot是一个WebRTC音视频会议SFU服务支持跨平台支持集群部署本质是一个支持网络高并发的SFU。但是支持voice agent后加入音频编解码加入ASR文字转语音服务加入TTS语音转文字服务一下子系统变成CPU密集型的服务也就是变成WebRTC MCU服务。其实ASRTTS和编解码服务应该放在单独的MCU服务中这么实现主要是广大初级网友不知道怎么部署被迫无奈的实现。当前的RTCPilot支持voice agent的代码独立放在voiceagent分支我还在犹豫是否合入主线或者如何合入主线。因为涉及编解码voiceagent还未支持win11平台后续也需要改进。RTCPilot服务端地址https://github.com/runner365/RTCPilotbranchvoiceagentRTCPilot客户端地址:https://github.com/runner365/webrtc_js_client如果你有好的建议可以在评论区告诉我。如果觉得对你有帮助请一键三连谢谢大家。