XYLINK AI VIRTUAL BG

虚拟背景库

安装

$ yarn add @xylink/xy-virtual-background-plugin -S

使用

// 创建插件
const virtualPlugin = new XYLinkVirtualExtension();

// 兼容性检测
const isSupportExtension = virtualPlugin.current.isSupportExtension();

// 通过WebRTC SDK注册插件
const { client, stream } = XYRTC.create({
  clientId: '',
  clientSecret: '',
  plugin: isSupportExtension ? [virtualPlugin.current] : []
});

// 创建Video和Audio Track流
const peopleTrack = await stream.current.createVideoAudioTrack({});

// 创建插件Processor处理器
const virtualProcessor = virtualPlugin.createProcessor({
  maskBlur: 4,
  modelPath: `${process.env.ASSET_PATH}/model`
});

// 通过Track连接处理器，并绑定目的地
peopleTrack.connect(virtualProcessor).connectToVideo(peopleTrack.processorDestination);

// 启用插件功能
virtualProcessor.enable();

方法

加载模型

// Load Model
await virtualProcessor.loadModel();

启用插件

virtualProcessor.enabled();

暂停插件

virtualProcessor.disable();

设置效果

await virtualProcessor.setOptions(kind: VirtualKind,
    option: IBackgroundOptions | IStickyOptions | IVirtualHeadOptions);

移除所有的效果

virtualProcessor.removeOptions();

迭代

v0.0.2-beta.12

该版本于 2023/12/25 发布

升级内容

• 重写集成文档
• 升级模型
• 优化代码

v0.0.1

该版本于 2023/11/24 发布

升级内容

• 支持虚拟背景/背景虚化/动态背景/人像贴纸/虚拟头像/content 背景功能
• 第一个版本发布