Spark-Nodejs

讯飞星火认知大模型 Nodejs SDK & Web使用

install

npm i spark-nodejs

使用

const spark = new Spark({
  // 自行填入相关参数
  secret: "xxx",
  key: "xxx",
  appid: "xxx",
});
const answer = await spark.chat("你好");

构造参数

export interface ISparkOptions {
  secret: string;
  key: string;
  appid?: string;
  uid?: string;
  temperature?: number; // 取值为[0,1],默认为0.5	核采样阈值。用于决定结果随机性，取值越高随机性越强即相同的问题得到的不同答案的可能性越高
  maxTokens?: number; // 取值为[1,4096]，默认为2048	模型回答的tokens的最大长度
  topK?: number; // 取值为[1，6],默认为4	从k个候选中随机选择⼀个（⾮等概率）
  chatId?: string; // 需要保障用户下的唯一性	用于关联用户会话
  useHistory?: boolean; // 是否需要使用历史对话记录，对token消耗会很快 default: false
}

API

generateUrl

生成websocket请求 url，可以下发给前端发起ws请求

const url = spark.generateUrl();

chat

直接使用node发起对话

const url = spark.chat({
  content: "你好",
  // onData 表示分段拿到返回结果
  onData({ content, start, end, seq }) {
    // content 表示分段的内容
    // start 表示是否是第一段
    // end 表示是否是最后一段
    // seq 表示序号
    console(content, start, end, seq);
  },
  onEnd({ content, token, questionTokens }) {
    // content 表示完整的返回
    // token 表示返回回答的token数
    // questionTokens 表示发起对话的token数
    console(content, start, end, seq);
  },
});

或者使用 chat的Promise返回

const answer = await spark.chat("你好");

函数声明

function chat(options: IQuestionOptions): Promise<string>;

interface IQuestionOptions {
  content: string;
  onData?(options: {
    content: string;
    start: boolean;
    end: boolean;
    seq: number;
  }): void;
  onEnd?(options: {
    content: string;
    tokens: number;
    questionTokens: number;
  }): void;
}

Web 端使用

spark-node中将消息部分单独打包到 socket 模块，可以在web环境中使用。使用场景为服务端生成url下发，web端调用socket模块发起聊天

import { SparkChat } from "spark-nodejs/chat";
const spark = new SparkChat({ url: "xxx" });
spark.chat({ content: "xxx" }); // chat 参数与上文中的chat参数一致

构造参数：

构造参数如下，除了多了 url 与 urlGetter 参数外，其他与上文一致，url与urlGetter填入一个即可

当填入url时，一次请求结束之后需要手动重新获取url设置

当填入urlGetter时，会自动获取url，推荐使用urlGetter

export interface ISparkSocketOptions {
  url?: string; // 指定url
  urlGetter?: () => Promise<string>; // 自动获取url的函数，一般封装获取url的请求
  appid?: string;
  uid?: string;
  temperature?: number; // 取值为[0,1],默认为0.5	核采样阈值。用于决定结果随机性，取值越高随机性越强即相同的问题得到的不同答案的可能性越高
  maxTokens?: number; // 取值为[1,4096]，默认为2048	模型回答的tokens的最大长度
  topK?: number; // 取值为[1，6],默认为4	从k个候选中随机选择⼀个（⾮等概率）
  chatId?: string; // 需要保障用户下的唯一性	用于关联用户会话
  useHistory?: boolean; // default: false
}

cdn使用

<script src="https://cdn.jsdelivr.net/npm/spark-nodejs"></script>
<script>
  const spark = new SparkChat({ url: "xxx" });
</script>

关于 useHistory

开启了 useHistory 之后，Spark-Node 内部会缓存之前的对话上下文，然后在 chat 时一起发送给服务端，所以token消耗会很快，请按需要决定是否开启。

histroyToken的最大限制是8192，超过这个限制时Spark-Node会自动清除最早的记录，知道tokens小于8192。