接口概览

云知声Maas平台 API 接口能力概览,包括语音、视觉和文件管理等多模态能力。

获取 API Key

通过 按量计费&资源包 > API Key 管理,创建新的 API Key,获取 API Key

文本生成

和指定模型对话,模型根据请求内容生成回答。

支持模型

模型ID模型介绍
u2-flash面向复杂任务的通用大模型,具备推理、Coding、长文档处理与 Agent 任务能力
u2兼具通用知识推理、智能体交互能力、代码操作及长文本处理等能力
u2-med懂医疗、懂医保、懂药学的专业大模型
u2-radimed支持影像与文本混合输入,可完成报告生成、病灶定位与临床推理决策

接口说明

包含多类对话交互接口,分别适配不同模型与协议:

决策模型

企业级决策大模型,让正确的任务找到正确的智能,直接输出带概率与置信度的结构化判定。

支持模型

模型ID模型介绍
u2-decision企业级决策大模型,直接输出结构化判定(choice / probabilities / confidence),毫秒级响应。

接口说明

本接口基于 SystemOne 协议提供结构化决策调用能力:

实时语音转写

本接口通过 WebSocket 接收音频流并实时转写为带标点的文本,适用于直播字幕、在线会议、语音聊天、智能助手等场景。

该接口支持以下功能:

  1. 支持普通话及粤语、四川话等多种方言的高精度语音识别;
  2. 具备应对复杂声学环境的能力,支持自动语种检测与智能非人声过滤;
  3. 支持热词定制,可提升特定词汇的识别准确率;
  4. 支持说话人分离,生成结构化识别结果。

支持模型

以下为云知声提供的语音模型及其特性说明。

模型ID特性
u2-asr多场景语音识别能力全面领先,复杂噪音与方言场景下实现高精度识别,业内首次突破 90%

接口说明

本接口基于 WebSocket 协议为长时语音场景提供稳定的流式转写服务。

异步长音频语音转写

该 API 支持基于长音频的语音转写,单次最大支持音频时长 5小时,生成结果支持异步方式进行检索。

该接口支持以下功能:

  1. 支持 mp3、opus、wav、amr、m4a、ogg 等格式音频
  2. 支持通过声道或声纹特征进行说话人分离
  3. 识别结果中支持时间戳信息

提交语音转写任务,会生成 task_id,通过 task_id 调用检索任务状态接口获取状态及结果。

适用场景:会议转写、客服质检、字幕生成。

支持模型

以下为云知声提供的语音模型及其特性说明。

模型ID特性
u2-asr多场景语音识别能力全面领先,复杂噪音与方言场景下实现高精度识别,业内首次突破 90%

接口说明

整体包含 2 个 API:创建异步语音转写任务、查询语音转写任务状态。使用步骤如下:

  1. 创建语音转写任务得到 task_id;
  2. 基于 task_id 查询语音转写任务状态;
  3. 任务成功后,获取语音转写结果。

同步语音合成

本接口支持基于文本到语音的同步生成,单次可处理最长 500 字符 的文本。

该接口支持以下功能:

  1. 支持系统音色、复刻音色、设计音色自主选择
  2. 支持语调、语速、音量、输出格式调整
  3. 支持流式输出。

支持模型

以下为云知声提供的语音模型及其特性说明。

模型ID特性
u2-tts语义理解与细腻情感表达双突破,高度拟人化,创意多元,赋予语音自然表达力

接口说明

本接口基于 WebSocket 协议提供文本到语音的同步合成能力,支持流式返回音频。使用步骤如下:

  1. 建立 WebSocket 连接;
  2. 发送文本帧 start,在其中携带待合成全文 text,并配置 voice_setting / audio_setting;
  3. 按序接收服务端二进制音频帧,并解析文本控制帧;
  4. 当控制帧 end=true 时,本轮合成结束。

异步长文本语音合成

该 API 支持基于文本到语音的异步生成,单次文本生成传输最大支持 5 万字符,生成的完整音频结果支持异步的方式进行检索。

该接口支持以下功能:

  1. 系统音色、克隆音色、设计音色自主选择;
  2. 支持语调、语速、音量、采样率、输出格式自主调整;
  3. 支持直接传入字符串与上传文本文件 file_id 两种方式进行待合成文本的输入;

提交长文本语音合成请求后,会生成 task_id,通过 task_id 进行合成任务状态检索及结果获取。

⚠️ 注意:返回的 url 的有效期为:自 url 返回开始的 9 个小时(即 32400 秒),超过有效期后 url 便会失效,生成的信息便会丢失,请注意下载信息的时间。

适用场景:整本书籍等长文本的语音合成。

支持模型

以下为云知声提供的语音模型及其特性说明。

模型ID特性
u2-tts语义理解与细腻情感表达双突破,高度拟人化,创意多元,赋予语音自然表达力
u2-tts-clone 一句话,秒级克隆,呈现高度还原的拟人化情感语音
u2-tts-design面向"文本描述生成专属音色"的语音设计模型

接口说明

整体包含 2 个 API:创建异步语音合成任务、查询语音合成任务状态。使用步骤如下:

  1. 创建语音合成任务得到 task_id(如果选择以 text_file_id 的形式传入待合成文本,需要前置使用 File(Upload) 接口进行文件上传);
  2. 基于 task_id 查询语音合成任务状态;
  3. 如果发现任务生成成功,那么可以使用本接口返回的 file_id 通过 File API 进行结果查看和下载。

声音克隆

本接口支持基于用户上传需要克隆的音频,以及风格音频,进行音色的克隆。

本接口适用场景:IP 声音克隆等需要快速克隆某一音色的相关场景。

支持模型

以下为云知声提供的语音模型及其特性说明。

模型ID特性
u2-tts-clone 一句话,秒级克隆,呈现高度还原的拟人化情感语音

接口说明

  1. 上传待克隆音频 调用 上传克隆音频 上传待克隆的音频文件并获取 file_id。
  2. 上传风格音频 (可选) 若需要提供风格音频以增强克隆效果,需要再次调用 上传风格音频 上传风格音频文件并获得对应的 file_id。
  3. 调用克隆接口 基于获取的 file_id 和自定义的 voice_id 作为输入参数,调用 快速克隆 克隆音色。

音色设计

本接口支持基于用户输入的声音描述 prompt,生成个性化定制音色。

本接口支持使用生成的音色(voice_id)在异步长文本语音合成接口中进行语音生成。

支持模型

以下为云知声提供的语音模型及其特性说明。

模型ID特性
u2-tts-design面向"文本描述生成专属音色"的语音设计模型

接口说明

调用设计接口 传入音色描述 prompt,可选传入 preview_text / 自定义 voice_id,调用 音色设计 生成个性化定制音色。

异步文档解析

该 API 支持对文档内容智能解析,异步检索解析状态及结果。

该接口支持以下功能:

  1. 支持 JPG、PNG、PDF 等格式文档;
  2. 支持对指定页码内容解析;

提交文档解析任务,会生成 task_id,通过 task_id 调用检索任务状态接口获取状态及结果。

适用场景:合同、财务报表、病历、卷宗、发票等文档内容解析。

支持模型

以下为云知声提供的 OCR 模型及其特性说明。

模型ID特性
u2-ocr集成文档分类、证照识别、版式还原、信息抽取四大能力,兼顾高效解析与精准识别,适配日常文稿与复杂版式文件,支持手写及多语种识别。

接口说明

整体包含 2 个 API:创建异步文档解析任务、查询文档解析任务状态。使用步骤如下:

  1. 创建异步文档解析任务得到 task_id;
  2. 基于 task_id 查询文档解析任务状态;
  3. 任务成功后,获取文档解析结果,包含 Markdown 内容及版面信息。

文档信息抽取与分类

本接口支持对图片信息进行结构化抽取。

适用场景:合同、票据、表单的数据结构抽取。

支持模型

以下为云知声提供的 OCR 模型及其特性说明。

模型ID特性
u2-ocr集成文档分类、证照识别、版式还原、信息抽取四大能力,兼顾高效解析与精准识别,适配日常文稿与复杂版式文件,支持手写及多语种识别。
u2-ocr-med内置医疗专业知识,专注医疗文书智能分类与专业信息精准抽取,适配多医院文书格式差异。

接口说明

通过文档信息抽取与分类接口,指定图片和提示词,按照提示词要求进行图片信息结构化抽取。

文件管理

本接口是作为文件管理接口,配合云知声Maas平台的其他接口使用。

接口说明

本接口是作为文件管理接口,配合其他接口使用。共包含 5 个接口:上传、列出、检索、下载、删除。

文件支持格式

类型格式
文档`txt`、`pdf`、`jpg`、`png`
音频`mp3`、`m4a`、`wav` 、`opus` 、`ogg` 、`amr`