AOG Chat 服务相关

Chat 服务

Custom Properties of its Service Providers

除了在 AOG 服务提供商元数据中定义的常见属性外, 聊天服务提供商还可以将以下属性放入服务提供商元数据的 custom_properties 字段中。

自定义属性	值	描述
max_input_tokens	integer	上下文窗口宽度或允许输入的最大token数

请求格式

请求头

参见请求头中的常见字段

请求

除了在请求体中的常见字段中定义的字段外，，服务在其请求 JSON 体中也可能包含以下字段：

附加 JSON 字段	值	是否必需	描述
messages	参见消息	必填	聊天消息，可能包含对话历史
seed	integer	可选	有助于返回确定性结果
temperature	number between 0 to 2, and default is 1	可选	提高温度将使模型回答更具创造性。
top_p	float	可选	更高的 top_p 值导致文本更加多样化，而较低的值（例如，0.5）则产生更加专注和保守的文本。默认值为 0.9。

响应格式

除了在响应体中的常见字段中定义的字段外，该服务在其响应 JSON 体中可能还有以下字段：

附加 JSON 字段	值	是否必需	描述
message	参见消息	必填	returned message
finished	`true` or `false`	必填	对于流模式中的最后一条消息是 `true` ，否则为 `false` 。对于同步模式始终为 `true`。
finish_reason	stop, length, function_call, or null	finished = true 时必填	stop 停止正常结束 length 达到最大长度 function_call 函数调用结束 null 尚未完成，完成状态应为 false

示例

发送请求

curl https://localhost:16688/aog/v0.2/services/chat\
-H "Content-Type: application/json" \
-d '{
    "model": "deepseek-r1:7b",
    "stream": true,
    "messages": [
        {
            "role": "user",
            "content": "你好！"
        }
    ]
}'

返回响应

{
    "created_at": "2025-03-11T06:38:36.1349763Z",
    "finish_reason": "stop",
    "finished": true,
    "id": "49487566988534527779",
    "message": {
        "content": "<think>\n\n</think>\n\n您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。如您有任何任何问题，我会尽我所能为您提供帮助。",
        "role": "assistant"
    },
    "model": "deepseek-r1:7b"
}

Generate 服务

Custom Properties of its Service Providers

除了在 AOG 服务提供商元数据中定义的常见属性外，生成服务提供商还可以将以下属性放入服务提供商元数据的 custom_properties 字段中。

自定义属性	值	描述
max_input_tokens	integer	上下文窗口宽度或允许输入的最大token数

请求格式

请求头

参见请求头中的常见字段

请求

除了在请求体中的常见字段中定义的字段外，服务在其请求 JSON 体中也可能包含以下字段：

附加 JSON 字段	值	是否必需	描述
prompt	string	必填	需要生成内容的提示词
stream	boolean	可选	是否流式返回
think	boolean	可选	是否返回思考内容
images	Array	可选	图片的 base64 编码

响应格式

除了在响应体中的常见字段中定义的字段外，该服务在其响应 JSON 体中可能还有以下字段：

附加 JSON 字段	值	是否必需	描述
success	boolean	必填	请求是否成功
message	object	必填	生成的内容及相关信息
model	string	必填	使用的生成模型
created_at	string	必填	响应生成时间
finish_reason	string	必填	结束原因
aog_info	object	可选	服务端信息

message 字段	类型	是否必需	描述
created_at	string	必填	消息生成时间
finish_reason	string	必填	结束原因
finished	boolean	必填	是否完成
id	string	必填	消息ID
model	string	必填	使用的模型
response	string	必填	生成的文本内容

示例

发送请求

curl https://localhost:16688/aog/v0.4/services/generate\
-H "Content-Type: application/json" \
-d '{
    "model": "gemma3:4b",
    "stream": false,
    "think": false,
    "prompt": "根据图片内容，生成一首短诗",
    "images": ['iVBORw0KGgoAAAANSUhEUgAAAgAAAAIACAIAA...']
}'

返回响应

{
  "success": true,
  "message": {
    "created_at": "2025-08-14T08:12:24.4963364Z",
    "finish_reason": "stop",
    "finished": true,
    "id": "115177740913632811435",
    "model": "gemma3:4b",
    "response": "绿衣孩童笑\n轮盘映夕阳\n静物伴光照"
  },
  "model": "gemma3:4b",
  "created_at": "2025-08-14T08:12:24.4963364Z",
  "finish_reason": "stop",
  "aog_info": {
    "served_by": null,
    "served_by_api_flavor": null,
    "response_time": null
  }
}

Embed 服务

自定义服务提供商属性

除了在 AOG 服务提供商元数据中定义的常见属性外，聊天服务提供商还可以将以下属性放入服务提供商元数据的 custom_properties 字段中。

自定义属性	值	描述
max_input_tokens	integer	上下文窗口宽度或允许输入的最大token数

请求格式

请求头

参见请求头中的常见字段

请求

除了在请求体中的常见字段中定义的字段外，服务在其请求 JSON 体中也可能包含以下字段：

附加 JSON 字段	值	是否必需	描述
input	Array of string	必填	输入文本用于嵌入
model	string	可选	embedding模型

Response Schema

除了在响应体中的常见字段中定义的字段外，该服务在其响应 JSON 体中可能还有以下字段：

附加 JSON 字段	值	是否必需	描述
model	string	必填	embedding模型
id	string	必填	请求id
data	array of object	必填	embedding结果

示例

返回的嵌入可能如下所示

{
  "data": [
    {
      "embedding": [
        -0.0695386752486229, 0.030681096017360687
      ],
      "index": 0,
      "object": "embedding"
    },
    {
      "embedding": [
        -0.06348952651023865, 0.060446035116910934
      ],
      "index": 5,
      "object": "embedding"
    }
  ],
  "model": "text-embedding-v3",
  "id": "73591b79-d194-9bca-8bb5-xxxxxxxxxxxx"
}