多模态模型 (Multimodal) - 非线智能-NoneLinear技术文档

1. 概述

多模态模型支持处理多种媒体类型，包括：

视觉理解：理解图片内容、OCR、图像描述。
视频分析：提取视频帧、理解视频内容、动作识别。
音频处理：语音识别、音频内容分析。
多模态融合：同时处理多种媒体类型的综合分析。

2. 支持模型概览

您可以访问 模型广场 查看所支持的多模态模型。

3. 使用方式

3.1 基本消息格式

多模态模型通过 messages 中的 content 字段传入多媒体内容。图片支持两种传入方式： 方式一：公网 URL 公网 URL 必须是模型服务可以直接访问的图片地址。请使用真实图片直链，不要使用 https://example.com/image.jpg 这类占位地址，也不要使用需要登录、带防盗链或会跳转到 HTML 页面的地址。

示例从环境变量 NONELINEAR_API_KEY 读取 API Key。运行前先在终端设置：macOS / Linux 执行 export NONELINEAR_API_KEY="你的 API Key"，Windows PowerShell 执行 $env:NONELINEAR_API_KEY="你的 API Key"。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.nonelinear.com.cn/v1",
    api_key=os.environ["NONELINEAR_API_KEY"],
)

image_url = (
    "https://ark-project.tos-cn-beijing.volces.com/doc_image/"
    "seedream4_imageToimage.png"
)

response = client.chat.completions.create(
    model="gpt-5.4-nano",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "请描述这张图片的内容"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": image_url
                    }
                }
            ]
        }
    ]
)
print(response.choices[0].message.content)

方式二：本地图片（Base64 编码）

import os
import base64
from openai import OpenAI

client = OpenAI(
    base_url="https://api.nonelinear.com.cn/v1",
    api_key=os.environ["NONELINEAR_API_KEY"],
)

# 读取并编码本地图片
with open("image.jpg", "rb") as f:
    b64_image = base64.b64encode(f.read()).decode("utf-8")

response = client.chat.completions.create(
    model="gpt-5.4-nano",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "请描述这张图片的内容"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": f"data:image/jpeg;base64,{b64_image}"
                    }
                }
            ]
        }
    ]
)
print(response.choices[0].message.content)

3.2 通用参数说明

参数	类型	说明
`type`	string	内容类型，可选值：`text`（文本）、`image_url`（图片）
`text`	string	当 `type` 为 `text` 时，填写文本内容
`image_url.url`	string	图片的公网 URL，或 `data:{mime};base64,{base64数据}` 格式的本地图片

提示：支持的图片格式：png、jpg/jpeg、webp。

排查建议：如果返回 Error while downloading ... Upstream status code: 404，说明模型服务无法下载你传入的图片 URL。请先在浏览器或脚本中确认该 URL 能直接打开图片，并且响应状态码为 200。