租 GPU 运行开源大模型推理
为这个任务选卡并核价
付款前先核对库存、报价和最低计费时长。来源可能按分钟或按已开始的整小时计费;整小时来源不足一小时也按一小时收费。
卡型由你选择。模型下载和配置会消耗租用时间;结果需主动保存。Workspace 另有开通条件、有效期和存储费用。
自行选择 GPU 并核对报价后再开机。Ollama 部署入口只打开配置,不会自动租卡或扣款。可用环境取决于所选 GPU 和供应商。
准备模型
确认模型许可证允许你的用途,记录仓库、固定版本、量化方式与内存要求。模型权重、KV 缓存和运行开销都需要能放进所选 GPU。公开模型直接下载到所租实例,避免不必要地把权重复制到 Workspace;下载和安装时间可能计入租用费用。
开机前核对计费规则
计费周期由服务端报价决定。分钟来源按分钟向上取整;整小时来源未满一小时也收一小时费用,需要确认后才能开机。开机余额预扣与最低费用是两个不同的数值。可选磁盘和 Workspace 存储可能另行计费。
每小时标价不代表完整模型任务的实测总费用。加载时间、上下文长度、并发数和生成长度都会影响总费用,请以报价和实际用量为准。
连接应用或 Agent
Ollama 加载模型后提供下载 API 和兼容 OpenAI 的接口;连接前在控制台核实实际入口与认证要求。自定义推理框架需要单独安装和验证兼容性。托管模型接口可使用独立的 API 网关。
Agent 可以先读取平台能力与 MCP 文档。租卡仍需要用户授权、足够余额和对报价计费条款的确认。
保存结果并释放实例
销毁前导出结果,实例本地磁盘不是永久存储。如使用 Workspace,请明确保存版本,并核对容量、预算和保留期限。到实例记录确认 GPU 已释放。充值前可查看支付方式和实时价格。