平台总览
最后更新:2026-04-02 14:38:05 · 每60秒自动刷新
活跃模型
48个
8.3%较昨日
今日调用量
285万次
15.7%较昨日
GPU 利用率
78.4%
2.1%较昨日
在线节点
126个
3.2%较昨日
Token 消耗
1.28亿
22.4%较昨日
API 成功率
99.6%
0.2%较昨日
调用量趋势
今日24小时调用量与成功量对比
调用总量成功量
GPU 资源分布
各型号GPU卡占比
A100 80G
34 张H100 80G
18 张V100 32G
26 张T4 16G
15 张RTX 4090
7 张各集群 GPU 利用率
按集群划分各型号 GPU 利用率对比
- A100 80G
- H100 80G
- T4 16G
- V100 32G
最近告警
查看全部GPU 显存使用率超 85%
compute-node-075分钟前
集群 cluster-prod-02 扩容完成
cluster-prod-0212分钟前
推理引擎异常重启
infer-engine-0328分钟前
节点 CPU 负载超 90%
compute-node-1545分钟前
模型 Qwen2.5-7B 部署成功
model-service1小时前
热门模型 Top 5
按今日调用量排名
| 排名 | 模型名称 | 类型 | 今日调用量 | 平均延迟 | 成功率 | GPU类型 |
|---|---|---|---|---|---|---|
| 1 | Qwen2.5-72B-Instruct | 对话 | 845,230 | 182ms | 99.8% | A100 80G |
| 2 | DeepSeek-V3-Chat | 对话 | 623,810 | 210ms | 99.6% | H100 80G |
| 3 | BAAI/bge-m3 | 嵌入 | 412,560 | 45ms | 99.9% | V100 32G |
| 4 | Qwen2.5-VL-7B | 图像 | 387,490 | 356ms | 99.2% | A100 80G |
| 5 | CosyVoice2-0.5B | 语音 | 298,140 | 128ms | 99.7% | T4 16G |
快速部署模型
一键部署至推理节点
新增集群
创建并配置新集群
查看监控
实时监控算力状态
生成报告
导出运营分析报告