推理状态INFERENCE
--tok/s
离线
当前引擎-
运行状态-
预填充速度-
投机解码-
KV Cache / 上下文-
已解码 / 已处理-
任务-
GPU · RX 7900 XTXROCM
--°C
--W
显存- / - GB
显存峰值 / 利用率-
活跃设备 / 后端-
模型引擎STRATA
-
档位 TIER-
上下文 CTX-
引擎 ENGINE-
均速 MEAN-
剩余显存 FREE-
单元 UNIT-
存储STORAGE
系统SYSTEM
开机时长-
CPU 温度-
负载 1/5/15min-
内存-
服务状态SERVICES
网关GATEWAY
llama-gateway-
活跃后端-