产品概述
内置Gpustack
支持各种模型，包括LLM、多模态VLM、图像模型、语音模型、文本嵌入模型和重排序模型。
模拟市场
内置上百款主流模型，一键安装，自动下载，自动启动。
分布式推理
支持多机集群，单机和多机多卡并行推理。
自动调度
根据可用资源动态分配模型
技术参数
| 组件名称 | 规格参数 | |||
| 产品型号 | deepseek R1-32B版 | |||
| 产品性能 | 120Token/s（FP16) | |||
| 并发数 | 支持4路并发 | |||
| Token产能 | 8640000 token/天（24H） | |||
| 推荐人数 | 10人以内 | |||
| 总算力 | 142TFLOPS（FP16) | |||
| 显存池 | 24G | |||
| 外部网络端口 | 1个1000M网口 | |||
| 输入电压 | AC：100-264Vac，50-60Hz | |||
| 总功耗 | 700W(满载） | |||
| 总重量 | 8KG | |||
| 工作环境温度 | 0~40°C | |||
| 尺寸 | 200.5mm(高）*280mm（宽）*330mm（深） | |||
| 组件名称 | 规格参数 | |||
| 产品型号 | deepseek R1-32B版 | |||
| 产品性能 | 120Token/s（FP16) | |||
| 并发数 | 支持4路并发 | |||
| Token产能 | 8640000 token/天（24H） | |||
| 推荐人数 | 10人以内 | |||
| 总算力 | 142TFLOPS（FP16) | |||
| 显存池 | 24G | |||
| 外部网络端口 | 1个1000M网口 | |||
| 输入电压 | AC：100-264Vac，50-60Hz | |||
| 总功耗 | 700W(满载） | |||
| 总重量 | 8KG | |||
| 工作环境温度 | 0~40°C | |||
| 尺寸 | 200.5mm(高）*280mm（宽）*330mm（深） | |||