llmcalc

5 步算出 agentic workload 下的网络带宽需求(派生值全部从架构参数现算)

1选模型 / 粘贴 config.json

模型
KV 精度(部署选择)
权重精度

2部署配置

GPUs per instance
单个模型实例用多少 GPU(TP×PP 之类的聚合)
Instances per machine (DP)
一台机器跑几个独立实例
GPUs per machine (推导)
8

3硬件

GPU 型号
单卡 Peak FP8 dense (PFLOPS)
单卡 HBM (GB)
MFU

4Workload

桶名T (tokens)命中率 h操作

5本地命中率 & 最终带宽

📊 每桶带宽构成

📊 流量一览 (实时)

查看桶
h_local