TnzGit
可实时采集并展示解码吞吐、首Token延迟、预填充吞吐等核心大模型推理指标，部署轻量，无需复杂配置即可直观查看模型运行性能状态。
JavaScript
0
0