vllm 部署的 glm4 能使用 tool call 吗？
#84
by hiert - opened
vllm 部署的 glm4 能使用 tool call 吗？当前只看到 qwen 2.5 有 tool call 的功能
同问，在另一个帖子看到说有支持vllm的方案，但是我没有搜到
vLLM支持的是chat，不是FC
vLLM支持的是chat，不是FC
我今天试着改了chat-template和tool-parser，感觉应该差不多。我感觉问题好像出在glm4默认的chat-template的格式和OPENAI的不太一致，chat-template会去循环messages之后从message中获取tools，但是接口过来以后tools和messages是同一级，我改了以后进去了，但是解析还有问题，明天再改一下。
Great discussion! For anyone wanting to quickly test this, Crazyrouter offers API access to this model. No infrastructure setup needed — just an API key and the standard OpenAI SDK.