background picture of the home page

Hi,Friend

从零实现一个mini vLLM--生产部署

生产部署:让 mini vLLM 从能跑变成能稳定服务 到上一篇为止,mini vLLM 已经可以通过 OpenAI 风格 API 对外提供服务。 用户可以调用 /v1/completions 或 /v1/chat/completions。非流式请求会等待完整结果,流式请求会通过 SSE 持续返回增

thumbnail of the cover of the post

从零实现一个mini vLLM--API兼容

兼容 OpenAI API:让 mini vLLM 接入真实应用 前面几篇文章里,我们已经把 mini vLLM 的推理内核做得越来越完整。 它现在已经有了请求状态抽象、Scheduler、prefill 和 decode 分离、流式输出、Block Manager、PagedAttention、P

thumbnail of the cover of the post