jina-reranker-v3模型部署

张开发
2026/6/5 23:27:19 15 分钟阅读
jina-reranker-v3模型部署
👉jina-reranker-v3 = 用 transformers / sentence-transformers 部署👉 ❌ 不用 vLLM👉 ❌ 不走 OpenAI API server🚀 推荐部署方案(按实用性排序)🥇 方案1:FastAPI + transformers(生产可用 ✅)👉 这是你现在最适合的(能接 Cosu)✅ 1. 安装pipinstalltransformers torch fastapi uvicorn✅ 2. 最小可用服务fromfastapiimportFastAPIfrompydanticimportBaseModel

更多文章