PyInferenceManager 1.3.0 发布：本地与云端 LLM 推理编排库

Mullassery 发布 PyInferenceManager 1.3.0（Beta），一个多供应商 LLM 推理编排库，Rust 核心约 11k 行加 PyO3 绑定，按任务复杂度、隐私和成本在本地 Ollama/vLLM 与 Anthropic Claude、OpenAI、Google Gemini、OpenRouter 之间路由，带硬预算上限、指数退避重试和语义缓存。支持 run_concurrent() 有界并发批处理、MCP 工具和硬件画像，privacy="high" 强制本地执行；作者实测与 LiteLLM 在同一本地 qwen2.5:7b-instruct 上延迟相当，差异在路由、预算与重试能力而非速度。