Cortex 是一个兼容 openAI 的本地 AI 服务器，开发人员可以使用它来构建 LLM 应用程序。它与受 Docker 启发的命令行界面和 Typescript 客户端库打包在一起。它可以用作独立服务器，也可以作为库导入
https://github.com/janhq/cortex

GitHub
GitHub - janhq/cortex: Drop-in, local AI alternative to the OpenAI stack. Multi-engine (llama.cpp, TensorRT-LLM). Powers 👋 Jan

Drop-in, local AI alternative to the OpenAI stack. Multi-engine (llama.cpp, TensorRT-LLM). Powers 👋 Jan - janhq/cortex

via 🎉 Efficiency资源干货全收录 - Telegram Channel