Ollama 0.2已发布更新
1. 并行请求,可同时请求多个服务,每个请求仅占用少量内存。可支持同时处理多个聊天会话、为团队托管代码完成LLMs、同时处理文档的不同部分和同时运行多个代理。
2. 运行多个模型,并增强了RAG功能(嵌入模型和文本完成模型可以同时加载到内存中)。
3. 根据请求和可用 GPU 内存量自动加载和停止运行模型。
Ollama
关注频道 @ZaiHuaPd
频道爆料 @ZaiHuabot
via 软件新闻频道📮投稿爆料 - Telegram Channel
1. 并行请求,可同时请求多个服务,每个请求仅占用少量内存。可支持同时处理多个聊天会话、为团队托管代码完成LLMs、同时处理文档的不同部分和同时运行多个代理。
2. 运行多个模型,并增强了RAG功能(嵌入模型和文本完成模型可以同时加载到内存中)。
3. 根据请求和可用 GPU 内存量自动加载和停止运行模型。
Ollama
关注频道 @ZaiHuaPd
频道爆料 @ZaiHuabot
via 软件新闻频道📮投稿爆料 - Telegram Channel