llama.cpp 和 whisper.cpp作者,在M1 Pro 32G的电脑上同时运行了4个聊天AI,模拟真人Podcast场景。

每个AI都独立运行whisper和 LLaMa 13B

4 个 AI 通过 mmap共享 LLM weights,节省大量内存,允许并行运行多个单独的实例
-- 来源

----------------------
Video is too big
----------------------

via chatGPT中文社区 - Telegram Channel
 
 
Back to Top