📄 论文研究 · 2 小时前

研究团队为 macOS 虚拟机中的 Metal 能力查询构建进程级兼容层,使 llama.cpp 能选用更新的 Metal 内核。在 M1 Ultra 上,TinyLlama 1.1B 的提示处理速度提升 11.08 倍、token 生成提升 16.36 倍,接近裸机性能的 98%;Gemma 4 12B 的提示处理与生成速度分别提升 7.20 倍和 14.54 倍。


📎 来源:Hacker News 热门(buzzing.cc 中文翻译) | https://github.com/trycua/cua/blob/main/blog/gpu-passthrough-macos-vms.md
🔗 原文:AI大事件