KTransformers高性能LLM推理优化框架
清华大学MADSys团队联合趋境科技(Approaching.AI)给出了KTransformers这个全新的开源解决方案。不需要A100/H100多卡集群，单张RTX4090也能跑满血版DeepSe
阅读全文本地部署DeepSeek-R1
1.安装Ollamahttps://ollama.com/本地部署推荐使用开源工具Ollama，既提供命令行界面，又提供图形界面，能够方便地管理和使用本地的AI模型Ollama支持MacOS、Wind
阅读全文