article cover

只需7万人民币!清华开源工具打破AI大模型高昂门槛,不需要H100,只需RTX 4090D 科技新闻

清华大学人工智能团队近期对开源项目KTransformers进行了重大更新,成功实现了在低成本硬件上运行全功能的DeepSeek-R1和V3 671B版本。通过仅配备24GB VRAM的RTX 4090D GPU,用户可以在本地环境中以每秒286个标记的速度预处理数据,并达到每秒14个标记的推理生成速度。 这一突破性进展解决了当前AI大模型依赖昂贵云服务器的...
一把老骨头 发布于