古董重生：微软游戏机Xbox 360成功运行Meta AI的Llama语言模型

Meta AI的Llama语言模型现在能够在一台拥有近20年历史的Xbox 360上运行，这得益于开发者的不懈努力。开源项目llama2.c旨在通过C代码实现Llama 2模型的轻量化版本，使得几乎任何带有芯片的设备都能运行人工智能技术，展示了AI工具日益增长的可访问性和灵活性。

受到Exo实验室在古老奔腾II上的成功的启发，开发者Andrei David选择了更为挑战性的任务：让Xbox 360加载Meta AI的Llama系列模型。尽管面临重大障碍，如PowerPC CPU的大端架构需要对模型配置和权重进行字节序转换，以及内存管理问题，David还是成功地完成了这一壮举。

Xbox 360的统一内存架构要求将60MB的Llama 2模型精心适配到CPU和GPU共享的RAM中。David指出，这种设计在当时是超前的，并且为现代游戏控制台和APU的标准内存管理技术奠定了基础。

最终，在经过大量编码和优化后，David成功地在Xbox 360上运行了Llama 2模型，使用简单的提示“睡眠乔说”作为测试。尽管Llama 2模型仅由700行C代码组成且不依赖外部库，但David表示，针对特定领域定制时，它可以提供惊人的性能表现。

此次实验不仅证明了老旧硬件上运行复杂AI模型的可能性，还激发了其他开发者尝试类似项目。例如，有人提出微软旧控制台上的512MB内存可能足以支持其他小型LLM实现，如Hugging Face的smolLM。随着更多开发者加入这一探索，未来我们可能会看到更多关于老旧硬件上的AI创新。