PrismML 今日再次成为新闻焦点，该 AI 初创公司的 CEO 告诉 CNBC 称苹果正在关注该公司的技术。该公司还发布了其 Bonsai 27B 模型，据称可在 iPhone、iPad 和 Mac 上运行。
PrismML 上周首次登上头条，当时 The Information 报道了这家 AI 初创公司。
该报道提到 PrismML 与苹果举行了会议，讨论“如何使用其技术”。
报道还指出 PrismML 的 Bonsai 27B 模型计划于今日发布。
不出所料，PrismML 现已发布该模型：
Bonsai 27B 在 NVIDIA GeForce RTX 5090 上以 1-bit 量化达到最高 163 tok/s，在 Ternary 量化下达到 134 tok/s。在 M5 Max 上，它以 1-bit 量化达到最高 87 tok/s，在 Ternary 量化下达到 58 tok/s。
适配手机的要求比存储数字显示的更为严格。手机永远不会向应用暴露全部内存——一台 12 GB 的 iPhone 仅为模型提供约 6 GB 的设备端可用内存，而且模型还需要与 KV 缓存和激活值共享该预算。没有任何传统的 27B 模型构建能够接近通过这一关。在约 4 GB 大小下，1-bit Bonsai 27B 是首个成功通过并留有工作空间的模型。
新闻稿特别提到在新模型上原生运行于苹果硬件：
Bonsai 27B 通过 MLX 原生运行在苹果设备（Mac、iPhone、iPad）上，并通过 CUDA 运行在 NVIDIA GPU 上，采用为其混合注意力架构构建的自定义低比特内核。模型权重今日以 Apache 2.0 许可发布。随本次发布，我们提供免费的限时开发者预览 API，以便开发者轻松试用我们的模型。
与此同时，PrismML CEO Babak Hassibi 告诉 CNBC 称苹果对 PrismML 的技术感兴趣：
PrismML CEO Babak Hassibi 告诉 CNBC，苹果和其他公司一直在评估该初创公司的模型，并测量其在设备上的速度、能效和性能。
“他们现在正在认真评估我们的技术，”Hassibi 在谈到苹果时说道。
他表示讨论处于非常早期阶段，目前尚不清楚会走向何方，但“事情进展得很顺利”。
苹果没有立即回应置评请求。
您可以在这里了解更多关于 PrismML Bonsai 27B 模型的信息，并在此处阅读 CNBC 文章全文。
我们的看法
这里有必要区分两件事。我们将把评估 PrismML 的声明和技术留给 AI 专家。
至于与苹果的联系，很明显这家 AI 初创公司正在借与苹果的沟通来为其新发布制造热度。
通常明智的做法是将初创公司与苹果之间的任何严肃讨论保持低调。否则，就会制造出强烈怀疑的环境。
无论如何，PrismML 已成功吸引 The Information 和 CNBC 对其最新发布的关注。短期任务完成。
