联发科技正在与 Meta 的 Lllama 2 LLM 合作，直接在移动设备上运行生成式 AI 任务，无需基于云的处理。这样做有几个好处——但也有一个问题。

d3sign/盖蒂图片社

生成式 AI 是最热门的发展技术之一， OpenAI 的 ChatGPT和Google Bard使用生成式 AI 进行聊天，以及Stable Diffusion和DALL-E等图像生成系统。尽管如此，它还是有一定的局限性，因为这些工具需要使用具有数百个 GPU 的基于云的数据中心来执行每个查询所需的计算过程。 

但有一天，您可以直接在移动设备上运行生成式人工智能任务。或者您的联网汽车。或者在客厅、卧室和厨房使用 Amazon Echo、Google Home 或 Apple HomePod 等智能扬声器。

联发科相信这个未来比我们想象的更近。今天，这家台湾半导体公司宣布，它正在与 Meta 合作，移植这家社交巨头的 Lllama 2 LLM，结合该公司最新一代的 APU 和NeuroPilot软件开发平台，在设备上运行生成式 AI 任务，而无需依赖关于外部加工。

当然，有一个问题：这不会完全消除数据中心。由于 LLM 数据集的大小（它们包含的参数数量）和存储系统所需的性能，您仍然需要一个数据中心，尽管数据中心要小得多。 

例如，Llama 2 的“小”数据集有 70 亿个参数，约合 13GB，适合一些基本的生成式 AI 功能。然而，720 亿个参数的更大版本按比例需要更多的存储空间，即使使用高级数据压缩也是如此，这超出了当今智能手机的实际功能。在接下来的几年里，正在开发的 LLM 的大小将很容易达到 Llama 2 或GPT-4的 10 到 100 倍，存储需求达到数百 GB 甚至更高。 

对于智能手机来说，要存储数据并具有足够的 IOPS 来提高数据库性能是很困难的，但对于专门设计的具有快速闪存和 TB RAM 的缓存设备来说肯定不是这样。因此，对于 Llama 2，现在可以在单个机架单元中托管一个为移动设备服务而优化的设备，而无需进行繁重的计算。这不是一部手机，但无论如何它都令人印象深刻！

联发科预计基于 Llama 2 的人工智能应用程序将可用于搭载下一代旗舰 SoC 的智能手机，计划于今年年底上市。

为了让设备上的生成式人工智能访问这些数据集，移动运营商必须依赖低延迟边缘网络——能够快速连接到 5G 塔的小型数据中心/设备柜。这些数据中心将直接驻留在运营商的网络上，因此在智能手机上运行的法学硕士在访问参数数据之前不需要经过许多网络“跳跃”。

除了使用联发科技等专用处理器在设备上运行 AI 工作负载之外，特定领域的 LLM 还可以通过在微型数据中心内以混合方式运行这些缓存设备（在“受限设备边缘”），从而更接近应用程序工作负载。设想。

那么，使用设备端生成式人工智能有哪些好处呢？ 

l 减少延迟： 由于数据是在设备本身上处理的，因此响应时间显着减少，尤其是在参数数据集的频繁访问部分使用本地化缓存方法的情况下。 

l 改进的数据隐私： 通过将数据保留在设备上，该数据（例如用户提交的聊天对话或培训）不会通过数据中心传输；只有模型数据是。

l 提高带宽效率： 如今，生成式人工智能任务需要用户对话中的所有数据来回传输到数据中心。通过本地化处理，大量此类操作发生在设备上。

l 提高操作弹性： 通过设备上生成，即使网络中断，系统也可以继续运行，特别是在设备具有足够大的参数缓存的情况下。

l 能源效率：它不需要数据中心那么多的计算密集型资源，也不需要那么多的能量将数据从设备传输到数据中心。

然而，实现这些好处可能涉及拆分工作负载和使用其他负载平衡技术来减轻集中式数据中心的计算成本和网络开销。

除了对快速连接的边缘数据中心的持续需求（尽管计算和能源需求大大降低）之外，还有另一个问题：法学硕士到底能在当今的硬件上运行多强大？虽然人们不太担心设备上的数据被网络拦截，但如果管理不当，本地设备上的敏感数据会被渗透，这会带来额外的安全风险，以及更新模型的挑战数据并保持大量分布式边缘缓存设备上的数据一致性。 

最后，还有成本：谁将为所有这些迷你边缘数据中心买单？如今边缘网络由边缘服务提供商（例如 Equinix）采用，Netflix 和 Apple 的 iTunes 等服务需要边缘网络，而传统上 AT&T、T-Mobile 或 Verizon 等移动网络运营商则不需要边缘网络。OpenAI/微软、谷歌和 Meta 等生成式人工智能服务提供商需要制定类似的安排。 

设备上的生成式人工智能有很多考虑因素，但很明显科技公司正在考虑它。五年内，您的设备上的智能助手可能会完全独立思考。准备好将人工智能装进你的口袋了吗？它即将到来——而且比大多数人预期的要早得多。