Hailo-10H 和 FuriosaAI 芯片亮相，推动 AI 应用迈向新高度

在当今科技飞速发展的时代，人工智能芯片领域正迎来新的突破。人工智能芯片初创公司 Hailo Technologies Ltd. 宣布推出其第二代 AI 加速器 Hailo - 10H，这款芯片具有强大的生成 AI 功能。

Hailo - 10H 引入了新的设备功能，涵盖大型语言模型、视觉语言模型和其他生成架构，且无需依赖云连接。它以公司之前专注于视觉 AI 任务的 Hailo - 8 处理器的成功为基础，增加了对生成式 AI 的支持，同时保留了针对边缘环境优化的节能设计。典型功耗仅为 2.5 瓦，这使得它能支持从个人设备、智能家居系统到汽车和电信基础设施等各种产品中的复杂 AI 应用。

Hailo 首席执行官兼联合创始人 Orr Danon 表示：“随着 Hailo - 10H 现已开放订购，我们朝着让人工智能惠及所有人的使命又迈出了重要一步。这是首款将真正的生成式人工智能性能带到边缘的独立人工智能处理器，兼具高效率、高性价比和强大的软件生态系统。”

Hailo - 10H 与 Hailo 现有的软件堆栈完全兼容，并受益于每月超过 10,000 名用户的全球开发者社区的支持。该芯片使开发人员能够直接在边缘设备上运行最先进的视觉和生成式 AI 模型，实现超低延迟的实时响应。它还支持超低延迟的实时部署 AI 模型，在不到一秒的时间内实现首个 token 的生成，并在 2B 参数模型上每秒处理超过 10 个 token。在视频用例中，使用 YOLOv11m 等模型实现了 4K 物体检测的领先性能。

通过实现本地处理，Hailo - 10H 可以改善数据隐私，减少对云端 AI 服务的依赖，从而有助于降低运营成本。该芯片符合 AEC - Q100 2 级汽车标准，计划于 2026 年投入量产，应用于驾驶舱显示器和驾驶员监控单元等汽车系统。

Halio 是一家由风险投资支持的初创公司，已在九轮融资中筹集了 5.64 亿美元，其投资者包括 SKC Co. Ltd.、5AM Ventures LP 等。

与此同时，韩国人工智能芯片初创公司 FuriosaAI 也赢得了 LG 的青睐。本周，LG 的人工智能研究部门利用其人工智能加速器为运行 Exaone 系列大型语言模型的服务器提供动力。LG 选择 Furiosa 的 RNGD 推理加速器并非为了速度和数据反馈，而是为了功耗效率。

LG AI 研究部门产品部门负责人 Kijeong Jeon 表示： “RNGD 提供了一系列引人注目的优势：出色的实际性能、大幅降低的总体拥有成本以及令人惊讶的简单集成。”

虽然 RNGD 的浮点性能在 256 到 512 teraFLOPS 之间，内存容量一对 HBM3 显存堆栈只有 48GB，带宽大约为 1.5TB/s，与 AMD 和 Nvidia 的最新 GPU 相比竞争力似乎不强，但 Furiosa 仅用 180 瓦的功率就完成了所有这些工作。LG 的研究人员在测试中发现，在其自主研发的 Exaone 系列模型上，这些部件的能效比 LLM 推理 GPU 高达 2.25 倍。

FuriosaAI 首席执行官 June Paik 将公司的效率优势很大程度上归功于 RNGD 的张量收缩处理器架构，该架构执行矩阵乘法所需的指令要少得多，并且最大限度地减少了数据移动。同时，RNGD 对 HBM 的使用也比依赖 GDDR 所需的功率小得多。

LG AI 使用了四块张量并行配置的 RNGD PCIe 卡，以 16 位精度运行其内部的 Exaone 32B 模型。LG 在验证该芯片的可用性时，设定了非常具体的性能目标，包括第一个令牌的时间（TTFT）等。

FuriosaAI 的芯片足够好，LG 的 AI 研究部门现在计划向使用其 Exaone 型号的企业提供由 RNGD 驱动的服务器。不过，Furiosa 要在全球范围内竞争仍面临一些挑战，如 Nvidia 和 AMD 的最新 GPU 不仅性能、内存容量和带宽更高，且据估计能效也更高。但 FuriosaAI 首席执行官 June Paik 坚信，公司成功证明了其张量压缩处理器架构、HBM 集成和软件堆栈后，扩大架构后将能与所有最新的 GPU 芯片竞争。