随着算力高速提升和模型演进，以机器人和自动驾驶等技术为代表的行动将无处不在，而我们也正处在思考和模型构建从人类转向机器的拐点上，这种转移将产生新范式，并重新定义人机交互的模式。新时代，智能视觉将变得必不可少。

Arm作为全球领先半导体IP供应商，在智能摄像头市场拥有9成以上市占率。日前，Arm在中国市场发布Arm全新智能视觉参考设计，为视觉芯片及系统设计奠定坚实可靠的基础，支持灵活配置，为客户降本增效，使视觉软硬件联合创新成为可能，加速系统开发进程。

另外，Arm发布智能视觉合作伙伴计划，与芯片设计、软件、算法、系统集成等伙伴携手加速视觉系统开发，该计划已吸引了10余家伙伴的加入。

智能视觉将会无处不在

“在模型和行动无处不在的新时代，智能视觉将变得必不可少。”Arm物联网事业部业务拓展副总裁马健（Chloe Ma）如是说。

机器系统必须通过视觉等感官理解周围环境，做出相应决策和行动，视觉信息为自动驾驶和机器人提供了关键的安全和避障能力，这是生死攸关问题。

未来聊天机器人或者伴侣机器人不仅需要高智商，更需要高情商，而机器视觉可以通过捕捉人类的表情、手势和动作，从中理解人类的意图和情感，改善 AI 与人类的沟通和合作。

另外，模型优化也可以借力智能视觉等感知技术，从现实生活中采集真实数据形成更准确的模型，而不仅仅是依赖于文本描述和静态图像。

智能视觉技术将会遍布我们生活每个角落，包括智慧家居、智慧城市、零售和智能制造等领域。

智能家居方面，除了安全监控、智能门禁和个性化的家庭环境体验外，在中国人口老龄化的情况下，关系到千家万户的用例是通过摄像头监测老年人的日常生活，睡眠质量等，并及时报警或提醒看护人员。

智慧城市方面，中国在将视觉技术应用于城市安全监控和智能交通管理方面都处于世界领先地位，智能视觉技术还可以应用于智能化的垃圾处理和回收，达到绿色环保的目的。

零售方面，通过智能摄像头和视觉分析技术，可以进行人流统计和行为分析，有助于优化商店布局，推广策略和服务响应，提升顾客体验和销售效益。

智能制造方面，智能视觉在监测和质量控制、自动化导航和定位、工艺控制和辅助操作等方面都具有广泛的应用，可以提高生产线的效率、质量和安全性，为制造业带来了更高的竞争力和生产效益。

从趋势上来看，智能视觉正朝向几个方面发展：一是云、边、端协同，二是会由AI加持，三是大算力支持，四是隐私和安全性将愈发重要。

从架构上来看，智能视觉芯片从功能固定难以编程的DSP和ASK，到通用性强易编程的CPU，再到现在综合CPU、GPU（图形处理器）、ISP（图像处理器）、NPU AI加速器、VPU（视频编解码器）的异构SoC片上系统，逐步实现低功耗、高性能和高度集成的特点。适用于资源受限的边缘设备，比如智能手机、摄像头、XR，机器人和物联网设备等。

中国对视觉设备需求及在视觉技术方面创新都稳步增长，而Arm则正从处理器和系统IP向半成品的方式转变，也就是预先经过集成和验证的子系统。

这种新设计方式和产品形态选用Arm广泛应用于智能视觉领域的处理器和系统IP，构建出相对标准化的IP组合，并经过预先验证，辅以该子系统的Arm虚拟硬件，参考软件栈，形成了设计智能视觉系统的坚实的系统技术平台，使创新者们不需要从零开始，可以专注于产品的差异化，快速将自己的想法转化为产品并推向市场，显著降低芯片开发的成本和风险，并大幅度缩短研发周期。由于这种参考设计是半成品，Arm也会根据应用的需求集成第三方IP，给予客户足够的灵活性和选择，以支持差异化创新。

Arm与安谋科技在中国市场发布最新集Arm与安谋科技IP于一体的智能视觉参考设计便印证了这种改变，方案内包括CPU、ISP、NPU和VPU处理器选项及将这些元件粘合在一起的子系统IP。

Arm与安谋科技的强强联合

新一代智能视觉参考设计首次将Arm的IP与安谋科技的IP合在一起，并由安谋科技预先集成和预先验证。由于中国视觉市场在世界上的领先地位以及创新活跃度，Arm智能视觉参考设计将服务于中国市场。

Arm智能视觉参考设计的优势是通过让合作伙伴将第三方IP集成到Arm解决方案系统，助力合作伙伴添加其差异化产品（如：VPU）。这套参考设计将业内领先的Arm IP与安谋科技自研IP进行集成，确保为广大中国客户带来他们所需的性能和灵活性，其中包括：

• Arm Corstone-1000：整合Cortex-A、Cortex-M处理器与内建安全性，为不同应用在受限的功耗范围内提供效率及高性能；
• Arm Corstone-300：为机器学习工作负载提供“永远在线”的低功耗子系统；
• Arm Mali-C55图像信号处理器（ISP）：在极小的芯片面积条件下，提供可配置、高能效、高性能的图像质量；
• “玲珑”V5视频处理器：支持紧凑的、多格式(例如H.264、H.265)且高效能的视频编解码处理；
• “周易”NPU：为广泛的机器学习用例提供高达4TOPS的性能表现，并且支持业界主流的AI规模框架，例如Tensorflow等。

具体来说，Arm Corstone是一套预先经过集成并验证的子系统，是Arm物联网解决方案的根基。Corstone子系统旨在加速芯片产品流片和量产，使设计者可以专注于增强自己的差异化。Corstone-1000是首款为Cortex-A设计的子系统，该方案基本配置是经过量产考验的Cortex-A35或Cortex-A53，并取得了Arm SystemReady IR认证，确保Linux等操作系统的开机即用，并简化软件开发。Corstone-300在智能视觉参考设计中，作为低功耗待机子系统，降低边缘设备的功耗，提高系统效率。

参考设计中ISP选用的是Arm去年六月发布的Mali-C55，是Arm迄今为止面积最小、功耗最低、且可配置性最高的ISP产品。Mali-C55提供升级的图像质量功能，可以在各种不同的照片和天气条件下工作。像其他Arm产品一样，Mali-C55拥有全方位的软件工具支持，包括软件驱动实现自动曝光、自动白平衡、自动对焦的3A库以及全套调校和校准工具，并有Arm批准的ISP调优合作伙伴助力客户达到最优画质。

参考设计采用了安谋科技自研的“玲珑”VPU和“周易”NPU 。根据安谋科技智能物联及汽车业务线负责人赵永超介绍，安谋科技目前已完成两代VPU产品的研发，增加了AVS2和AV1的格式，满足行业对标准的需求。此外，V5、V7的HEVC编码质量提升了15%，对比V5、V7，全新一代视频处理器“玲珑”V6、V8的H.264编码质量提升了10%，现已经全面达到并高于行业客户对编码质量的要求。与此同时， “玲珑”VPU增加了按任意比例缩放优化的后处理，增加了OSD的前处理和YUV到RGB的后处理等。“玲珑”VPU软件可编程，在硬件量产后仍然可以进行优化和迭代，并根据客户的需求进行升级。由于AFBC(Arm Frame Buffer Compression, Arm系统层面上的无损压缩)的支持，“玲珑”VPU可以降低35%的带宽。

 “周易”NPU则是灵活可配置的人工智能加速器，可根据客户和市场需求配置出1~30TOPS的处理性能，在4TOPS的典型配置下，在16nm工艺上实现面积只有3.3个平方毫米。“周易”NPU可以支持多种典型的深度学习框架，如Tensorflow、Caffe、Pytorch等。目前它已针对100多种算子算法进行了优化适配，表现出了出色性能，包括常见的CNN网络以及Transformer网络，并已经完成了对ChatGPT大模型的适配。“周易”NPU已在多家客户落地量产，产品应用涵盖了汽车智能座舱、自动驾驶、智能物联网、安防监控等多个行业应用。

全面服务于中国市场的方案

在发布智能视觉参考设计的同时，Arm也开始组建Arm智能视觉合作伙伴计划。智能视觉参考设计目标受众通常是边缘AI领域公司初创公司、跨界创新公司或是希望进行垂直整合的系统公司。由于种种原因，这些公司并不拥有涵盖所有芯片架构前端、后端设计师的庞大团队，他们在视觉领域的第一颗芯片通常要借力于芯片设计公司，通过这项生态计划，Arm希望使芯片设计服务伙伴们能够访问并熟悉Arm的参考设计，并在参考设计的基础上快速流片，助力客户推出满足SystemReady和PSA安全标准的芯片。

安全是物联网的一个根本基础，而不是可有可无的，尤其在在智能视觉方面，谁都不想被偷窥。Arm分别从认证标准、IP实践、到软件赋能等面向，助力产业安全达标：

• 在认证标准方面，Arm持续推动安全性最佳实践的共同标准，如PSA Certified与PARSEC等。由Arm等公司牵头构建的PSA Certified是一个全球项目，并积极地将安全最佳实践大规模地应用于设备。得益于安全框架和认证计划，PSA Certified为原本非常分散的市场带来了针对物联网安全解决方案的整合。PSA Certified对安全的信任根(RoT)的含义进行了标准化，目前，包括70款芯片在内的100余个产品均采用了这一标准，为全球物联网开发者简化了建立在RoT基础上的物联网安全开发。安全的标准化对于生态系统的蓬勃发展是至关重要的，也是必不可少的；
• 在IP实践方面，Arm通过包括适用于Cortex-A与Cortex-M的Arm TrustZone等产品组合令最终客户可以放心部署从云到端的物联网应用。TrustZone旨在保护敏感程序代码和数据在CPU中的硬件强制隔离。作为建立PSA-RoT的起点之一，它可在同一芯片内提供安全（可信）和非安全（不可信）区域。TrustZone在2004年就已应用于应用级处理器，并于2016年被添加到Cortex-M系列中，成为在简单、低功耗的物联网终端以及更复杂的设备中实现隔离的可行选择。今年新推出的ArmCortex-M85也搭载了TrustZone技术，以增强安全性。此外，它还包括了指针认证和分支目标识别(Pointer Authentication and Branch Target Identification, PACBTI)，这一全新架构功能具备增强的软件攻击威胁缓解能力，有助于实现物联网部署的安全基线PSACertifiedLevel2；
• 在软件赋能方面，Arm在提供卓越的硬件安全功能的同时，也为一些关键的开源软件项目做出了贡献，从而确保软件开发者能够轻松且一致地访问和集成PSA Certified规定的关键基础安全功能，这些功能也充分利用了TrustZone等类似功能。

此外，在云的互联方面，Arm的解决方案已集成参考软件栈，并预先验证一些主流云服务合作商的互联。视觉和高清图像数据量极大，各种复杂模型和操作让整个系统算力要求提升巨大，这就需要计算和决策在云、边、端均衡配置，协同工作。此外，未来视觉系统不可缺少人工智能AI和机器学习ML的加持，AI 模型要经过不断的训练才能保持它的准确度，而训练通常是在云端进行，在云端训练好的模型必须能够持续下放到边缘侧，这也是为什么我们必须要保证和云的连接。

根据马健介绍，此次之所以联合Arm与安谋科技，有两个考量。

一个考量在于Arm关注如何为客户专攻的应用领域提供最合适的解决方案，Arm服务视觉市场已有多年历史，近年客户不仅使用Arm CPU，也会使用包括Arm在内的ISP、NPU加速器及VPU、GPU、安全等IP，差异化是客户重点追求方向之一，而中国市场竞争激烈，视觉系统设计者和制造商都必须能够把自己最新的想法和差异化尽快地达到量产的水平，推向市场，此次发布的参考设计展示出第三方IP能与现有Arm IP整合的范式。

另外一个考量在于客户可能会有创新的想法来加入其它第三方IP，由于安谋科技参与了这个参考设计的集成和验证，对产品有高度的熟悉度，也有研发团队可以帮助对这个参考设计有兴趣的客户进行第三方IP的集成。

马健强调，中国市场对于视觉的应用和创新水平都在世界上处于领先地位，而且也听到很多中国的Arm合作伙伴的反馈，他们普遍认为中国很多的IPC视觉系统已经达到了红海市场。怎样才能让合作伙伴能够聚焦于他们的差异化，而不是去做很多重复性的基础IP整合工作、基础软件的开发工作，这其实就是Arm和安谋科技携手合作推出Arm智能视觉参考设计的初衷，这也非常符合中国的特点。

文/付斌