行业新闻 (News) 芯片封装主页/ 行业新闻 / 加速端点推理
< 返回列表

加速端点推理

即使机器学习生态系统的其余部分尚未建立,芯片制造商也准备为端点设备推出芯片。

大多数主要汽车制造商,银行,云计算,边缘计算网关或公司内部特定数据中心目前存在什么基础设施,大多数公司都在继续使用。例如,特斯拉拥有自己的数据中心。虽然每个流程都已转移到公共云中,但大部分数据都是出于隐私原因而保留的。

相机,医疗设备和汽车中的各种其他传感器中的终点传感器开始产生如此多的数据,以至于无法远程处理所有数据。它也是功耗太大,它可能带来安全风险。将数据传输到集中处理设施的时间和带宽太长,而且耗时太长。

(图片来自ay ay的 Gerd Altmann )

但是,端点设备设计人员正在努力理解并创造出能够在保持设备功能的同时实现感染性能的承诺提升的方法。起初很慢。

端点设备生成要在上游传送的数据另一端到连接到网络的网络主要功能与数据网络无关。 ,管理或处理。

一个典型的例子是智能安全摄像头,它被设置为一个门,院子或其他易受攻击区域的恒定监视器。这些设备中的大多数可以识别相隔微秒拍摄的图像的移动或重大变化相反,将视频发送到云进行分析需要花费更多的时间。确定门是打开还是关闭的权力,并使用授权徽章或面部识别来知道他们何时有权这样做。

为数据中心设计的芯片与Arteris IP营销副总裁Kurt Shuler 截然不同 。专为汽车辅助驱动系统设计的SoC是复杂的多芯片设计,“具有显着的功率预算,但在不引起冷却问题的情况下仍然不能燃烧超过300瓦,”Shuler说。

“神经网络传统上被认为是一种高性能计算平台,因为需要大量的资源,”“不要与人工智能/ 机器学习的培训方面混淆,”“推理将实际数据与训练数据算法进行比较。 IHS Markit的嵌入式处理器技术首席分析师Tom Hackenberg表示,“但人工智能培训仍然是一个基于MPU的应用程序 - 在数据中心,但主要存储在服务器中,处理器仍然非常漂亮”。大部分推断都是在数据中心完成的,但市场上只有不到5%的服务器拥有图形加速器或其他形式的加速器。“

Flex Logix首席执行官Geoff Tate表示,芯片制造商将慢慢开始适应数十亿美元数据中心冷漠市场开发的技术,以及各种各样的终端设备。

“最初的设备开始出现在你需要一位数瓦特和两位数美元芯片的地方,他们正在尝试做对象检测和识别等事情,”Tate tot半导体半导体工程公司在最近的视频中说道。这是所有数据将最终生成到互联网数据中心的地方。其中一些必须在本地处理,因为有太多的搬家。“

这意味着终端摄像机有一天必须能够以每秒30帧的速度处理200万像素的图像 - 流量乘以Tate和其他人在全球数亿人中估计的相机数量。

你处在边缘,你有一台摄像机。你有一台摄像机。你处于边缘,你有一台摄像机。我必须一次处理一个图像,而且许多当前的架构都做得不好。“

处理必须是“如果[端点设备]的采用范围很广,那么我们谈过的每个人都说没有足够的带宽进入数据中心。 “如果你在做推断,没有理由去这里设备。如果你看看像WalMart或富国银行这样的公司,他们已经有了相机。他们是什么'现在重新寻找更详细的分析。“

对乘法/累加运算的强大支持至关重要,对视觉和音频识别的良好支持也是如此,这是对客户最高需求的功能。

“在这个层面上从未做过这样的事情。边缘从来没有真正作为一种概念存在,而只是作为一种客户端 - 服务器类型的方法。”“这里没有路线图,”泰特说。

定义条款 虽然端点设备和云计算目前已广泛使用,但其中的各个部分之间存在巨大的空间。它被称为边缘,雾,中频,并且在不同时间包括端点设备和公司数据中心都与它们混在一起。

但至少在概念上还有边缘服务器和边缘云。有些人将边缘定义为不是云的任何东西。

“从小型数据中心到基于微控制器的物体,人们正在呼唤各种各样的东西,”Arm研究员Rob Aitken说道,“不同的将会有更多不同,但是定义中的挑战是哪些模型有进展。“

“每个人都同意这一切都是为了潜力”,Mythic的工程副总裁Ty Garibay从电源的角度来看待它,因为电池电源边缘设备不同于带有内燃机插头的设备。如果您是系统级客户,您可能会制作一些设备来将视频流式传输到云端,边缘处理必须能够处理流式视频并在热量和功率范围内进行处理。作为私人网络一部分的解决方案。“

“如果你想到一辆汽车,这是一个类似于终点的汽车,那么存储空间很小。这意味着你需要做一切或者所有大型存储都在云端。“

因此,简单的人工智能就是“人们做边缘设备的趋势是包含多个设备”如果这很有趣,那么它将启动真正的计算引擎,它会做一些事情。“可以检测到下一阶段的动作,这可能会转向识别。

然而,有许多可能性和排列,对于未来可能存在混淆,术语与技术一起发展。

需求开始获得实际供应 自从苹果于2017年宣布将在iPhone X中加入“神经引擎”以改善Face ID的性能以来,对机器学习应用的需求猛增。从那时起,它一直在推动对复杂的机器学习驱动功能的需求。到2023年,根据19组的小组,到目前为止,只有不到一半的服务器和19亿个客户端设备将包含深度学习加速器芯片。 深度学习的处理器 。

Apple的A11和A12处理器,三星Exynos 9810,华为麒麟的970和980,高通的Snapdragon 845和联发科技的Helio P90以及Cadence P6神经网络

推理加速器也出现在智能扬声器和其他智能家居设备中使用的语音助手,以及家庭安全摄像头,环形智能门铃,包括智能驾驶智能设备的消费者物联网设备建筑环境监测。

机器学习启用未来的承诺激发了现有供应商的大量特定产品开发,以及针对机器学习市场末端的众多初创公司和衍生产品的进入很难保持一份清单。根据Arteris IP的Shuler,有超过90家创业公司是最新的。

英特尔宣布推出一系列低价线上引擎,专为网络周边的服务器和网关而设计。英特尔宣布推出一系列低功耗Xeon和一系列专为小型计算机设计的10-nm FPGA芯片。

eFPGA和IP提供商FlexLogix宣布推出InferX X1 ,这是一款高能效,图像优化的推理协处理器,旨在为边缘网关,低端服务器和其他高性能边缘设备增加机器学习能力。

有一天很重要 
然而,很容易高估机器学习的真实程度。

IHS Markit的Hackenberg说:“这是小型半导体产品的增长,与大多数非专业半导体产品相比,这些小型半导体产品已针对AI应用进行了三位数优化。”在许多应用中占1%的市场份额。在ADAS的汽车市场中,它的价格更高,但汽车中的大多数控制系统都依赖于普通的MCU,而不是加速器,而不是ADAS。

“有很多炒作和很多混乱,因为我们正在处理一个真正的革命性技术,它已经启用了许多新的用例,并允许我们以更简单的方式做事,但更复杂,我们都非常兴奋,但不管它是什么,这是一项令人兴奋的技术,它将真正改变我们以及我们非常有效地做事的方式。一项技术不是万能的答案。“

“每个人都在尝试用机器学习做所有事情并假设它能解决所有问题,但我不确定。”你需要部署的所有东西都需要机器学习算法,“Mizrahi说。 

数据很重 在端点设备中运行的一个潜在优势是设备的潜力可以解决诸如连接太多设备和要求它们进行通信所带来的大量数据之类的问题。

门是否关闭?门是否关闭?门是否关闭?门是否关闭?门是否打开?门是否关闭?门是否打开?门是否关闭?门是否打开?门是否关闭?安全摄像头实际上是我在向云端发送任何内容时遇到很多隐私问题的领域之一。边缘处理设备可以缓解这些问题,然后摄像头可以在本地处理数据,与进程一起运行需要保护它,并将相关信息发送到云中的应用程序。“

“如果你开车一整天,你就到家了,你有一些事情可以通过交易知道一些事情。”然而,目前尚不清楚识别传入数据或知道如何处理数据的能力。如果您可以用成本替换分析速度,那么您可能不是最重要的方法。如果您可以用成本替换分析速度。您不需要非常大的引擎。您可以在后台或物联网设备上,或在汽车或其他引擎组件中运行该过程。“

结论 机器学习通过计算系统缓慢但无情地传播,但并不能为每个设备的每个人创造相同的优势。

“在不久的将来,每个处理器供应商都将拥有某种协处理器或边缘设备,”“我是一个快速增长的市场,我们很可能会在不久的将来看到大多数推断和培训传递给某种协处理器或边缘设备”但对AI应用程序的要求并非一刀切。许多应用程序在标准标量应用程序中运行良好。“

Mizrahi说,任何机器学习努力的真正价值潜力不在于计算机会自动学习如何模仿人类的决定或行为。想到了。

Mizrahi说:“机器学习具有很大的潜力,即使是笨重,蛮力的应用也能引人注目,”这个过程有很多价值;能够连接所有的点来创造清晰的画面。我希望我们能从一台可以大规模做同样事情的机器中获得更多。

  • 联系长芯

    重庆总部:重庆市长寿区新市街道新富大道5号佳禾工业园8栋2层
    电话:023 40819981 (前台)

    深圳办事处:深圳市南山区留仙大道 1213 号众冠红花岭工业南区 2 区 1 栋 1 楼
    电话:0755-26975877 (前台)

    电子邮件:sales@longcore.com

    网址:http://www.longcore.com