IBM透露AI芯片采用8位浮点计算的突破性研究成果
国际电子设备会议（IEDM）和蒙特利尔神经信息处理系统会议（NeurlPS）在旧金山月举办，这对于那些期望理解上人工智能研发进展的人来说是一个很好的机会。IBM研究人员在活动上详尽讲解了数字和仿真AI芯片的AI新方法。 IBM称之为，它的数字AI芯片“首次使用8位浮点数顺利训练了深度神经网络（DNN），同时在一系列深度自学模型和数据集上几乎维持了准确性。”另外，IBM研究人员在IEDM大会上展出了一个仿真AI芯片，该芯片使用了8位精度的内存乘法以及热力学内存。
国际电子设备会议（IEDM）和蒙特利尔神经信息处理系统会议（NeurlPS）在旧金山月举办，这对于那些期望理解上人工智能研发进展的人来说是一个很好的机会。IBM研究人员在活动上详尽讲解了数字和仿真AI芯片的AI新方法。
IBM称之为，它的数字AI芯片“首次使用8位浮点数顺利训练了深度神经网络（DNN），同时在一系列深度自学模型和数据集上几乎维持了准确性。”另外，IBM研究人员在IEDM大会上展出了一个仿真AI芯片，该芯片使用了8位精度的内存乘法以及热力学内存。IBM副总裁、Research－Almaden实验室主管JeffreyWelser说道：“我们显然指出我们正在做到的所有这些工作——例如企图减少精度以使性能下降、功率有可能上升——对于之后前进AI十分最重要。”Weiser说道，这是至关重要的，因为世界正在从“狭小的人工智能”（例如用于人工智能在互联网上辨识一只猫）改变为“更加广义的人工智能”（例如我们分析医学图像，或者我们想需要将文本和图像信息统合在一起以明确提出解决方案）。
”他补足说道：“所有这些更加普遍的问题必须更加大规模的神经网络、更大的数据集和多模态数据集......［为此］我们必须转变架构和硬件来构建这一切。”Weiser将IBM本周公布的两篇论文称作“一系列有意思的进展”，让该行业南北［更加广义的AI］未来。
LinleyGwennap总裁兼首席分析师LinleyGwennap回应：“机器学习之后很快发展，现有硬件无法有效地应付研究人员建构的仅次于神经网络，因此他们正在找寻各种新方法来提升性能和效率。”Gwennap补足道，这些新的发展将给硬件厂商带给极大压力，因为芯片公司“必需灵活性、较慢地在这个恐慌的市场中存活下来”。
人工智能的GPU时代早已完结IBM大胆预测，GPU在AI中的主导地位正在完结。Welser说道：“GPU需要为图形处理展开大量的分段矩阵乘法运算，这种矩阵乘法恰巧与神经网络所需的完全相同。“在他显然，“这有点凑巧，但十分最重要。
因为没那些［GPU］，我们总有一天无法超过我们2020-03-30 在AI性能方面早已超过的性能水平。”但是，Welser补足说道，”随着我们早已掌控了更加关于如何构建人工智能的科学知识，我们也在找寻设计出更高效硬件的方法和途径。”减少精度提高效率的一个途径是减少AI处置所需的精度。
Welser说明说道：“几年前，我们都开始意识到的一个大方向是，虽然我们习惯于十分准确的计算出来——32位计算出来浮点是十分标准的，甚至是64位，对于十分准确的计算出来来说计算出来浮点要翻一番——但这在AI中却不一定是很最重要的。”他特别强调说道，在AI中“你对于神经网络只关心当你展出一个图像或单词时否获得了准确的答案。当我们发问这是猫还是狗时，它说道这是一只猫。
如果答案准确，你就会关心这背后所有计算出来是什么样的。”理想情况下，AI应当仿效人眼。Welser说道：“如果你利用一个有雾的窗户看见有人回头在街上，这是一个低位的形象...但常常不会说道‘哦，那是我妈妈来了’。
所以，只要你获得准确的答案，视觉精度否适合就无关紧要了。”这就说明了人工智能处置精度渐渐减少的趋势。
Welser之后说道：“对于32位计算出来来说，我必需在32位上展开计算出来。如果我们可以在16位上计算出来，那基本上是计算能力的一半，或者有可能是芯片面积的一半甚至更加较少。如果你可以降至8位或4位，那就更佳了。所以，这是在面积、功率、性能和吞吐量方面的巨大胜利——牵涉到我们需要以多慢的速度已完成这一切。
”然而，Welser否认，“很长一段时间，我们指出我们必需坚决用于32位精度展开AI训练。这是没有办法的事情。”2015年，IBMResearch发布了对AI模型训练和推理小说使用减少精度的方法，在一篇论文中叙述了一种针对传统CMOS技术的新型数据流方法。
IBM展出了用于16位精度训练的模型，与32位训练模型比起，精度没损失。从那时起，IBM仔细观察到“精确度减少的方法迅速被接纳为行业标准，16位训练和8位推理小说现在早已司空见惯，这促成初创公司和风险投资大量涌进，投身减少了精度的AI芯片。”尽管这一新兴趋势流行，但由于人们必须维持模型的高精度，因此，大于16位的“训练”被指出是完全不有可能的。他们是怎么做的？Welser说道，IBM研究人员研发了一系列方法用作AI处置，从而让这变为有可能。
他说道，例如“我们显然有一些部分是用8位做的，有些部分是用16位做的，有所不同部分运用有所不同的精度，所以在近似值的时候你会损失精度，但是你会无意这么做到。”换句话说，IBM团队所做到的要比将8位计算出来应用于整个操作者简单得多。IBM做到的是尝试如何将人组方法运用于这个过程的有所不同部分。Welser证实：“是的，完全正确。
例如，我们现在对所有权轻更新过程使用8位浮点，但对于一些乘法和积累过程依然使用16位浮点。事实证明这十分最重要，因为16位乘法比16位乘法更容易，实质上以16位浮点的方式继续执行这个过程是有协助的。
”正如Welser认为的，IBM工作的关键因素是“明确提出一种数据流架构，让数据十分流畅地流经芯片超过这些操作者，这种方式会导致瓶颈的经常出现。”最后，“我们证明，你可以有效地用于8位浮点获得与过去人们仍然用于16位或32位所能获得的精度是一样的。
”8位浮点操作者的障碍是什么？LinleyGroup的Gwennap回应，近期发售的GPU和AI芯片反对用于IEEE定义格式的16位浮点（FP16）。然而，他补足说道，“尽管如此，大多数开发者仍在用于FP32训练神经网络。
FP8的问题在于没标准格式，尽管只有几种有意义的指数和尾数潜在人组。在有标准（IEEE或某些非正式协议）出来之前，芯片制造商不会找到，他们无法在硬件中展开有效地的实行。”我们问Welser，还必须多长时间商业界才不会开始用于8位精度展开培训，他说道他也不告诉答案，因为“我们现在看见的是，第一次用于16位技术的人们正在减少，但是大部分人依然只注目32位......”不过他特别强调说道，他指出减少精度是不不存在任何障碍的。“只要我们需要表明出有完全相同输入的结果。
”他认为，从用户的角度来看，“如果芯片更加慢，耗电量更加较少，价格也更加低廉，获得的答案是完全相同的，那我不在乎用的是什么。“当然，在底层改动软件基础设施是必需的。
Welser证实说道：“你必需享有需要减少精度的软件或算法，以便使其长时间运营，”现在所有的软件架构都是为用于GPU和32位建构的，“所有这一切都必需是改动为拒绝接受16位或8位。”业界还不会坚决用于他们现在未知的方法，直到用户需要用于实际的硬件。8位精度的内存乘法IBM还在IEDM大会上展出了所谓的8位精度内存乘法与设计中的热力学内存。
在IEDM上，IBM科学家公开发表了一项关于新型内存计算出来设备的研究，与当今的商业技术比起，该设备的计算出来能耗水平要较低100－1000倍，非常适合于边缘AI应用于，例如自动驾驶、医疗监控和安全性。（来源：IBMResearch）工程界早已意识到，减少能耗的关键是尽量减少计算出来架构中经常出现数据必需从内存迁入到处理器用作计算出来的这一情况再次发生，因为这样的迁入必须花费大量时间和精力。
对更加高效AI处置的市场需求促成许多人致力于研究内存计算出来，其中AI芯片初创公司Mythic脱颖而出。在Welser显然，仿真技术“天然合适边缘的人工智能”。
正如我们从计算出来历史发展中所看见的，模拟计算必须低功耗，证明它具备低能效，但却不精确。“这就是为什么数字计算出来最后比不上了模拟计算。”但TiriasResearch首席分析师KevinKrewell回应，仿真正在重返，因为“内存计算出来与模拟计算可以相互配合。
内存阵列负责管理神经网络权重，仿真元件负责管理议和和启动时。”Krewell还说道：“挑战在于维持模拟计算的准确校准、过程以及温度变化的准确性。
此外，内存和仿真元件也不像数字元件那样可以展开拓展。”权重是内存中阻值Welser说明说道，某种程度地，模拟计算中神经网络所用于的权重是“内存中的阻值”，这些不用迁移和移入，都是相同的。“换句话说，对于内存计算出来架构，“内存单元当作处理器，有效地做到了存储和计算出来的双重任务。
”然而，Welser称之为挑战是：“我们要用于的是什么电阻，这让我们在做到训练的时候可以设置为多大的阻值？这必需充足精确才简单。”Welser说明说道，虽然数字AI硬件争相减少精度，但模拟器仍然受到内在精度比较较低的容许，从而影响了模型的精度。IBM在研发相似8位精度能力的时候用于了热力学内存（PCM）。Welser说道，PCM此前仍然被用作仿真内存中。
在这种情况下，“我们用于PCM往返存储更加多有所不同的阻值。更加最重要的是，我们正在用于一种精致的架构。”IBM的论文详尽讲解了在标量乘法运算中构建8位精度的技术。IBM声称，这让“以前的仿真芯片精度大体上翻了一番，并且比同类精度的数字架构能耗增加了33倍”。
Gwennap否认IBM早已在PCM方面研究有一段时间了，但“意味着是一个研究项目”。Gwennap指出，这种使用PCM的方法面对的仅次于挑战就是可生产性。“仿真特性因晶体管和晶体管以及生产线上的芯片而异，这就是为什么大多数行业都用于容易不受这种变化影响的数字电路。”EETimes向LinleyGroup和IBM告知了关于商用AI芯片（例如Mythic）使用内存计算出来的情况。
Gwennap说道：“Mythic或许是最相似于将这项技术投入生产的一款产品，但即使这样，它依然最少必须一年的时间。”IBM否认，“Mythic使用了一种专心于用于内存计算出来的有意思方法。”但也认为，Mythic芯片“仅有限于于推理小说应用于”。据IBM发言人称之为，IBM的不同之处是“我们坚信原始的AI解决方案必须加快推理小说和训练，我们正在研发和渐渐发展成熟期可用作推理小说和训练的非易失性内存元件。
本文关键词：IBM,透露,芯片,采用,8位,浮点,威9国际真人,计算,的,突破性
本文来源：威9国际真人-www.cptouxiang.com