推理能力提升2.86倍，智能时代的HPE计算就要这么强！
智能时代，用AI为世界代言！当旧时代的利器或将成为业务前行的桎梏，当新科技的浪潮席卷生产与生活——不妨与HPE一道，善于发现，大胆发声！HPE【TECH IN ALL】技术专栏特别推出“AI说”专题，将汇聚智能时代下企业最关心的产品评测、技术洞见、业务新知、趋势研判，以领先的洞察激发创新潜能，更有不定期“AI发言”有奖活动，期待您在评论区交流互动！
近日，Principled Technologies 基于 ResNet-50 模型对HPE ProLiant DL380 Gen11 进行测试。测试结果为：FP32 精度下，HPE ProLiant DL380 Gen11的推理性能较前代产品提升 2.86 倍，延迟降低 30.1%，在 Int8 和 bfloat16 等对 CPU 资源要求更高的精度上，HPE ProLiant DL380 Gen11 的表现依然非常强劲，堪称企业应用 AI 推理能力，解决图像识别等计算密集型工作负载的理想之选。
本文通过分析 HPE ProLiant DL380 Gen11 服务器在不同精度下的推理性能表现，希望以真实、客观的评测结果，为广大企业的基础设施选择提供参考。
Principled Technologies Principled Technologies 已成立 21 年，长期致力于提供独立的测试、研究和分析服务，凭借 MLPerf 套件等 AI/ML 模型及框架，为企业客户提供详细的产品性能评估、比较测试和使用案例研究，帮助企业做出更明智的采购决策。Principled Technologies 的测试涵盖硬件、软件、云服务的性能评估、比较测试和使用案例研究等多个领域。
ResNet-50 模型 ResNet-50 模型识别并鉴定图像中的特定对象以对图像进行归类，这一能力对安保、零售、医疗保健、制造等行业至关重要。测试中所 使用的 ResNet-50 v1.5 版本来自 Intel® AI 参考模型库，测试方法为在服务器上运行 ResNet-50 模型进行推理，计算每秒完成的推理样本数量以衡量其性能。
随着行业的高速智能化发展，从医疗保健到零售、制造业，各行各业的数据量正在飞速增长，一系列相关检测与分析的难度也随之提升。作为对大规模数据进行处理和分析、提供实时洞察的有力工具，AI 在自动化、效率以及预测与优化等多个方面发挥着巨大作用，能够显著提升企业预测趋势、优化资源配置的能力，帮助企业实现业务运营效率及盈利双增长。然而，AI 推理对于算力要求很高，同时云解决方案或部署 GPU 服务器等方案又可能导致高企不下的成本。出于这一需求，Principled Technologies 对配备第四代英特尔® 至强® Gold 处理器，其中包含提升 AI 性能的英特尔® 高级矩阵扩展（英特尔® Advanced Matrix Extensions,AMX）的 HPE ProLiant DL380 Gen11 服务器进行了 AI 推理性能测试，希望能为企业提供一种既具备强大性能、同时也兼顾极致性价比的服务器解决方案。
通过使用 ResNet-50 模型对 HPE ProLiant DL380 Gen11 进行测试，Principled Technologies 得出结论：搭载第四代英特尔® 至强® Gold 6430 处理器并使用其中的 Intel AMX 加速器进行加速的 HPE ProLiant DL380 Gen11 服务器，在 32 位浮点（FP32）精度测试中吞吐量有了明显增长，每秒能够处理的图像数量是上一代产品的 2.86倍，同时延迟也降低了 30.1%。此外，在 Int8 和 bfloat16 精度级别下， HPE ProLiant DL380 Gen11 依然有强劲的性能表现，综合而言非常适合企业运行广泛的图像识别工作负载。
图像处理能力：HPE ProLiant DL380 Gen11 服务器搭载英特尔® 至强® Gold 6430 处理器，每秒处理的图像数量是前代服务器的 2.86 倍，意味着能以相同数量的服务器完成更多工作，或在减少服务器数量的情况下完成相同的推理工作，从而节省成本。
延迟：HPE ProLiant DL380 Gen11 服务器搭载英特尔® 至强® Gold 6430 处理器，延迟比旧款服务器低 30.1%，意味着它能够更快速地执行推理工作
此外，Principled Technologies 也就低精度推理对 HPE ProLiant DL380 Gen11 的能力进行了测试：bfloat16 保留了与 FP32 相同的指数位宽（8位），但将尾数位宽减少到7位，从而在降低精度的同时，保持了较大的动态范围；Int8 作为整数数据类型，计算及内存开销较浮点类型数据大为降低。这些低精度测试对应的是对吞吐量和响应时间有更高要求的场景，服务器将以更快的查询和响应速度，服务更多的并发用户。
测试结果表明，HPE ProLiant DL380 Gen11 服务器在 bfloat16精度下的处理能力相比FP32精度提升了3.2倍，而在 Int8 精度下提升了5.7倍。
经过综合测试 Principled Technologies 得出结论：HPE ProLiant DL380 Gen11 在 AI 推理方面拥有卓越性能，能够胜任图像识别等计算密集型工作负载，帮助企业在智能化应用的前沿阵地中拔得头筹。
AI 推理在多个不同行业均已实现落地应用。在制造业场景中，其可用于质量检查、设备维护等环节，快速完成对零件的检验，或是通过图像识别检测个人防护设备（PPE）的使用情况，确保工人安全。制造业每天产生数以亿万计的零件，HPE ProLiant DL380 Gen11 强大的 AI 推理能力将大幅度减少所需服务器数量，节约成本。农业方面，图像识别可用于动物监控、作物产量估算和自动化收割等场景，HPE ProLiant DL380 Gen11 根据现有作物成长情况、基于图像识别进行产量分析的能力，将显著推进农作物生产流程的量化分析与处理，令种植过程更科学、更可控。医疗保健领域，HPE ProLiant DL380 Gen11 同样有着广泛的用武之地，以 AI 对 X 光片、CT 片等影像结果进行辅助分析，在减轻医务人员劳动强度的同时，还将减少错误率、实现更精准医疗。
希望将 AI 推理应用于商业场景的公司，在服务器方面往往面临多种选择。HPE ProLiant DL380 Gen11 不仅在 FP32 精度下，推理性能较上一代提升 2.86 倍、延迟降低 30.1%，在其他精度的测试中同样表现出色，是值得考虑的高性价比之选。
成都惠普HPE总代理 — 成都强川科技有限公司，一直以客户需求为导向，不断提供最新更全的惠普HPE服务器、惠普工作站、存储产品以及最新最潮的增值应用解决方案，并且支持个性定制。了解更多产品信息及最新促销信息，可拨打客服专线：028-85024766/18215624006或登录成都服务器官方网站www.hpedl.com ，与西部地区惠普HPE产品用户共同见证卓越。