[YOLOv7/YOLOv5系列算法改进NO.17]CNN+Transformer——融合Bottleneck Transformers（更新，代码已开放分享）

前言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。解决问题：YOLOv5主干特征提取网络为CNN网络，CNN具有平移不变性和局部性，缺乏全局建模长距离建模的能力，引入自然语言处理领域的框架Transformer。......

 2023-04-28
收藏0
阅读87

分享至:

方案详情

评价

相关方案

ChatGPT发展历程、原理、技术架构详解和产业未来

本文将介绍ChatGPT的特点、功能、技术架构、局限、产业应用、投资机会和未来。

阅读3529
下载7

深入理解零拷贝技术

很多应用程序在面临客户端请求时，可以等价为进行如下的系统调用： 1. File.read（file, buf, len）； 2. Socket.send（socket, buf, len）；例如消息中间件 Kafka 就是这个应用场景，从磁盘中读取一批消息后原封不动地写入网卡（NIC，Network interface controller）进行发送。在没有任何优化技术使用的背景下，操作系统为此会进行 4 次数据拷贝，以及 4 次上下文切换

阅读3375
下载1

XX集团智能工厂整体解决方案：整体集成仓库+车间+质量+SAP

在“十四五”新的发展阶段,通过大量的方案积累,数字已经成长为实力强劲的智能工厂整体解决方案提供商,无论从平台技术、人才储备、产品构成、服务体系等多方面已构成了不可替代的核心竞争力。

阅读5400
下载23

最新上线

【JPC】用于动态过程监测的重排序短期自相关驱动远程判别卷积自编码器

由于现代复杂工业过程中的非线性、动力学和局部特性，深度神经网络（DNN）可能会导致次优的监测性能。为了克服这些局限性，本文首先提出了一种新的数据构造方法，将短期自相关和空间相关性建模为三维矩阵，然后对其元素进行重新排序，以更好地编码局部和时间结构。随后，我们基于自注意机制设计了一种称为远程判别注意（LDA）的新结构，以扩大原始卷积神经网络（CNN）的接受范围，从而提取全局特征。最后，我们提出了一种基于LDA的远程判别注意自编码器（LDCA）监测模型，从构建的矩阵中提取远程和局部变量之间的结构特征。通过数值例子和三相流过程验证了该方法在故障检测中的有效性。

阅读562

【EAAI】基于大规模多模工业数据的异常检测：非平稳核与自编码器的融合方法

核方法和神经网络是两种主流的非线性数据建模方法，已被广泛应用于工业过程监测。然而，它们都存在不完美的性质，因此相关应用受到限制。一方面，内核的可重构性、可扩展性和对超参数的鲁棒性不强，导致它们在大规模数据建模和监控中的性能下降。另一方面，排序为参数初始化的神经网络的高维参数空间存在严重的异常检测性能不一致，这使得行业对使用神经网络持谨慎态度。受这些事实的启发，我们提出将核和神经网络集成在一起，形成一种可扩展、可重构和性能一致的新模型结构。具体来说，通过（1）从训练集中选择关键边缘和内部数据作为隐藏层径向基函数的中心，以及（2）在训练过程中自适应调整核宽度，提出了一种基于自编码器的非平稳模式选择核（AE-NPSK）。此外，新的神经网络具有很强的性能一致性，这有助于搜索最优参数。最后，我们在具有挑战性的多模工艺上测试了所提出方法的性能。结果验证了所提出方法的有效性。关键词：核方法、人工神经网络、过程监测、多模式过程、自动编码器、径向基函数

阅读604

用于非线性工业过程故障检测的尖峰自动编码器

近年来，人工神经网络因其构建具有不同程度非线性的灵活模型和有效处理大规模数据的卓越能力，在冶金、化工和机械制造业的过程监测中得到了成功的应用。然而，由于神经网络训练和初始化的高昂成本，该模型的独特性降低，导致故障检测性能更加波动。为了缓解这个问题，并受到生物神经元发射尖峰以传输信息的方式的启发，尖峰神经元被用于构建尖峰神经网络，将参数优化从传统的全局参数调整转变为两阶段分层过程。基于此，构建了类abrain离散模型的脉冲自动编码器（SNNAE）。通过数值算例，首先将SNNAE的训练过程与具有相同结构的人工神经网络的训练过程进行了比较，结果表明SNNAE在处理高度非线性数据方面具有更高的效率和精度。为了衡量其在故障检测中的有效性，然后通过相同的数值例子和三相流过程将SNNAE与最先进的方法进行比较，表明其能够显著提高非线性过程中的过程监测性能，同时显著降低其波动。关键词：人工神经网络、尖峰神经网络、故障检测、非线性过程、性能波动

阅读556

大模型关键技术与未来发展方向———从ChatGPT谈起

大规模预训练模型,也被称为“基座模型”或“大模型”,目前被认为是通用人工智能技术的核心引擎,已经成为了全球科技竞争焦点。本文归纳总结了以聊天生成预训练转换器(ChatGenerative Pre-trained Transformer,ChatGPT)为代表的生成式大模型技术研究现状和发展趋势,从大模型基座、大模型人类偏好对齐、大模型推理与评价、多模态大模型、大模型安全可控五个方面讨论了当前大模型研究的现状和挑战,并结合我国人工智能研究特点,简要分析了大模型未来的重点发展方向。

阅读550

打造智能制造“升级版”！工信部印发《智能制造典型场景参考指引（2024年版）》

智能制造典型场景是智能工厂的基本组成单元，面向产品全生命周期、生产制造全过程和供应链全环节核心问题，通过新一代信息技术与先进制造技术的深度融合，部署智能制造装备、工业软件和系统，实现具备协同和自治特征、具有特定功能和实际价值的应用。十余年来，工业和信息化部会同相关部门深入实施智能制造工程，通过新模式应用探索、智能工厂建设、解决方案攻关等，总结形成了一批智能制造典型场景，为制造企业数字化转型、智能化升级提供有益参考。