行人和车辆等异物侵入铁路周边限界内的情况严重威胁了行人自身安全及铁路行车安全。针对传统铁路异物检测算法识别精度不高、分类不明确和结果易受外界环境影响等缺点,提出了一种基于Faster R-CNN网络模型的铁路异物侵限检测算法,并对该模型做适应性改进以满足铁路异物检测的现实需要。提出将全连接层用全局平均池化层替代来减少参数量;通过增加锚点个数来提高对目标区域建议的精确性;引入迁移学习思想训练网络以解决铁路异物侵限数据匮乏问题。在铁路异物侵限视频数据集上进行测试表明,本算法对于人、车及部分动物的综合检测精确度达到了97.81%。