为提高变步长最小均方(LMS)自适应对消算法在船舶轴系扭振监测系统中的滤波性能，针对传统LMS算法存在的不足，结合参考文献以及船舶轴系扭振实测信号的特点，建立了一种新的步长因子与误差信号之间的函数解析式，分析了各参数的取值对步长因子的影响效果。基于此，将改进后的自适应对消滤波算法实际应用于中船重工某研究所的船舶轴系扭振监测系统中，并结合巴特沃斯低通滤波器滤波，得到了准确的扭转角值，验证了算法的有效性，提高了船舶轴系扭振监测系统的滤波性能。