根据《中国共产党章程》和相关规定，党员应按时足额缴纳党费。长期不缴纳党费可能被视为违反党章，情节严重者可能受到组织处理，但现行政策中并未明确规定不交党费直接影响退休工资。退休工资主要与养老保险缴费年限、缴费基数等社保政策相关。

建议党员主动履行义务，如有特殊困难可向党组织说明情况。具体政策请咨询当地党组织或人社部门。