根据你的描述及我的判断，有以下2点建议：

1、你看看是不是小门扇漏风，原因就是密封胶条掉了或者有间隙，这得去买点单面的密封胶条添上就好了

2、如果不是密封胶条的原因，你可以去找一块厚的泡沫板，然后用壁纸刀割成小门扇大小，打开小门扇，把它压到里面去，这样冬天风大也不会漏风或者听到响声，而且还保温。