可以去掉。一般情况下，窗户四周的小木块是在土建施工过程中安装窗框时起临时固定作用的，临时固定以后，还需要用膨胀螺栓将窗框永久固定，此时小木块就没有什么作用了。

在随后的批挡抹灰工作中，一般会将小木块遮盖住，如果没有盖住，最好将其清理掉，否则以后小木块暴露在空气中容易腐烂。