一般情况下，没有特殊理由最好要加强控制时间固定效应，因为控制时间固定效应之后，可以控制部分不可观测变量，在一定程度上解决遗漏变量偏差问题。

如果你不想控制时间固定效应，需要检验时间虚拟变量的联合显著性，如果不显著的话就有理由不加。