返还原物纠纷的被告应当是占有财物的一方。因为，返还原物纠纷的前提是原告认为属于自己的财物被被告占有，因此，被告必然是占有财物的一方。

一般被告占有财物分为合法占有和非法占有，因此，返还原物有可能是因被告非法占有财物引起，也有可能是合法占有财物引起。