如果催收人员说要去你的单位，很有可能他只是一种威胁的方式，当然作为欠款人是可以明确禁止对方来自己的公司的，你可以对对方说，如果对自己的名誉以及工作造成影响的话，是要追究对方的法律责任的，因为这种上门催收是国家所明文禁止的也是一种违法行为。