应该退还一半彩礼。男方明明知道自己有生理缺陷还不告诉女方，男方应该承担一半的后果，但是没有事实婚姻，女方也应该退还一部分彩礼，所以退一半比较合适。