劳动仲裁人事不需要负责。人事部门是你单位的属下机构，人事部门是在单位受权下开展工作或者业务，它就代表你的单位。所以，你的提问就是一个问题，仲裁或判决需要承担责任的，就是单位责任，人事部门不应承担责任。