首先你要保留好相应的证据，把这个证据保存好之后，然后拿着这些证据，找找到当地的劳动监察大队或者找到劳动仲裁部门，申请劳动仲裁，要求对方尽快退还质保金，现在有些人就是这样，只要有些钱在自己手里，想方设法不给人家，这种人也是没有办法，估计都是很穷的人。