组织部不可以随意调动公务员。根据公务员法规定，公务员由组织所属公务员局管理，根据职级和管理权限由相应组织部和党委调配。公务员调动，应由用人单位根据工作需要向本单位党组或党委提出申请，而后按程序向公务员局请示，经审批同意后由组织部办理调动。