如果协商调解无效的，应当注意收集并固定对方扰民的证据，向警方报案，或直接向法院起诉，要求对方停止侵害、赔礼道歉，或赔偿相关损失。