这个要看你是什么情况下被调走家庭档案。

如果是非法调走，调走家庭档案属于侵犯隐私权，您可以进行报警的。

如果是正规调走，比如网贷逾期之后，如果长时间无法还清欠款，贷款机构可以起诉到法院，申请法院强制执行。

若贷款人名下没有可供执行的财产而又拒绝履行法院的生效判决，则会有逾期还款等负面信息记录在个人的信用报告中，并被限制高消费及出入境，甚至有可能被司法拘留。