爬虫可以根据请求的url的返回码判断是否有效。

当返回码等于200时，代表url是有效的，就可以对返回的内容进行解析和爬取。

当然，如果是自己编码的爬虫程序，还可以对返回码是3xx的进行进一步处理，并爬取到有效的信息。