要解决此问题,可以有两种方法:1)all...

你在这里

要解决此问题,可以有两种方法:1)all...

要解决此问题,可以有两种方法:
1)allowed_domains = ['examplesite.com']在爬虫类设置allowed_domains允许该网站主域名、或相关子域名范围内的所有页面的爬取
2)Request(urlparse.urljoin(response.url, url), dont_filter=True)中指定参数dont_filter,以确保不进行过滤。