采集数据时,碰到详情页得点个按钮才能拿到数据?别愁,这教程就教你咋搞定这种情况~
第一步:采集列表页内容
第一步:采集列表页内容
更多详情内容,能参考下面的教程:
如何采集列表类型的网页
第二步:用深入采集进入详情页
第二步:使用深入采集进入详情页
列表页数据采完,想采详情页的数据,点深入采集按钮或者列表识别结果里随便一个标题,左边操作栏点“依次点击全部元素”按钮,就能跳去详情页采集。
更多详情内容,可参考下面的教程:
如何实现深入采集
第三步:提取详情页数据
第三步:提取详情页数据
跳到详情页后,点页面上要采集的字段,左边操作框点“提取该元素中数据”,再设置需要的字段。
更多详情内容,可参考下面的教程:
如何对采集字段进行配置
第四步:点击页面按钮获取采集字段
第四步:点击页面上按钮获得采集字段
要是得点页面上的按钮才能获取新数据,用点击组件就能实现,具体操作像下图这样:
第五步:启动采集任务
第五步:启动采集任务
字段设置好,就能开始设置采集任务并启动了。
更多详情内容,能参考下面的教程:
如何配置采集任务
详情页里设置的采集字段,会自动加到列表页设置的字段后面。
做数据采集时,有几个小窍门得记着。比如,别太频繁地请求同一个网站,不然可能被当成恶意访问,IP就被封了。可以隔几秒发一次请求,或者用代理IP轮换着来。另外,采完数据后,最好对比原页面抽查几条,看看字段有没有错漏,数值对不对,这样采集的数据才靠谱。
你采集数据时遇到过这种要点击按钮才能拿数据的情况不?按这步骤操作顺利不?有啥别的问题也能来聊聊呀~