数据捕获(大数据捕获客户端软件)

大家好。今天给大家分享一下如何批量抓取网页中的数据来抓取汽车的投诉。我想和大家分享一下如何批量抓取web中的数据。这也是一个粉丝问的问题。他准备买车，看看各个厂家的投诉怎么样。话不多说，我们开始吧。如果是进来了解各个厂家的投诉情况和被投诉车型的排名，直接拉到最后就行了。

首先，分析网页

下面以车质网的汽车投诉为例，给大家展示一下如何批量抓取数据。下图分别显示了第一页到第三页的网址。我们可以看到这三个网页的网址。只有对应页码的红色123不一样，其余都一样。

第二，抓取数据

然后，我们打开excel，然后点击数据函数组从网站上查找。我们单击高级选项，然后将代表页码的数字分别放在输入框中。您可以通过单击“添加组件”来添加输入框。当设置完成后，我们可以直接点击确定。

这样，我们就进入了导航界面。在这个网页中，power query一共抓取了两个内容。我们可以点击查看我们需要哪些数据。这里，table0是我们想要捕获的数据。只需选择table0并单击转换数据。这样我们就进入了powerquery的编辑界面。

然后我们点击高级编辑器，在let前面输入(x为数字)为table = >；然后将网址中的“1”改为(数字。ToText(x))并直接单击Finish。

这样，我们就把前面的操作封装成了一个函数。我们只需要输入对应的编号，然后点击调用就可以跳转到对应页码的数据。

然后，我们点击左边一个空的白色区域，点击鼠标右键选择新建查询，在其中找到其他资源然后选择空查询，然后我们输入={1..100}在编辑栏中点击回车，这样我们就可以得到一个从1到100的序列，然后点击表格就可以把查询转换成表格了。

接下来选择添加列，然后在函数查询中找到自定义函数并选择table0，直接点击确定。这样power query就开始抢数据了。这里我们抓取100页的网页数据，这个过程可能需要很长时间。在这里，它花费我大约3分钟。抢到之后，我们会在每个序列的后面得到一个表。我们单击左右反向箭头来展开数据。去掉原来列名前面的复选标记，点击OK删除我们添加的序列，这样就完成了。我们只需要在开始时选择关闭并上传到，就可以将数据加载到Excel中。因为数据比较多，这个过程也会花很多时间，我这里大概用了1分钟。

三.统计分析

当数据加载到Excel中后，我们可以通过透视表快速分析数据。下图是基于车质网投诉记录中抓取的3000条数据，然后通过透视表得出投诉品牌和投诉车的排名。这里3000条数据占了近一个月的投诉量。

以上是我们批量抓取100页网页数据的方法以及各个厂商的投诉排名。整个过程大约需要7分钟，大部分时间花在捕获和加载数据上。

最近怎么样？你学会了吗？快试试。