利用网页抓取数据赚钱的3个思路

文章目录

站长之家注:在大数据时代,如何有效获取数据已成为驱动业务决策的关键技能。分析市场趋势,监视竞争对手等都需要进行数据采集。而网页抓取则是数据采集的主要方法之一。

在本文中,Christopher Zita将和大家展示 3 种利用网络抓取赚钱的方法,全程只需几个小时就能学会,所用代码不到 50 行。

通过自动程序在Airbnb上花最少的钱住最好的酒店

自动程序可用于执行特定的操作,你可以将其出售给没有技术能力的人以获取收益。

为了展示如何创建和出售自动程序,Christopher Zita创建了一个Airbnb自动抓取程序。该程序允许用户输入位置,它将抓取Airbnb在该位置提供的所有房屋数据,包括价格、等级、允许入驻的客人数量等。所有的这些都是通过抓取Airbnb上的数据来完成的。

为了演示程序的实际运行,Christopher Zita在程序中输入了罗马,然后在几秒钟内获得了 272 个Airbnb的相关数据:

现在,查看所有房屋数据变得非常简单,过滤起来也容易得多。以Christopher Zita家为例,他们家有四口人,如果要去罗马,会在Airbnb上寻找价格合理且至少有 2 张床的酒店。而在得到这个表格中的数据后,excel可以非常轻松地进行过滤。从这 272 个结果中,找到了 7 个满足要求的酒店。

在这 7 家酒店中,Christopher Zita选择了梵蒂冈圣彼得丹尼尔酒店。因为通过数据对比,可以看出,这家酒店评级很高,并且是 7 家酒店中最便宜的,每晚收费仅 61 美元。选择所需链接之后,只需复制这个链接到浏览器中然后预订即可。

外出旅游度假时,寻找酒店是一项艰巨的任务。为此,有人愿意通过付费来简化这一过程。有了这个自动程序,你只需要 5 分钟就能以低廉的价格预订到让你满意的房间。

抓取特定商品价格数据,在最低价时买入

网页抓取最常见的用途之一就是从网站上获得价格。通过创建程序抓取特定产品的价格数据,当价格下降到一定程度时,它会在产品售罄之前自动购买该产品。

接下来,Christopher Zita将向大家展示一个可以为大家节省很多钱同时还能赚钱的方法:

每个电商网站都会有限量特价商品,它们会显示商品的原始价格和打折后的价格,但一般不会显示在原价的基础上打了多少折扣。例如,一只手表最初的价格为 350 美元,而促销价格为 300 美元,您会认为 50 美元的折扣是一笔不小的数目,但实际上只有14.2%的折扣。而如果一件T恤最初的价格为 50 美元,而销售价格为 40 美元,你会觉得没便宜多少,但实际上它的折扣率比手表高出20%。因此,您可以通过购买折扣率最高的产品来省钱/赚钱。

下面以百货商店Hudson’s’Bay为例,来进行数据抓取实验,通过获取所有商品的原始价格和折扣价格,来找出折扣率最高的商品。

抓取网站数据后,我们获得了 900 多种商品的数据,其中只有Perry Ellis纯色衬衫这 1 种商品的折扣率在50%以上。

由于是限时优惠,这件衬衫的价格很快将涨回 90 美元左右。因此,如果现在以 40 美元的价格购买它,并在限时优惠结束后以 60 美元的价格卖出,仍然可以赚 20 美元。

这是一种方法,如果你找到合适的利基市场,就有可能赚很多钱。

抓取公示数据,将其可视化

网络上有数百万个可供所有人免费使用的数据集,这些数据通常很容易收集。当然,还有一些数据不容易获得,且需要花费大量的时间将其可视化,销售数据就是这样演变而来。像天眼查、企查查这类的公司就是通过专注获取企业工商变更信息并将可视化,然后通过“购买会员可查”的形式销售给用户。

类似模式的还有这家体育数据网站BigDataBall,通过出售球员各项比赛数据以及其他统计信息,该网站一个赛季向用户收取 30 美元。他们定这个价并不是因为他们网站有这个数据,而是他们抓取数据后,将这些数据整理分类,然后以易于阅读且清晰的结构展示这些数据。

现在,Christopher Zita要做的是免费获取和BigDataBall相同的数据,然后将其放入结构化数据集中。BigDataBall并不是唯一拥有这些数据的网站,Basketball-Reference.com拥有相同的数据,然而该网站没有将数据结构化,用户难以过滤并下载所需的数据集。Christopher Zita利用网页抓取工具,抓取了Basketball-Reference.com网页中的所有球员数据。

所有NBA球员日志的结构化数据集

目前为止,他已经获得了本赛季超过 16000 个球员日志。通过网络抓取,在几分钟之内Christopher Zita获得了这些数据并节省了 30 美元。

当然,Christopher Zita也可以像BigDataBall一样利用网页抓取工具查找难以手动获取的数据,让计算机完成工作,然后将数据可视化并出售给对这些数据感兴趣的人。

总结

现如今,网页抓取已经成为一种非常独特且新颖的赚钱方式。如果在适当的情况下应用它,你可以很容易赚到钱。

注:原文编译自medium,原文标题《How To Make Money, Using Web Scraping》

每天一篇超实用创业案例,扫码关注【站长视界】↓↓↓

标签