如何使用Python批量抓取eBay产品数据,监控价格并获得竞争优势?

蓝海亿观网2020年07月09日 866

在eBay上销售的卖家,应该监控eBay上的产品价格,以获得竞争优势。蓝海亿观网了解到,定期从eBay上,获取大规模的产品数据,是一个极具挑

eBay上销售的卖家,应该监控eBay上的产品价格,以获得竞争优势。

蓝海亿观网了解到,定期从eBay上,获取大规模的产品数据,是一个极具挑战性的任务。本文将展示,使用python抓取eBay上的Galaxy Note 8和iPhone 8,手机产品数据的一个例子。

如何抓取eBay产品数据

1.选择所需的信息

网页抓取的首要任务是,识别目标网页,卖家需要从这个网页中,提取所有所需的信息。

抓取eBay的产品listing,首先要在eBay上搜索产品。

在页面加载了该产品的所有listing后,卖家需要提取该页面的URL。

举个例子,假设卖家提取的URL是“https://www.ebay.com/sch/i.html?_from=R40&_nkw=galaxy+note+8&_sacat=0&_pgn=1“

注意这个URL中的两个参数,“nkw”(new关键字)和“pgn”(页码)参数

URL中的这些参数,定义了搜索词(search query)。

如果将“pgn”参数更改为2,则会打开Galaxy Note 8手机产品listing的第二页,如果将“nkw”更改为iPhone X,则eBay将搜索iPhone X,并显示相应结果。

2.确定最后提取的标签

完成目标网页部分后,我们需要理解HTML布局。

在目标网页上,右键选择审查“inspect”,并打开开发人员工具窗口,或者使用键盘的CTRL+SHIFT+I。

在新窗口中,可以看到目标页面的源代码。

在本例中,所有产品都作为listing元素被提及,因此我们必须获取所有listing。

为了获取这些HTML元素,卖家需要一个与之相关的标识符(identifiers),可以是该元素的ID、任何类程名(class name)、特定元素的任何其他HTML属性。

在本例,使用类程名(class name)作为标识符,所有listing都有相同的类程名,即s-item。

经过进一步的审查,可以得到产品名称和产品价格的类名(class name),分别为“s-item__title”和“s-item__price”。

3.将收集到的数据,以结构化格式存储

有了提取器/标识符(extractors/identifiers)之后,下一步是从HTML内容中,提取特定的部分。

完成之后,还需要将这些数据,组织成合适的结构化格式(structured format)

创建一个表格,其中一列是所有产品名称,另一列是它们的价格。

4.可视化结果(可选)

由于需要比较两种不同的手机价格,卖家可以选择可视化结果。

可视化结果不是网页抓取的强制性步骤,而是将收集到的数据,转化为一些可操作数据。

卖家可以绘制箱线图(boxplots),来了解Galaxy note 8iPhone 8手机的价格分布。

上图中,绿线是价格数据的中位数。

对于iPhone 8来说,大部分价格在INR 25k-35k之间,而大多数Galaxy Note 8手机的价格在25k-30k之间。

iPhone 8的价格变化要比Galaxy Note 8手机大得多,iPhone 8在eBay上的最低售价是15k,而Galaxy Note 8在eBay上的最低售价是22-23k。

所需的库和安装(libraries and Installation)

要实现网页抓取,卖家需要Python, Pip(用于python的安装包程序),以及python中的BeautifulSoup library

另外,还需要“pandas and numpy library”将收集的数据,组织成结构化的格式。 

1.安装PythonPip

卖家可以根据这个链接https : / /realpython.com /installing-python /安装PythonPip。

2.安装Beautiful soup library

 apt-get install python-bs4 pip install beautifulsoup4

3.安装pandas and numpy

pip install pandas pip install numpy

(跨境电商新媒体-蓝海亿观网egainnews)文末扫码eBay运营交流群,对接跨境电商优质资源。CoupangWayfair MercadoLibre等平台入驻品牌文案策划及全网推广、电商培训和孵化等服务,请联系我们。不得擅自改写、转载、复制、裁剪和编辑全部或部分内容。

版权说明:蓝海亿观网倡导尊重与保护知识产权,未经许可不得用于商业活动。如当前文章存在版权问题,请联系客服申诉处理。

分享至:

蓝海亿观网跨境卖家交流群!

跨境24H头条资讯,关注跨境平台最新政策推送行业最新动态。

全球跨境市场分析、电商政策及选品思维逻辑解读。

知名跨境大卖财报分析,真实案例分析站内站外引流促单实操技巧!

扫码入群,与同行共赢

留点想法

评论列表(0条)