抓天猫价格,用 Playwright 各种问题,最后还是用了影刀

9 月 3 日
 fgghyyfk

最近给业务中台补天猫比价。运营导入商品链接和目标规格,系统按行拆任务,再去读取对应规格的价格。

麻烦的不是读一个数字,而是先选对 SKU 。比如目标是“30ml 单支”,就要排掉 30ml 双支和 50ml 单支。点击之后还要重新读取页面当前选中的规格,前后对得上才记价格;有歧义、只显示价格区间,或者点击结果不一致,就直接失败并留截图。

这部分我原本准备用 Playwright ,代码也写了。真实页面一跑,登录跳转和验证码还在折腾,影刀原来的浏览器环境反而能直接用。到这里才发现,DOM 能不能读出来是一回事,一个真实账号能不能把整批任务稳定跑完是另一回事。

现在业务中台只管任务、进度和结果,本机收到任务后触发影刀。影刀只负责开页面、选规格、读价格,Cookie 留在本机浏览器里。以后 Playwright 真跑稳了,换掉的也只是最下面这层页面操作。

现在的链路很简单:

Excel / 飞书表格
        ↓
业务中台:拆任务、记进度、收结果
        ↓
本机 Bridge:领取任务
        ↓
影刀:用已登录浏览器选规格、读价格

这种需要登录、动态选 SKU 的采集,你们实际跑的是 Playwright 、浏览器插件、RPA ,还是直接买数据?我主要想了解跑久以后,登录和页面改版到底要花多少时间维护。

1554 次点击
所在节点    程序员
6 条回复
yustation
9 月 3 日
影刀怎么处理验证码和机器人验证,试过 DrissionPage 吗
cescqh
9 月 3 日
@yustation 影刀自带的就有,收费的,做的还不错
SanjinGG
9 月 3 日
所以运营为什么我直接导入指定 sku 的商品链接呢,这可以少很多步骤啊,不需要把问题复杂化啊
fgghyyfk
9 月 4 日
@SanjinGG 对的,现在就是这么做的,因为比价要有多个平台,天猫/淘宝/京东,甚至得物(只有手机端),所以会有浏览器行为/手机 bridge 两种抓取方案
fgghyyfk
9 月 4 日
@cescqh 我目前影刀还是用的免费版,碰到验证码和机器人,目前是停掉人工干预,也是担心封号,因为国内电商对爬虫查的都严
SmiteChow
9 月 4 日

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1239126

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX