Pinduoduo

by Northxw

Northxw /Pinduoduo

拼多多商品信息爬虫

137 Stars 59 Forks Last release: Not found 14 Commits 0 Releases

Available items

No Items, yet!

The developer of this repository has not created any items for sale yet. Need a bug fixed? Help with integration? A different license? Create a request here:

拼多多商品信息爬虫

  通过拼多多商品API获取商品信息。

项目目录

│  .gitignore
│  README.md
│  requirements.txt
│  scrapy.cfg
│
└─pinduoduo
    │  email.py
    │  items.py
    │  main.py
    │  middlewares.py
    │  pipelines.py
    │  settings.py
    │  view.py
    │  __init__.py
    │
    ├─images
    ├─spiders
    │      pdd.py
    │
    ├─utils
    │      anti_content.js
    │
    └─view
            db.png
            FZSTK.TTF
            pdd.png
            show.jpg
            ...

环境依赖

第三方库

描述
scrapy pip3 install scrapy
execjs pip3 install execjs
xlrd pip3 install xlrd
pyecharts pip3 install pyecharts
wordcloud pip3 install wordcloud
jieba pip3 install jieba

  注意:上述安装均在Windows环境下进行时,可能会出现依赖不足而导致安装错误的情况,请自行谷歌解决。

解释说明

  首先,拼多多商品信息接口很容易在谷歌浏览器中找到,但是接口请求中有三个未知参数。其中 filp 和 listid 参数在网页源码中携带,正则匹配获取即可。而 anticontent 加密参数在每次请求时都需要携带,具体解密过程我不叙述(怕侵权),谷歌有很多。

  其次,本项目的可视化部分略带针对性,如果需要匹配到其他商品,需要自行修改代码。

  最后,不要设置随机UA中间件(亲测坑),拼多多对请求的请求头检查比较严格,可自行在网页中粘贴 User-Agent 即可。 ```Python ......

headers = { 'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) " "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36" }

......

yield Request(url=self.searchurl + urlencode(data), headers=self.headers, callback=self.parsegoodsinfo, errback=self.errorback, dont_filter=True) ```   已实现的中间件:ProxyMiddleWare(未启用,暂时未发现IP反爬),已实现的管道:ImagePipeline、TextPipeline、ExcelPipeline、MysqlTwisted。

数据分析

  (本次商品的数据分析仅针对搜索参数iPad)

price_zone

tags

词云

更新记录

  • 2019/4/21 项目整体架构完成
  • 2019/4/22 项目部署

项目部署

  已完成scapyd 本地部署。

运行

  命令行切换至项目根目录下,运行命令: ```Python

scrapy crawl pdd

  命令行切换至项目中main.py所在目录下,运行命令:
Python python main.py
  或者 scrapyd-client 打包部署到本地服务器,然后运行命令:
Python curl http://localhost:6800/schedule.json -d project=pinduoduo -d spider=pdd ```

公告

  本代码仅作学习交流,切勿用于商业用途,否则后果自负。若涉及拼多多侵权,请邮箱联系,会尽快处理。

We use cookies. If you continue to browse the site, you agree to the use of cookies. For more information on our use of cookies please see our Privacy Policy.