douyin

by cnbattle

cnbattle /douyin

抖音推荐列表视频爬虫方案,基于app(虚拟机或真机) 相关技术 golang adb

542 Stars 130 Forks Last release: Not found MIT License 47 Commits 0 Releases

Available items

No Items, yet!

The developer of this repository has not created any items for sale yet. Need a bug fixed? Help with integration? A different license? Create a request here:

抖音推荐列表视频爬虫方案

最近测试可用时间:

2020.09.11

老版本请切换到

old
分支查看

基于APP爬取

技术栈:

golang
adb

特点

  • 可设置仅抓取大于xx赞的视频
  • 可自定义设置是否下载远程文件到本地

使用

  1. 安装

    mitm-proxy.crt
    证书到相关设备,
    虚拟机或真机
  2. 复制

    config.example.toml
    config.toml
    ,并根据自己需求修改参数
  3. 运行本项目程序

    go run main.go
    或 编辑运行
  4. 若开启下载会生成一个

    database.db
    的sqlite3数据库文件,字符详见
    model/videos.go
    文件,静态文件(用户头像,视频封面图,视频文件)将放在
    download/[avatar,cover,video]
    目录下
  5. 最后根据个人需要上传处理即可

待优化的地方

  • 一直滑动请求推荐列表,APP会异常退出,所以暂时的方法是每爬取一段时间(配置文件里可自定义)后,强制关闭APP,重新打开继续爬取

  • 目前个人在用的

    雷电模拟器
    ,长时间运行会卡死,暂不清楚是系统原因还是模拟器原因,有测试能稳定运行环境的朋友,方便的话请告诉我,谢谢

最后说明

  • 个人能力一般,有很多编码不规范的地方请包涵
  • 有能力的朋友可以根据个人需求修改,如果可以请提交pr
  • 如果使用有问题,请提交
    issues
    或加我同名微信号,请备注github过来的,谢谢

Stargazers over time

Stargazers over time

感谢,本项目依赖以下go pkg

github.com/jinzhu/gorm
github.com/ouqiang/goproxy
github.com/spf13/viper

捐赠

We use cookies. If you continue to browse the site, you agree to the use of cookies. For more information on our use of cookies please see our Privacy Policy.