DropsDevopsOrg /ECommerceCrawlers
实战🐍多种网站、电商数据爬虫🕷。包含🕸:淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:
★ 5,785⑂ 1,454👁 149⑃ 79● 36▤ 1
+2
Daily
5,785
stars
1,454
forks
149
watchers
79
prs
36
issues
1
releases
README
!GitHub contributors ECommerceCrawlers 多种电商商品数据 🐍 爬虫,整理收集爬虫练习。每个项目都是成员写的。通过实战项目练习解决一般爬虫中遇到的问题。 通过每个项目的 readme,了解爬取过程分析。 对于精通爬虫的 pyer,这将是一个很好的例子减少重复收集轮子的过程。项目经常更新维护,确保即下即用,减少爬取的时间。 对于小白通过 ✍️ 实战项目,了解爬虫的从无到有。爬虫知识构建可以移步项目 wiki。爬虫可能是一件非常复杂、技术门槛很高的事情,但掌握正确的方法,在短时间内做到能够爬取主流网站的数据,其实非常容易实现,但建议从一开始就要有一个具体的目标。 在目标的驱动下,你的学习才会更加精准和高效。那些所有你认为必须的前置知识,都是可以在完成目标的过程中学到的 😁😁😁。 需要进阶学习爬虫技巧,推荐王平大师傅的猿人学·爬虫逆向高阶课,报AJay13推荐,可享受内部优惠价格。 欢迎大家对本项目的不足加以指正,⭕️Issues 或者 🔔Pr 在之前上传的大文件贯穿了 3/4 的 commits,发现每次 clone 达到 100M,这与我们最初的想法违背,我们不能很有效的删除每一个文件(太懒),将重新进行初始化仓库的 commit。并在今后不上传爬虫数据,优化仓库结构。 About - 码云仓库链接:AJay13/ECommerceCrawlers - Github 仓库链接:DropsDevopsOrg/ECommerceCrawlers - 项目展示平台链接:http://wechat.doonsec.com Income 几乎 80%的项目都是帮客户写的爬虫,在添加到仓库之前已经经过客户同意可开源原则。 CrawlerDemo - [x] DianpingCrawler:大众点评爬取 - [x] East_money:scrapy 爬取东方财富网 - [x] 📛TaobaoCrawler(new)):阿里系全自主平台(淘宝、天猫、咸鱼、菜鸟裹裹、飞猪等)信息爬取 免 cookie, 理论上不被反爬虫机制(只提供淘宝,其他思路一样,加密方式一样), - [x] 📛SIPO 专利审查:SIPO 专利审查 自动化客户端 - [x] 📛QiChaCha:企查查 全国工业园区及企业信息 - [x] TaobaoCrawler:淘宝商品爬取 - [x] 📛ZhaopinCrawler:各大招聘网站爬取 - [x] ShicimingjuCrawleAndDisplayr:诗词名家句网站爬取展示 - [x] XianyuCrawler:闲鱼商品爬取 - [x] SohuNewCrawler:新闻网爬取 - [x] WechatCrawler:微信公众号爬取 - [x] cnblog:scrapy 博客园爬取 - [x] WeiboCrawler:微博数据爬取免 cookie - [x] OtherCrawlers:一些有趣的爬虫例子 - [x] 0x01 百度贴吧 - [x] 0x02 豆瓣电影 - [x] 0x03 阿里任务 - [x] 0x04 包图网视频 - [x] 0x05 全景网图片 - [x] 0x06 豆瓣音乐 - [x] 0x07 某省药监局 - [x] 0x08 fofa - [ ] 0x09 汽车之家 - [ ] 0x010 国家统计局 - [x] 0x10 baidu - [x] 0x11 蜘蛛泛目录 - [x] 0x12 今日头条 - [x] 0x13 豆瓣影评分析 - [x] 0x14 协程评论爬取 - [x] 0x15 小米应用商店爬取 - [x] 0x16 酷安app信息采集 - [ ] 0x17 知乎信息采集 - [x] 0x18 必应图片采集 - [x] 0x19 安居客信息采集 - [x] 0x20 途家民宿信息采集 Contribution👏 | | | | | | | | | :---------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :-----------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :--------------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------: |:------------------------------:| | joseph31 | Joynice | liangweiyang | Hatcat123 |
Top issues
#47途家的爬虫是不是不行了1 comments · 2021-04-08#120你们真的以为拿下来就可以用?哈哈1 comments · 2026-01-11#117招聘网站爬取全部报错1 comments · 2024-05-07#115招聘网站可以跑通?我跑不通啊1 comments · 2023-06-06#119Canlux Tech Store0 comments · 2025-07-26#118Hsjd0 comments · 2024-09-08#116 奈菲高清电影-netflixdy,奈菲电影,奈菲高清电影,奈菲AI电影-netflixdy,netflix主页影视资源,netflix中国网站 奈飞中文官网,netflixdy高清AI,奈飞官方AI视频,*奈菲高清电影-netflixdy.com* [奈菲AI电影-netflixdy.com] 0 comments · 2024-01-02#72采集博客园的结果为空0 comments · 2021-11-01
Latest release
蜘蛛泛目录解析v0.1 V11_0.1 Pre-release 2019-06-25蜘蛛泛目录解析v0.1 - 支持多线程爬虫 - 支持可视化界面 - 支持爬虫暂停-开始