avatar
文章
508
标签
26
分类
115
首页
归档
标签
分类
工具
产品
链接
石头记scrapy房价spider 返回首页
搜索
首页
归档
标签
分类
工具
产品
链接

scrapy房价spider

发表于2017-08-13|更新于2026-06-19|spider
|浏览量:

scrapy spider参考

本地调试运行

  1. 修改模块名为fangjiaCD
  2. 修改fangjia.py中的address xpath

调试命令

`
scrapy fetch http://cd.fang.lianjia.com/loupan/p_jhdsdjyaaelm/

scrapy list

scrapy parse http://cd.fang.lianjia.com/loupan/p_djhjwaabog/ -c parse_fangjia –spider=fangjia

scrapy crawl fangjia -o rent.csv -t csv

`

文章作者: 老实
文章链接: https://shidonghua.9631369.xyz/2017/08/13/201708/2017-08-13-scrapy/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 石头记!
cover of previous post
上一篇
httpsession
一般用来实现Session的方法有两种 URL重写Web Server在返回Response的时候,检查页面中所有的URL,包括所有的连接,和HTML Form的Action属性,在这些URL后面加上“;jsessionid=XXX”。下一次,用户访问这个页面中的URL。jsessi...
cover of next post
下一篇
consistent hash 实现
摘自:https://github.com/it-interview/easy-job/blob/master/java/%E4%B8%80%E8%87%B4%E6%80%A7Hash%E7%AE%97%E6%B3%95.md 一致性Hash算法 1.为什么要使用一致性Hash 解决余数Has...

评论
avatar
老实
分享技术思考与实践记录
文章
508
标签
26
分类
115
GitHub
公告
欢迎来到老实的博客!
目录
  1. 1. 本地调试运行
  2. 2. 调试命令
最新文章
App Store 应用内支付如何创建优惠代码,别和付费应用促销代码搞混
App Store 应用内支付如何创建优惠代码,别和付费应用促销代码搞混2026-06-03
个人财务小助手-资产归聚和流水查询
个人财务小助手-资产归聚和流水查询2026-05-31
使用openclaw整合已有的个人博客网站
使用openclaw整合已有的个人博客网站2026-05-05
AI时代:语言即世界,代码即方案
AI时代:语言即世界,代码即方案2026-04-22
支付宝基金断舍离
支付宝基金断舍离2026-04-21
排队给智谱Coding Plan送钱了
排队给智谱Coding Plan送钱了2026-04-14
苹果用户门禁卡之殇
苹果用户门禁卡之殇2026-04-11
从Prompt到Harness:AI工程化的三重进化
从Prompt到Harness:AI工程化的三重进化2026-04-07
苹果设备内置大模型不可用
苹果设备内置大模型不可用2026-04-04
苹果应用:通讯录助手
苹果应用:通讯录助手2026-03-29
© 2025 - 2026 By 老实框架 Hexo 8.1.1|主题 Butterfly 5.5.5-b1
搜索
数据加载中