2 moqsien/ganji_zufang

赶集网租房信息,用了免费代理IP池,MongoDB做存储; 考虑了免费代理因为不稳定而丢失数据的情况(返回带'partial'标记的response, 或者返回信息不完整, 导致无法翻页), 事实上, 不用代理, 只要爬取速度慢一些, 也能成功抓到数据.