崗位要求:
1.負(fù)責(zé)設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則,完成對(duì)復(fù)雜網(wǎng)站信息抓取
2.負(fù)責(zé)設(shè)計(jì)開(kāi)發(fā)爬蟲(chóng)系統(tǒng)以及優(yōu)化爬蟲(chóng)策略,進(jìn)行多平臺(tái)信息的抓取和分析
3. 參與業(yè)務(wù)功能需求探討,數(shù)據(jù)分析處理落地,并提供后端接口
任職資格:
1.熟練使用python,熟練爬蟲(chóng)開(kāi)發(fā),熟練使用scrapy、selenium開(kāi)源框架,1年及以上python爬蟲(chóng)經(jīng)驗(yàn);
2.熟練常見(jiàn)反爬機(jī)制,IP代理池、headers認(rèn)證和cookie等;
3.對(duì)HTTP協(xié)議及HTML有深入理解,精通正則,xpath等,熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
4.積極主動(dòng),愿意接受挑戰(zhàn),抗壓性強(qiáng)。