崗位要求:
1. 負責設計開發爬蟲系統以及優化爬蟲策略,進行多平臺信息的抓取和分析
2. 設計爬蟲策略和防屏蔽規則,完成對復雜網站信息抓取
3. 參與業務功能需求探討,數據分析處理落地,并提供后端接口
任職資格:
1、熟練使用python,熟練爬蟲開發,熟練使用scrapy、selenium開源框架,1年及以上python爬蟲經驗;
2、熟練常見反爬機制,IP代理池、headers認證和cookie等;
3、對HTTP協議及HTML有深入理解,精通正則,xpath等,熟練從結構化和非結構化的數據中獲取信息;
4、積極主動,愿意接受挑戰,抗壓性強。