400-885-9898
职位描述
PythonJavaScript數據采集爬蟲開發反爬蟲分布式爬蟲Scrapy
一、職位描述：
1、負責設計和開發分布式的網絡爬蟲應用，包括調度、抓取、入庫等內容，進行互聯網相關信息的抓取和分析
?
1、負責設計和開發分布式的網絡爬蟲應用，包括調度、抓取、入庫等內容，進行互聯網相關信息的抓取和分析
2、負責實現大規模數據的抓取、抽取，去重、分類，垃圾過濾，質量識別、解析入庫等工作
3、負責對指定的多個網站進行網頁抓取、數據提取、破解反爬策略
3、負責對指定的多個網站進行網頁抓取、數據提取、破解反爬策略
4、承接開發任務，需求分析，確保按時按質按量完成任務
5、有良好的溝通和學習能力.有較強的團隊協作能力以及快速解決問題的能力。
二、崗位要求：
1、計算機或相關專業、具備3年以上項目開發經驗；
二、崗位要求：
1、計算機或相關專業、具備3年以上項目開發經驗；
2、具有scrapy, scrapy-redis開發經驗；
3、具有web逆向經驗, 如滑塊驗證碼, 瑞數5代6代
4、熟悉多線程、網絡編程，精通網頁抓取原理及技術，精通正則表達式；?
5、熟悉并熟練應用各種常見加密算法；?
6、熟悉至少一種關系型數據庫(MySQL等); 熟悉NoSQL redis mongodb；至少熟悉一種mq, 有過數據庫調優和海量數據存儲經驗優先；
7、具有工商數據、金融數據、案件數據抓取經驗者優先;?
8、有移動平臺（iOS，安卓）開發經驗優先；
?
工作地点
中國人壽金融中心
以担保或任何理由索要财物，扣押证照，均涉嫌违法。一经发现，
相似职位
- 爬蟲工程師1-1.5萬
上海 - 浦東
上海問道云人工智能科技有限公司 - 高級爬蟲工程師1.8-2.2萬
上海 - 閔行
上海現代通用識別技術有限公司 上海 - 浦東
上海杰艾企業管理咨詢有限公司- Python爬蟲開發工程師1.4-2萬
上海 - 靜安
上海財聯社金融科技有限公司 - python爬蟲工程師1.2-1.8萬
上海 - 浦東
軟通動力信息技術(集團)股份有限公司 - 爬蟲工程師1.3-1.5萬
上海 - 長寧
上海微創軟件股份有限公司
热门公司推荐
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業銀行招聘
- 交通銀行招聘
- 建發集團招聘
- 中國移動招聘
- 中國聯通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
职位发布者
郭女士/人事經理
昨日活躍立即沟通
上海問道云人工智能科技有限公司
上海問道云人工智能科技有限公司成立于2017年，從事人工智能創新研究，致力于將先進的人工智能技術與行業應用相結合。用堅實的技術力量參與人工智能領域的基礎性科學研究，致力服務于金融、法律、零售等多個行業。
公司主页
上智联，你更值3.74亿+ 职场人的选择 780万+ 高新职位精准推荐