400-885-9898
职位描述
數據爬蟲分布式爬蟲反爬蟲數據抽取數據埋點
工作職責：
1.配置火車頭采集任務，從互聯網采集數據并入庫，涉及數據種類包含但不限于新聞/論壇/博客等。
2.維護火車頭采集腳本，保證站點架構變動后數據的正常采集。
3.搜集站點以及評測站點的可采集性，依據客戶及產品需求。
4.設計采集源數據庫（MySQL/Oracle），對數據清洗關聯及簡單分析，包含建表/存儲過程/觸發器/事件等。
5.日常監測數據采集相應服務的正常運行。
6.編碼采集網站內容。
1.配置火車頭采集任務，從互聯網采集數據并入庫，涉及數據種類包含但不限于新聞/論壇/博客等。
2.維護火車頭采集腳本，保證站點架構變動后數據的正常采集。
3.搜集站點以及評測站點的可采集性，依據客戶及產品需求。
4.設計采集源數據庫（MySQL/Oracle），對數據清洗關聯及簡單分析，包含建表/存儲過程/觸發器/事件等。
5.日常監測數據采集相應服務的正常運行。
6.編碼采集網站內容。
任職要求：
1.熟練使用火車頭采集器。
2.熟悉html標簽。
3.熟悉javascript相關內容。
4.熟練使用json數據解析以及提取。
5.熟練使用xpath，正則表達式等提取內容。
6.熟悉http協議。
7.熟練使用mysql或者oracle數據庫。
8.至少會java或者python其中一門語言。
9.了解數據采集原理以及代理等。
1.熟練使用火車頭采集器。
2.熟悉html標簽。
3.熟悉javascript相關內容。
4.熟練使用json數據解析以及提取。
5.熟練使用xpath，正則表達式等提取內容。
6.熟悉http協議。
7.熟練使用mysql或者oracle數據庫。
8.至少會java或者python其中一門語言。
9.了解數據采集原理以及代理等。
工作地点
靜安中心2717
以担保或任何理由索要财物，扣押证照，均涉嫌违法。一经发现，
相似职位
- 智能數據采集組長+200-240/天+雙休法休4000-6000元
北京 - 通州
河北云啟科創企業服務有限公司 - 信息采集員6000-8000元
北京 - 朝陽
北京安宇芳華科技有限公司 - 數據處理實習生100-200元/天
北京 - 豐臺
航天科工(北京)空間信息應用股份有限公司 - 數據采集工程師1-1.6萬
北京 - 朝陽
宸瑞股份 - 價格采集員5000-6000元
北京 - 石景山
北京研蔻科技有限公司 - 數據采集處理工程師（評估數據研究部）1.5-2.8萬
北京 - 海淀
北京(海淀)大數據先進技術研究院(北京大數據先進技術研究院)
热门公司推荐
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業銀行招聘
- 交通銀行招聘
- 建發集團招聘
- 中國移動招聘
- 中國聯通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
