崗位職責:
1. 參與設計和開發高效、穩定的網絡爬蟲系統,從各種網站和平臺抓取數據。
2. 使用 Java 和 Python 編寫和維護爬蟲腳本,處理反爬蟲機制,確保數據抓取的準確性和效率。
3. 采用包括AI大模型在內的多種方式對抓取的數據進行清洗、整理和存儲,并進行初步的分析和處理。
4. 與團隊成員合作,解決爬蟲開發過程中遇到的技術難題。
5. 關注爬蟲技術的最新發展,并積極學習和應用新技術。。
任職要求:
1. 2-3年爬蟲相關工作經驗,計算機科學、軟件工程或相關專業專科及以上學歷。
2. 熟練掌握 Java 和 Python 編程語言,具備良好的代碼風格和文檔習慣。
3. 熟悉常用的爬蟲框架和庫,例如 Scrapy、Selenium 等。
4. 了解 HTTP協議、HTML、CSS、JavaScript 等前端技術,能夠分析網頁結構并提取所需數據。
5. 熟悉常見的反爬機制,并能夠使用相應的策略進行應對。
6. 熟悉使用 MySQL、Elasticsearch,了解 Linux 操作系統和常用命令。
7. 具備良好的問題分析和解決能力、良好的溝通能力和團隊合作精神,能夠獨立完成爬蟲任務,能夠與團隊成員有效協作。
8. 工作踏實、認真、負責,執行力強,能夠在快節奏和高壓力環境下保持高效工作,確保項目按時交付。
9. 有分布式爬蟲、數據清洗、數據分析等相關經驗者優先。
10. 有AI大模型數據清洗經驗者優先。
長沙 - 岳麓
長沙 - 岳麓
長沙 - 岳麓
長沙 - 岳麓
長沙 - 岳麓
長沙 - 岳麓
上智联,你更值3.74亿+ 职场人的选择 780万+ 高新职位精准推荐