爬虫开发工程师
1-1.5万元/月
更新 2026-01-13 18:51:50
浏览 588
职位详情
爬虫工程师
3-5年
岗位职责:
1.设计高可用的分布式爬虫架构,突破各类反爬限制(如瑞数验证码、滑块验证等),实现多源财税数据的自动化采集与清洗;
2.深入研究目标网站动态渲染机制,结合Selenium/Playwright等工具及反检测手段(如指纹伪装、流量模拟)保障数据抓取稳定性;
3.开发面向财税场景的RPA自动化流程,完成票据识别、税务申报等业务环节的自动化执行;
4.构建数据质量监控机制,确保财税数据在合规性、准确性和实时性方面达到标准;
5.持续迭代爬虫系统架构,制定反反爬策略,有效应对IP封锁、行为验证等技术挑战。
任职要求:
1.熟练掌握Python/Java,具备3年以上爬虫开发经验,深入理解Scrapy、Requests等框架底层原理;
2.有财税领域RPA开发经验者优先,熟悉OCR技术及金蝶/用友等财务软件接口集成;
3.具备使用Selenium/Playwright绕过瑞数5.0+检测的实际能力,了解TLS指纹、WebSocket逆向等相关技术;
4.擅长动态页面解析,可独立处理Ajax加载、WebAssembly等复杂反爬情形;
5.拥有分布式爬虫(Scrapy-Redis/Celery)项目经验,熟悉Kafka/RabbitMQ消息中间件;
6.具备基础财税知识(如增值税发票格式、税务申报流程)或参与过相关项目者优先。
1.设计高可用的分布式爬虫架构,突破各类反爬限制(如瑞数验证码、滑块验证等),实现多源财税数据的自动化采集与清洗;
2.深入研究目标网站动态渲染机制,结合Selenium/Playwright等工具及反检测手段(如指纹伪装、流量模拟)保障数据抓取稳定性;
3.开发面向财税场景的RPA自动化流程,完成票据识别、税务申报等业务环节的自动化执行;
4.构建数据质量监控机制,确保财税数据在合规性、准确性和实时性方面达到标准;
5.持续迭代爬虫系统架构,制定反反爬策略,有效应对IP封锁、行为验证等技术挑战。
任职要求:
1.熟练掌握Python/Java,具备3年以上爬虫开发经验,深入理解Scrapy、Requests等框架底层原理;
2.有财税领域RPA开发经验者优先,熟悉OCR技术及金蝶/用友等财务软件接口集成;
3.具备使用Selenium/Playwright绕过瑞数5.0+检测的实际能力,了解TLS指纹、WebSocket逆向等相关技术;
4.擅长动态页面解析,可独立处理Ajax加载、WebAssembly等复杂反爬情形;
5.拥有分布式爬虫(Scrapy-Redis/Celery)项目经验,熟悉Kafka/RabbitMQ消息中间件;
6.具备基础财税知识(如增值税发票格式、税务申报流程)或参与过相关项目者优先。
相似职位
很抱歉,暂无相似职位!