职位描述
岗位职责：
1、参与数据团队通用数据采集平台架构设计和开发工作，并确保该系统遵守robots协议等互联网信息抓取规范。
2、负责设计和开发分布式网络采集系统、技术选型。
3、持续对系统进行架构改造和优化，提升系统的稳定性与可扩展性，保障系统稳定，高效，安全。任职要求
1、本科及以上学历，计算机相关专业。3年及以上web端内容采集（通用采集/广域采集）相关、采集平台、rpa相关开发经验。
2、熟练掌握Python编程语言及常用采集框架，深入了解框架提供的特性及其实现原理细节。
3、精通web端协议，熟悉账号池、IP账号池等技术，能够有效提升一般网页采集的效率和质量。
4、研究采集策略和防屏蔽规则，有深入研究过常见的人机校验等风控机制和原理；熟悉TLS指纹、协议分析、混淆还原、JS环境模拟等技术，以及各类加密算法，譬如（AES、RSA、Base64，Md5、SHA 系列等）。
5、具有良好的沟通能力、学习能力、分析解决问题能力，有较强的责任心、自驱力。
6、[加分项] 有长期规模化采集系统建设经验者优先。
立即投递
