岗位职责：
1. 负责网页信息和App数据抽取、清洗、去重等工作；
2. 实时监控采集进度和预警处理；
3. 与产品部门和上级沟通确保数据的准确性及时性；
任职要求：
1. 计算机相关专业优先，熟悉 Linux 平台开发，2年以上Python、Java开发经验；
2. 扎实的算法与数据结构功底，对新的知识和技术有强烈热情；
3. 深入理解 TCP/IP、HTTP、以及各类 WEB 登录认证的机制；
4. 熟悉 Mysql、Redis、Mongodb 三者至少之一，有过数据库调优和海量数据存储经验优先；
5. 熟悉常见的反爬策略，有JavaScript反爬、APP反爬、抓包分析、反爬策略探测、逆向等领域经验的优先