jobber

申请人

岗位职责：
1. 负责设计和开发分布式的网络爬虫应用，包括调度、抓取、入库、维护、验证等内容，进行互联网相关信息的抓取和分析；
2. 实现大规模文本抓取、抽取，去重、分类、解析、增量入库等工作；
3. 网页信息抽取等核心算法的研究和优化；
4. 根据产品的数据需求，调研数据源，给出爬取建议。

岗位要求
1. 计算机相关专业本科以上学历；
2. 精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；
3. 2年以上Linux服务端开发经验，1年以上网络爬虫开发经验，熟练掌握Java/Python/C/Go任意编程语言，优先考虑Python；
4. 熟悉搜索引擎和网络爬虫相关技术，熟悉爬虫相关检索算法；
5. 熟悉 javascript, html, css, xml, json等网页技术与数据协议；
6. 具有分布式、多线程编程经验，有良好编码习惯；
7. 了解mongodb数据库，熟悉redis等缓存技术。
8. 有良好的沟通能力和语言表达能力。