jobber

申请人

职位描述：负责爬虫系统的架构设计与开发，负责设计和开发多平台信息的抓取和分析，设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量，实现大规模文本抓取、抽取，网页去重、分类，垃圾过滤，质量识别、解析入库等工作。
任职要求：
 熟悉linux平台操作，有2年以上Java开发经验。
 使用过spring、spring mvc、mybatis等框架，有扎实的java编程开发基础，有爬虫开发经验。
 一年以上Python开发和部署经验，熟悉Mysql/MongoDB/Redis/Rabbitmq开发，基础扎实，编码能力强。
 熟悉信息抓取和整合技术，从结构化的和非结构化的数据中获取信息。
 有nutch+hbase、heritrix、webmagic抓取经验或者分布式抓取经验者优先，
 具备Web挖掘，搜索引擎相关知识，有从事网络爬虫、网页信息抽取工作经验者优先。
 有自然语言处理和数据挖掘相关经验的优先。

请注意，暂时不招应届毕业生，谢谢