jobber

申请人

岗位职责：
1. 搭建大规模分布式网络爬虫系统（多线程、分布式调度、协议处理）；
2.系统解决动态网页内容抓取、深度网页内容抓取的关键技术；
3.解决爬虫开发和反爬技术的关键技术难点。
岗位要求：
1.熟练使用JAVA语言，熟悉linux；
2.熟练掌握lucene、solr、elasticsearch等框架，参与过使用这些框架的产品研发；
熟悉Solr，Elasticsearch等至少一个基于Lucene的开源搜索引擎，研究过Lucene源码优先；
3.算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统；
4.精通爬虫和反爬技术，精通http底层协议；精通深度抓取、动态网页技术抓取、浏览器模拟抓取技术等。
5.熟悉分词，语义分析，信息抽取等自然语言处理基础算法和应用。