jobber

申请人

【北京开数科技有限公司】是一家专注于大数据开发及应用的初创公司。
团队成员来自美国MIT、哈佛大学、纽约州立大学、英国剑桥大学的大数据研究专家，以及来自罗兰贝格、埃森哲的战略运营专家组成。
我们致力于在大数据领域做一个不同寻常的国际一流公司，将我们在人工智能算法、模式识别及可视化领域独到的技术优势，转化为真正能够服务于人类的巨大价值。

【爬虫工程师】
岗位职责：
1. 研发分布式的网页信息提取应用应用，包括网页爬虫调度、抓取、入库等内容，以及进行互联网相关信息的抓取和分析；
2. 实现大规模文本抓取、抽取，去重、分类，垃圾过滤，质量识别、解析入库等工作 ；
3. 网络信息提取架构设计、功能开发及优化；
4. 网页信息抽取等核心算法的研究和优化。
任职要求：
1. 计算机相关专业本科以上学历；
2. 熟悉linux平台开发，掌握Python/C++/Java三种编程语言中的至少一种；
3. 1年以上网络爬虫开发经验，熟悉网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；
4. 熟悉搜索引擎和网络爬虫相关技术，熟悉爬虫相关检索算法，对大内存操作，高性能，大规模数据处理；
5. 熟悉 javascript, html, css, xml,json等多种网页技术和数据协议；
6. 有分布式、多线程编程经验。