注意该招聘信息在 100 天前已发布,有可能已失效
1
申请人
爱奇艺招聘分布式爬虫工程师
于 爱奇艺 in 北京
爱奇艺福利:14薪、12天年假,超一流的行政团队,日常活动多多
团队介绍:我们是一个信仰技术的团队,在这里,我们用技术说话,相信技术改变生活。目前团队负责全网视频、全网娱乐、资讯等新闻内容的抓取、分析和处理,是视频行业最成功的爬虫之一,目前支撑的数据量是YouTube的一半左右,大大超过中国同类网站,我们热衷于吸纳流行的技术如docker、grails、hbase,通过技术革命提高生产力。
薪资:20k+,能力优秀者不受限
工作职责:
负责爱奇艺分布式爬虫设计和开发
负责网页数据抽取、数据清洗和数据挖掘
核心调度算法的开发和研究,最大效率提高爬虫下载速度
破解主流网站和app的反爬机制
职位要求:
熟练掌握JAVA开发,熟悉分布式应用开发原理,熟练掌握多线程开发
掌握常用的数据如redis、hbase、mongodb等
熟悉常用的mq
熟练掌握http协议,以及NIO,apache http client
了解网站开发、HTML、css、js以及ajax,都熟悉加分
有反爬机制研发经验加分,有破解主流网站抓取接口经验加分
以上框架深入原理加分
近期的职位 爱奇艺
爱奇艺核心搜索部门NLP组招聘NLP算法工程师 at 爱奇艺 in 北京
2021-08-12
爱奇艺核心搜索部门NLP组招聘NLP算法工程师 at 爱奇艺, 不限地址
2021-07-29
【爱奇艺】搜索NLP组 算法实习生 at 爱奇艺, 不限地址
2019-09-03
爱奇艺nlp算法实习生 at 爱奇艺, 不限地址
2019-06-06
【爱奇艺】搜索NLP组 算法实习生 at 爱奇艺 in 北京
2019-04-16