0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

成为高级爬虫工程师有哪些要求

工程师人生 来源:工程师吴畏 2019-03-20 14:49 次阅读

岗位描述1:

1、参与大规模框架系统的相关架构和开发;

2、负责框架系统模块设计和开发,包括服务端和客户端,以及日常升级和维护

3、协助完成需求收集、分析,系统设计,测试和部署,编写开发过程中涉及的相关文档

任职资格

1. 3年以上Java开发经验,熟悉Java core和开源项目,有互联网开发经验者优先

2. 具备面向对象的设计思路和经验,熟悉软件开发流程、体系结构,具备较好的文档能力及良好的编码风格;

3. 具备良好的表达和沟通能力,能充分理解用户需求和功能描述,设计并开发软件系统;

4、熟悉SOA、Messaging,socket、线程、并发等开发知识,有后台框架开发经验者优先

5、熟悉应用服务器, 熟悉Tomcat、Netty、Apache的配置及其优化

6. 熟悉数据库知识,具有数据库设计能力,熟悉SQL Server/Oracle/MySql相关技术及工具

7熟悉HTTP传输协议,精通网页抓取原理及技术,能模拟浏览器操作爬虫;

8、责任心强,热爱爬虫工作,有爬虫项目经验优先。

9. 具备极强的团队精神和合作精神,对工作有热情,能够在一定压力下工作

10.全日制本科、硕士及以上学历,计算机、数学、物理及其他理工科专业毕业。

岗位描述2:

1、参与爬虫系统的架构设计与开发;

2、具有实际爬虫开发、内容提取工作经验2年以上;

3、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;

4、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;

5、能独立解决实际开发过程碰到的各类问题;

岗位要求:

1、熟悉linux平台开发,3年以上Java、python或C/C++开发经验;

2、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息;

3、熟悉Mysql,redis,mongdb三者至少之一,有过数据库调优和海量数据存储经验优先;

4、具有搜索相关技术研发经验者优先;

5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;

6、有nutch,heritrix抓取经验或者分布式抓取经验者优先;

7、熟悉搜索引擎和个性化推荐相关技术,精通主流分词算法、分类、提取摘要、大规模网页聚类、索引、检索等相关开发经验者优先。

职位描述3:

1、精通爬虫相关技术,如:httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等

2、精通Core Java相关知识,如:常用集合类/泛型/反射/IO/注解/多线程等

3、掌握常用开源框架,如:Spring、MyBatis、Spring Boot等

4、掌握常用数据库(如:MySQL)及相应DDL/DML,熟悉索引及常规SQL调优

5、掌握常用开发管理工具及应用服务器,如:Eclipser、Maven、Git/SVN、Tomcat、Nginx等

6、熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等

7、熟悉HTTP协议,掌握HTML/CSS/JS/JQUERY/AJAX等相关知识

8、熟悉MQ、Zookeeper、Redis等分布式和NoSQL技术

9、了解Linux系统及Linux常用命令

10、了解Hadoop、HBase、HDFS、KAFKA等大数据相关知识

11、有运营商网站爬取或逆向经验尤佳

职位描述4:

1、参与数据层建设,专注于垂直领域数据爬取,进行多平台信息的抓取和分析;

2、参与爬虫系统的架构设计与开发;

3、实现数据提取、清洗、结构化、入库、统计分析等需求;

4、研究优化算法,提升爬虫系统的稳定性、可扩展性;

5、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;

6、能独立解决实际开发过程碰到的各类问题。

岗位要求:

1、全日制本科以上学历,计算机等专业;

2、有扎实的计算机基础、熟悉常用数据结构,具有实际爬虫开发经验;

3、至少熟练掌握Java/Python其中一种语言,良好的编码风格及编码能力;

4、熟悉高并发、高性能的分布式系统的设计及应用,熟悉常用数据存储,各种数据处理技术优先;

5、有3年以上编程开发经验,有丰富的爬虫和反爬虫经验者优先。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 工程师
    +关注

    关注

    59

    文章

    1566

    浏览量

    68450
  • 爬虫
    +关注

    关注

    0

    文章

    82

    浏览量

    6845
收藏 人收藏

    评论

    相关推荐

    FPGA算法工程师、逻辑工程师、原型验证工程师什么区别?

    ,共同进步。 欢迎加入FPGA技术微信交流群14群! 交流问题(一) Q:FPGA中的FPGA算法工程师、FPGA逻辑工程师、FPGA原型验证工程师三者什么区别? A:FPGA 算法
    发表于 09-23 18:26

    正是拼的年纪|65岁电子工程师上班VLOG #65岁退休 #电子工程师 #搞笑 #上班vlog

    电子工程师
    安泰小课堂
    发布于 :2024年07月25日 11:31:02

    用二创,1:1复刻工程师的职场现状

    工程师
    扬兴科技
    发布于 :2024年07月19日 18:30:07

    嵌入式软件工程师和硬件工程师的区别?

    、机器人等。 定义和工作职责 嵌入式软件工程师的主要职责包括但不限于:设计、开发、测试和调试嵌入式软件应用程序,以满足特定硬件和软件要求。他们需要理解并掌握嵌入式系统的基本原理,熟悉相关硬件接口
    发表于 05-16 11:00

    大厂电子工程师常见面试题#电子工程师 #硬件工程师 #电路知识 #面试题

    电子工程师电路
    安泰小课堂
    发布于 :2024年04月30日 17:33:15

    企业老工程师和高校老师啥区别

    电子工程师硬件
    电子发烧友网官方
    发布于 :2024年02月28日 17:50:00

    #人工智能 #FPGA 怎么成为一个合格的FPGA工程师

    fpga工程师
    明德扬助教小易老师
    发布于 :2023年12月18日 21:19:01

    有没有谁做过DSP、微型逆变器/微逆变/大型工业逆变器、嵌入式软件的软硬件高级工程师

    急需 DSP、微型逆变器/微逆变/大型工业逆变器、嵌入式软件等丰富经验的软件高级工程师、硬件高级工程师,深圳,面议面议,自荐/推荐请联系我。欢迎来询zsrfwk@163.com
    发表于 12-14 17:32

    工程师必看!电路基本概念哪些?

    工程师必看!电路基本概念哪些?
    的头像 发表于 11-30 09:31 651次阅读
    <b class='flag-5'>工程师</b>必看!电路基本概念<b class='flag-5'>有</b>哪些?