在现状和想要达到的目标之间,总是有一条大河。大部分人花费了巨大的精力在水流里挣扎,还没能接近目标,就已经被湍急的水流冲走了。然而,总有少部分人能乘着小船,直达对岸。
10年前,从普通学校毕业的我进入了一家小公司,传统运维的工作重复性太高,特别枯燥。
于是我下定决心决定摆脱这种困境,想通过编程来改变现状。于是开始学习 Python,当时也非常苦逼,每天早上5点起来看视频看书做练习。
3个月之后,我跳槽了,薪酬是之前的两倍。
后来,我得到了进入搜狐这样公司的机会,一路成长为社交产品的服务端负责人,也进入了一线互联网公司的技术圈子,有了更高的视野。
学一门新的技术,从而获得新的机遇。与其说是一种能力,不如说是一种方法。
在这里,把我的实践过的经验和心得分享给大家。
转行路上的3个坑
坑1:无尽的刷初级教程
爬虫是入门简单,深入难。
现在在知乎、微信公号上的大部分爬虫教程都是初级教程,大家写着玩的,真正公司里用的东西不会发出来。
无尽的刷这种初级教程,刚开始会有成就感,后来就是无限的重复,会让你的水平一直停留于入门级,无法提高。
坑2:代码一失效就哭天喊地
你在书里、视频里、教程里看到的爬虫代码是很容易失效的。
要爬取的网站每周都会更新迭代。而且许多大公司都有自己的反爬虫团队,一旦发现用的多的爬虫策略,就会禁止你的访问。
如果你缺乏自己去攻防反爬的能力,就只能在代码失效时措手无策、哭天喊地,却找不到办法自己去解决。
坑3:不了解 Python 多进程并发程序
如果没写过爬虫的话,很可能是没写过 Python 多进程并发程序的。我接触的程序员,其中好多人岁数都已经很大了,都没有写过一个并发的程序,而是一直在写业务逻辑。
而为了提升爬虫效率,关键点就在于要了解:并发、并行、什么时候用多线程?什么时候用多进程?什么时候用协程?尤其像 Python 是动态语言,它有 GIL 的情况下,怎么去做处理?什么时候是 IO 密集型的,什么时候是 CPU 密集型的,想提升效率怎么去处理?
如果不是科班出身的话,理解起来会有很多的误区。在处理如何更快速更高效的爬取网站的时候,就会遇到问题。
如何转行爬虫工程师
1. 积累项目实战经验
我曾经面试过一个同学A,是某个培训班出来的。在我问他简历上项目的技术细节时,他支支吾吾的答不出来,我一看这是没做过项目啊,没做过你就别浪费我时间了。
最后他跟我说实话,是培训班伪造的简历,问我「能不能不要工资在这实习?」
我说「这事还是别了,你这项目经验太弱,还有好多东西要补。」
然后我让他至少先自己花一星期补补基础,结果他嫌一星期太长了,他想马上就找到工作。(摊手)
其实我觉得他的问题就是出在心态上了。如果能坚持把项目啃下来,解决了开发过程中的各个关键点,能直接上手去做公司的事情的话,找到工作就是水到渠成的事情了。
2. 写的质量好的项目可以放 Github
如果你认为你的代码写的不错,你可以放在 GitHub 上,写上你所有的解决问题的流程。
但如果你写得很烂,我认为面试官看了可能不是一个加分项,你还不如不写,因为面试官会看,会发现你的代码暴露了很多问题。
3. 技术总结可以放到博客或 Gitbook
你在真正做项目的时候,是会遇到一些问题的,在解决之后可以把这个过程总结出来,写成一篇笔记。这是对你的知识体系的一个完善,哪怕是再小的点,记录下来也是有意义的。如果不方便发出来,也应该自己总结写下来,不然过几天就忘了。
积累的多了,这些学习笔记就形成了一个你的知识体系,这时候可以在 Gitbook 上作为一本电子书开源出来。如果别人看到你了,别人可能也就会联系你来做这份工作了。
爬虫工程师岗位要求掌握哪些?
初级爬虫工程师
* 爬虫方面:熟悉爬虫框架,熟悉 xpath、正则表达式,有爬取经验,了解常见策略,能优化爬取效率
* Python基础:尤其是数据结构的考察,知道怎么折腾数据、并发编程
* 前端编程:熟悉 HTML,CSS,JS
-
工程师
+关注
关注
59文章
1566浏览量
68450
发布评论请先 登录
相关推荐
评论