斯坦福的N堂课|吴恩达“手把手”教你读AI论文和规划人生
在斯坦福和硅谷一年,走访了很多科技公司,上了很多创业先锋和技术大牛的课,也知道了坊间不少八卦,细嚼慢咽、久久回味,后与你们分享之。
01
引子
吴恩达在Deep Learning课堂上
离Deep learning开课还有半小时,我窝在教室门口沙发看Coursera上吴恩达(Andrew Ng)的讲课视频,数不尽的函数让人如陷云山雾罩,不经意间一抬头看见本人,真真吓了一跳,还以为他直接从屏幕里跳了出来。
Andrew穿着蓝色衬衫,手拎一只黑色公文包,匆匆向教室走去。这门课他一共只出现三次,每次都是同样的浅蓝色衬衫。后来他关于推荐算法一段视频讲到总被推送蓝色系的衬衫广告,因为他只穿这个颜色。
似乎,硅谷技术大牛们都有同样嗜好,如乔帮主和小扎,大力减少挑选服装方面所消耗的不必要精力,把剩余的时间用于……嗯……思考人生。
Andrew将MAC摆上讲台,用户头像是三枚蓝色鸟蛋。
“Shall we start? ”他清清嗓子,说了三遍,礼貌而谦逊,教室依旧一片人声鼎沸。
终于,扩音器发挥了作用,大家陆续安静下来。
“您能大点声吗?”有学生在后排大喊。
“啊,不好意思,test, test,test,”他有些抱歉地笑了。
在扩音器的帮助下,他的声音才能勉强传到教室最后一排。他总是带着几张手写讲义,喜欢用笔在白板上细细演算推导,然而字迹浅显而模糊,总让人感到难以辨认。
他很少谈具体的技术细节,而是以一种抽象、概括、精炼的方式试图帮大家建构出AI的路线图。
斯坦福大学实行Quarter制,一年分为春夏秋冬四个Quarter,足以让学生选足够多自己喜欢的课。
秋季学期的Machine Learning是吴恩达开的“明星课程”,几百人大教室连地上也坐满了人,开课时齐刷刷站一排助教的阵势令人瞠目。不少外校学生不远千里赶来旁听,只为一睹AI大牛的风采。而我上的这门冬季学期的Deep Learning算是Machine Learning的进阶课程,课时不多,旨在去粗取精。
02
打Uber是读论文的好时候
当Andrew在讲台上打开自己的黑色书包费力翻找时,无数好奇而八卦的目光如追光灯般聚焦一处。
最终他一无所获地摊手:“其实我要找一个文件夹,里面是打印好的最新论文,今天恰好忘了。”
平时事务繁忙,他会随身携带“论文夹”,利用碎片化的时间读取,比如在Uber或Lyft上的时候,每周总要读那么几篇,不然总感觉少了点什么。
“我知道很多人都会有‘周六早上困扰’,你在周六早上可能想睡个懒觉或者看个剧,如果能克服一下,利用这个时间读一篇论文,一年积累下来也是很大的收获了。”
一般通过哪些途径获得论文?他举了几个栗子:比如Twitter别人转发的、 ML Edit,还有NPS/ICML/ICLR等一些学术会议论文。靠自己在医疗健康、气候变化等领域的朋友推荐,也会带来很多更新鲜的论文。
如果读论文时遇到了什么数学问题,他都会自己推演一遍。如果论文提到了一些开源的代码,他也会自己亲自去跑一跑。
他建议在读论文时进行“并行处理”,不要一下读完一篇再读另一篇,要同时开始看多篇,如以下这张朴素的草图所示,假设你开始同时读8篇论文:
进度 0 100%
1--------
2————X不好,放弃
3————————————有价值的
4-------
5——————
6----------
7------
8————————————值得深度读的
对8篇做了概览后,你大概就知道需要深入研究哪几篇,而把剩下的“打入冷宫”了。
随后,Andrew分享了他的“6分钟读论文”独门绝技。
首先,带着这4个问题去读:
1.作者试图解决什么问题?(what did authors try to accomplish?)
2.这篇论文的关键元素是什么?(what are key elements of the paper?)
3.论文中有什内容可以“为你所用”?(what can you use yourself?)
4.有哪些参考文献你想继续研究?(what reference do you want to clear down?)
读时,可采用“渐进式”读论文大法:
1.先读标题/摘要/主要图表(title/abstracts/figures)
2.再读引言/结论/更多图表/跳过相关研究部分(intro/conclusions/more figures/skim the rest/skip related work)
3.概览整篇文章(whole paper skim)
4.通读整篇论文(read the whole paper)
03
不要只选择“看上去很美”的公司
Andrew以回答同学邮件咨询职业选择为乐。
常有同学为某个“闪闪发亮”的名字投奔了某科技巨头,结果发现只是做些修修补补的小工作,十分没有成就感;转而工作两年后辞职去了一个“独角兽”,和一群很棒的技术大牛一起头脑风暴,这才感觉收获颇丰。
所以, Andrew给出的职业建议是,不要过于看重公司的“牌子”,有时一个由20-30名技术精英组成的小公司反而更有前景。
有些小公司可能没有闪闪发亮的招牌,但却有一个超牛的机器学习团队,那么一定要选择加入这支团队,会收获更多。有些非传统的技术类公司,如零售、医疗行业有时也会有很厉害的技术团队值得加入。
“选择一份工作,一定要仔细考虑你即将一起工作的团队是怎么样的,如果面试时没能见到未来将要共事的团队成员,就要慎重考虑。”
针对在读学生,Andrew支招了如何让校园和职场无缝对接。
“首先你要确保自己掌握了需要的技能,比如编程、构建机器学习模型等,”他说,“然后思考如何利用这些技能建立一个有意义的系统/项目,这将是你的实践经验。”
Andrew建议可以从课程作业开始,选择感兴趣的领域深入下去,比如做一个NLP或者VR的大作业项目,花很多时间不断打磨,比同时选很多课做很多零碎的小项目要好。
“最重要的是你要不断保证自己能学到新知识,这可以通过课程和阅读获取。”
确实Andrew也是这样“以身作则”,他说自己现在选择公司会只考虑两个方面:“一是能不能让我学到新东西,而是能不能对社会产生影响。”-END-