机器之心编译出品

参与： 张诗玥、赵云峰、微胖、赵巍

2016年1月，Rework深度学习会议在旧金山举办，会议既有精彩的深度学习研究人员出席，也看到不少优良创业公司。本文系出席这次会议 Lisha Li的会议速记。文章重要分三个部分，首先介绍了文章整体思路，然后分辨从研究和公司两个角度介绍会议内容。

第一部分：总体思路

上周我参加了「Rework深度学习」会议，为期两天的会议云集了多名深度学习顶尖研究者和深度学习公司。我按照先后次序做了总结笔记，笔记分「研究」和「公司」两部分。「研究」类笔记包含与吴恩达的Q&A;。

研究类的谈话对业内最新成果作出了一系列精彩总结。当然，如果你经常浏览相干文献，会对这些话题很熟悉。如果不是，我也不便给你特定的例子，因为它们都很值得一读。

毫无疑问，人们对这一领域研究利用非常高兴。个人认为，参加此次会议的公司大致可分为以下几类：大型公司（Pinterest, Twitter, eBay, Flickr）利用深度学习来进步竞争力。除了其他各种已经得到运用的统计/机器学习工具，深度学习也成为工具包里的又一利器，不过，它尤擅长完成必须规模化处理海量可视化数据和自然语言处理任务。在规模小一些公司中，一些从事医疗运用的公司似乎既有很棒的商业模式也有易于处理的问题（比如，下面会提到的从事超声波诊断的BayLabs公司）。这些公司重要利用了盘算机视觉在分类任务上的进展，技巧进展使诊断更加效率，更易获取。这似乎确有说服力，只要（就某个需要解决的问题）拥有标记好的数据组，比如就超声波诊断来说，与医院和研究机构合作似乎就能搜集到这些数据。而且考虑到责任问题，这只能作为赞助手段而不能真正替代医生。还有两家公司致力于卫星图像的分析。其中一家能够评估所获数据的价值（盘算世界石油储量就是很有代表性的例子，又如中国建设运动可以作为其经济发展的等价参考）。最后，会有更多面对垂直领域的消费者，垂直领域商家试图用深度学习提升互动个性化（比如，购物推荐，管理自己相册，等等）。

用深度学习创造一个成功的商业，就是找到一个满足于目前技巧可以实现的正确度的垂直领域，尽管也将为此投入大批金钱。简言之，它给出的成果是否足够准确？是否有人愿意为现有准确度买单？虽然很多公司看起来远景广阔，但是他们是否可以算作成功仍不明朗。相较而言，正如下面将提到的许多公司所做的那样，搭建一个实现深度学习的平台则更为简略，尤其是考虑到许多有足够财力的公司已经组建了自己的深度学习团队（如上）。

集群时，毛病就会浮现出来。下面就是我想分享的东西，北京速记公司，盼望你们可以不要再掉入同样的陷阱。

第二部分：研究

Ilya Sutskever/OpenAI 

演讲主题：深度学习的理论和利用（Deep Learning Theory and Applications）

技巧进展：深度神经网络非常富有表现力而且能为我们感兴趣的十分艰苦的问题供给解决方案。它们可从实际数据进行训练（也就是说，我们能找到好的权重）。通过类比生物神经元，演讲者提出了一个温和论点，说服我们自己信任为什么神经网络应当可以解决类似生物神经网络解决的问题（生物神经元放电慢，每秒次数少。）会议也展现了一项名为「神经GPU」的新研究，通过研究DNN如何学习算法，解决更好泛化DNN的问题。研究成果：能用最多20比特的二进制加法进行训练，并泛化至2000比特，乘法运算同样如此。也可以高度并行运算。

重要收获：深度神经网络找到可训练性和表现力间的平衡点。

与吴恩达的围炉谈话

重要内容：我们必须联合起来向大众普及人工智能能够做什么以及不能做什么，这样才干打消大众对人工智能的胆怯情绪。吴恩达对人工智能及其开源的（面向普通人的）流传渠道持乐观态度。政府应当在其中扮演更加重要的角色，不过，不是采用限制的解决方案，而应当致力于设立该领域的安全标准。