为什么那么多牛人成天在研究讨论算法,系统自动推荐的东西还是不能令人满意呢 知乎精选

第一篇：为什么那么多牛人成天在研究讨论算法,系统自动推荐的东西还是不能令人满意呢 知乎精选

为什么那么多牛人成天在研究讨论算法，系统自动推荐的东西还是不能令人满意呢

知乎精选

【陈镇波的回答(61票)】: 下面是我在如何看亚马逊个性化推送商品问题中的回答，我想对这个问题同样有效：我记得10年前,互联网刚兴起的时候就有人研究如何通过机器算法推送用户信息的算法，其方式和亚马逊采用的一样，无非是对用户数据的深度挖掘（浏览行为、性别、年龄........)，然后匹配用户感兴趣的广告，这就是所谓的精确广告投放的概念。

Amazon的给用户推荐商品的推荐算法给用户推荐其本质事实上和10年前试图做的精确广告投放本质是一样，无论想给用户推送的是商品也好，广告也好，新闻内容也好，微博也好，其本质都是信息。要解决的本质问题都是一致，如何将信息（商品、广告、新闻、微博、图片....)有效的传播到需要的用户那去？

这一切都看起来很美，但遗憾的是10年后这仍然未成功。亚马逊事实上在挑战互联网行业的最大课题：如何有效的将信息传播到最需要的用户处？ 这里有一个逻辑：

如果亚马逊能够推送商品成功，那他还可以用这个算法给我们推送其他信息（合适的新闻，我们最想看到的朋友动态、令我们龙心大悦的匹配广告。。）只靠这个算法，他也将是互联网的王者。

但可惜这一切都不会成功.这是因为用户的诉求和心理很微妙，很多时候你自己都不知道自己的诉求，前1分钟你想吃肯德基，后1分钟你可能放弃这个想法，正如keso说的我买了本股票的书，不代表我就得接受机器推送的其他股票书籍。

近来随着facebook和微博新产品的发展，让我们慢慢看清楚这2个产品形态其本质并不只是一个“社交网络" 这么简单，fb和tw设计的产品形态通过加为好友和关注模式，为你建立了一个人肉过滤网，这个过滤网由于有你的熟人和你感兴趣的人存在，他们的品味和喜欢，他们的分享和转发行为，为你构建了一层有效的过滤网。这个过滤网让你隔绝于于信息噪音外，得到的都是比较有效的信号。

我们会慢慢看到“人肉算法”强于机器算法。人肉过滤网胜过机器算法给你的“精心”安排和推送。

目前看fb tw这种产品形态是最好的处理信号/噪音比的方式。

结论：让我们忘记机器算法，机器算法必败，如果前10年的探索还不够，再花10年还是不会有成效，我们需要改变解决问题的思路用 fb和tw这种人肉算法过滤信息中的噪音。亚马逊也得也必须考虑“人肉过滤网”而非geek勾画自己热爱的机器算法。这里提醒一下豆瓣的同学也是如此，不要痴迷于自己的算法 【负二的回答(18票)】: 贴篇专栏文来回答这个问题.你能信任你的“电脑知音”吗？ 负二

我曾自诩为Geek中“有品位”的那一类——我的朋友们除了会问我笔记本或手机哪台值得买这样的问题之外，还经常会就电影、小说、唱片、餐馆或是变形金刚玩具征求我的意见。但从某天开始，我收到的这类咨询就越来越少，直到几乎完全没人再问我这类问题——我曾一度因此而怀疑自己的人生是否出了问题，直到我发现其中的奥秘。

不知你是否注意到，每次在淘宝的时候，从你搜索你想要买的那样东西开始，到完成交易给对方评价，网站都会在一个猥琐的角落为你滚动推荐一些“你可能感兴趣的东西”。通常面对这种推荐，我都会用我钢铁般的意志将它们排除在我的视线之外。但有时“钢铁般的意志”也会失效，比如，每次在超市的收银台前，我总是无法拒绝摆在小货架上的那些新口味的口香糖。

我猜，大多数人都和我有过相似的经历——即便不淘宝，也会在各个网站的各个猥琐的角落发现诸如“你可能感兴趣的新闻”、“你可能感兴趣的书”、“你可能感兴趣的电影”、“你可能感兴趣的餐馆”、“你可能感兴趣的……”之类的推荐。这类内容显然不会像iPad2发布会的消息或名人微博那样引人关注，如果我不提，你可能仍不会意识到它的存在，但不知不觉中，“推荐机制”却已如水银泻地一般攻占了整个互联网。

是的，就如你猜想的那样，不厌其烦地向你推荐那些“你可能感兴趣……”的并非一个上下班打卡、按月领薪水的人类编辑，而是一个程序——虽然存在感薄弱，但“推荐算法”已然成为了每个网站拉拢用户的核心机密，你可能难以想像“它”有多值钱——Netflix曾花费100万美元，设立Netflix Prize大奖，历时三年的等待，仅仅为了表彰将其推荐算法的准确率提升10%多一点点的人。试想，如果你有了一位洞悉你所有喜好的“电脑知音”，并可以24小时为你提供贴心指引，你自然也就不需要像我这样虚荣又自恋的咨询对象了，甚至于，所有那些“专家推荐”、“排行榜”之类，也就都没有了存在的意义。

但《纽约时报》的畅销书排行榜并未就此消失，人们也依旧重视罗杰·埃伯特开出的电影榜单，胜过IMDB的推荐——这不禁让人怀疑，“推荐算法”真的是一位理想的“知心朋友”吗？

我不妨向你分享一些我使用“推荐算法”的经历。我已经忘记了我何时不再关注乐评BLOG，不再在街边的打口CD摊驻足，甚至连MP3都很少下载了——自从我使用Last.fm和豆瓣电台的音乐服务之后，就开始依赖他们所提供的“音乐推荐”。虽然我偶尔想听听Beyond和伍佰怀怀旧的时候，他们会给我放陈绮贞那种我最讨厌的“小清新”，但大部分时间中，网站推荐的音乐都非常“妥帖”，合我口味——但我同样也已经忘记有多久没有体会到发现一支新乐队的“惊喜”的感觉了——就好比我雇了一个只懂得顺从和谄媚的DJ。当意识到这一点之后，在上下班通勤途中，我就宁愿听电台广播了。

而我的一位爱书的朋友则向我抱怨过豆瓣的书籍推荐算法，虽然它不像“虚拟DJ”那样谄媚，让他总是能在“也喜欢……”的列表中得到惊喜，但每本书都会引出其他10本书，这个循环仿佛无穷无尽，最终他不得不忽略豆瓣的推荐，重新打开“朋友们都在读什么”的关注列表，因为他每天就那么几小时的空闲可以花在读书上，而查阅豆瓣推荐就消耗掉了其中大部分的时间。

显然，“推荐算法”并不是帮助我们发现人生的理想方法。一方面，它会局限我们感兴趣的领域，阻止我们发现新的精彩——算法的准确性是可以被数字衡量的，10%的提升价值100万美元，而多样性和新颖性却没有任何适用的数学标准；另一方面，它也不懂得节制，当推荐太过泛滥时，它无法从中筛选出“你可能更感兴趣”的东西。

事实上，这段被打扮成“知音”的程序，并不能帮你解决任何决策效率或是增长见识的问题，它的真正职责是帮助它的雇主赚更多的钱——“新闻推荐”、“电影推荐”将你的注意力更长时间地留在了他们的网站上，而Amazon的书籍推荐也的确让我在上面花了更多的钱。

我更愿意相信，我的大脑比任何“推荐算法”都要高级一些，当我的朋友们识破“推荐算法”的真面目之后，早晚还是会回来听取我的意见的。【徐伟的回答(10票)】: 系统推荐内容，算法还是需要归纳到推荐的本质

1、基本运营人员手动的分类推荐

2、基本使用内容的TAG关联推荐

3、基本用户的行为习惯记录数据的关联内容推荐

4、基于相似用户之间的内容推荐，根据大众用户需求类型推荐相同内容

算法的推荐无法是人为地分析用户的意向需求，但并不能对所有的人一一满足，人与人之间的差别，只能根据实际的内容，数据推荐之间灵活关联，在运营间根据需求灵活调整，算法只是底层的东西 【袁浩瀚的回答(23票)】: 推荐系统的基础是统计推测（Statistical Inference），泛化一点说，叫机器学习（Machine Learning）也好。这是我现在最感兴趣的领域和研究方向。这个领域现在发展很快，我也对其很有信心。但是要真的做到让提问者“满意”，我觉得严重依赖以下方面（这里不讨论SVM，Neural Network等具体算法问题）：

1、如何定义“满意”：这是一个非常模糊的概念，从我个人的角度来说，满意就是推荐的结果让你有一种兴奋或者带感的体验，感觉一个在你潜意识中期待的东西被推荐系统提供给你了。但是这要求太高，你要想，有可能供你选择的内容全集可能根本就不含有让你“满意”的内容，比如豆瓣电台，如果你不喜欢听爵士，你选了爵士频道，无论那个算法多么牛逼，你还是不可能“满意”，这种情况下，无论你的推荐人多么了解你，也很难给你一个答案，因为这个内容全集你都不喜欢，人推荐和机器推荐没有区别。进一步而言，如果真的有这样一个算法，你不断被惊艳，根据人的神经习惯，你很容易就熟悉然后厌倦了这个过程。在现实生活中，你第一次听到大牛给你推荐书，你可能很认真记下来，然后马上回去买了看，但是如果大牛天天给你推荐，你也一定会懈怠。这也是很多人保持神秘感的原因，这样才能让他们的意见被重视。但是算法没法对你保持神秘感，它不能说今天来大姨妈不工作了，过一个月再来。只能说它的牛逼战胜不了你新鲜感逝去的速度。

2、前面诸位回答者提到了人肉推荐和机器推荐的比较，我觉得这个分类是很正确的，这也是fb，twitter的魅力所在。但是我现在在硅谷看到了最新的算法，是整合了人肉推荐的机器推荐。因为fb、twitter等API开发度非常高，硅谷一些新兴的公司会读取你的好友post，然后用来加强模型的训练。我不知道大家的情况，但是我个人觉得fb的好友太多，或者twitter中follow的人太多，你也会收到很多噪音。把机器算法和人肉算法结合是一个很好的出路，可以融合两者的优点。这绝对不是两个互相对立的体系，有效利用，可以合体。具体而言，http://getprismatic.com是一个很好的例子，做新闻推荐的。

3、数据量：上一个十年是互联网爆炸的时代，但是这一个十年才是2.0用户快速堆积的时代。统计推测最关键的就是用户数据，这在web 2.0基本是巧妇难为无米之炊。在海量储存和并发式系统发展到今天，我们可以有大量的数据来进行挖掘了。同时你好友的各种recommend，like数据也越来越多，加上API大量开发，我们可以跨平台收集你的好友推荐信息，我相信下一个十年推荐精度会大大提高。但是你是否“满意”，这是一个定性的问题，很难定量。

我不否认人的灵气带来的推荐优势，但是我对于技术有着坚定的信心。我们讨论的一切最后都是一个信仰问题。【谷文栋的回答(9票)】: 这个问题很火爆啊，简单说两句。

推荐引擎，是一门更偏重实践性的学科。而算法的（学术）研究，通常是在一个静态数据集上作特定目标的优化。这和实际业务需求是有差别的。那么算法研究，比如netflix prize，产生了不少新的算法研究方向，有木有价值？有，而且非常大。但转化为实际生产力需要时间和时机。

必须承认，目前真正以推荐引擎为核心的产品还很少，实际中在这个方向上持续投入比较大精力的，更少。说的多的人，通常并没有真正在做，比如我。。做的多的人，通常并不能剧透太多，比如胖子！我和项亮搞resys group，组织活动，初衷之一就是希望可以改变这种状况。我坚信，推荐引擎是下个十年中的big thing之一，需要喜欢这个领域的从业人员一起努力。http://好吧，我承认我回答问题是有功利心的。我正在打造一款个性化资讯阅读的产品“指阅”。需要产品经理/工程师/实习生，对这个领域感兴趣的童鞋，猛烈地来吧！【燕鹏的回答(4票)】: 目前，推荐引擎比较常用的算法是协同过滤，该方法对用户的历史数据有较强依赖，也就是说如果你更多地对电影、图书，做出评分、评论、收藏等操作，系统的推荐效果就会越好。【项亮的回答(6票)】: 研究人员提高的是统计意义上的推荐效果，比如CTR，转化率。单个人的结果的好坏没有特别的意义。此外，即使你觉得不好，但如果你点击了，你使用了，那我们的目的就达到了。

【李水的回答(7票)】: 牛人们的算法虽然牛B，但是缺乏用户的大规模数据，这算法起作用空间很小。而你的朋友给你推荐东西时候，大脑肯定没有运行什么算法（即使有，也是1+2=3那种最简单算法）、但是他认识你那么多年，等于掌握了你很大部分数据，大脑肯定调用了很多数据。

这也是facebook在资本市场为什么那么值钱的原因。-------“数据比算法值钱” 【知乎用户的回答(17票)】:

第一点，人推荐绝对会比机器推荐好，因为人推荐是一个人在评价了一本书，完全看完之后总结抽取出了对你有用信息，而且是很中肯的。而机器只是从关键字，字面上的匹配检索来达到统计推荐的，单是这一点，就不能保证推荐出来的质量，尤其是文学作品这种很艺术性的东西。另外算法方面，总的来说现在主要还是基于统计与匹配检索，主要的搜索因素都是你个人关注的信息类型、标签之类的东西，所以还是很难推荐出很合适的书的。

============================================= update 另外补充一点，并不是说你只关注一点推荐的书就会比较准确，这个还要取决于推荐的机制里对于一本书如何去定位他的价值所在。何况一百个人眼里有一百个哈姆雷特，但是计算机只有只有一个，只要是用同一个算法，一个书被多次抽取出来的东西差异性相当小。换句话说，实际上是算法开发者在以他的思维机械化的统计出一本书的关键字，然后来推荐给你，自然没有你周围熟悉你的人推荐的好，甚至是无法让你满意。

============================================ update 首先修正一下上面的一句话：换句话说，实际上是算法开发者在以他的思维机械化的统计出一本书的关键字，然后来推荐给你。

这句话实际上不准确，因为在统计时，统计者并不仅限于自己对书籍提出关键点的方式，还会将他人的评价也进行提取，并作为一个属性标签给这本书打上，这样只能将该书籍的大众观点提取到你的面前，而你对于这个看法未必就是赞同的，只能是尽可能地去接近你的思维。

另外，关于喜好也是可以引导的这个观点，这个是肯定的，但是在推荐的时候，依赖的不只是个人的喜好，还有对书籍属性的提出，如果匹配上了，就会推荐给用户，但是还是那个问题，在提出书籍的时候，必然是带着某部分人的个人思维，而不是根据用户的惯性思维去判断该用户在看到这本书的时候的看法，所以即便是匹配了，也无法让用户非常满意，尤其是在有着博大精深的中文文字文化底蕴的中国。至于某网站的某个功能，本人没用过，不置评论。【邓亚峰的回答(1票)】: 人工智能的东西总是会有失误的时候，这个是无法改变的。作为一个产品，是一个系统，性能并不仅决定于算法，算法也需要其他方面系统功能进行弥补。而且，由于数据的稀缺，理论的不足，以及计算资源的局限，算法确实还处于一个初级阶段。但是，一个推荐方面的产品也许不需要百分之百让人满意，只要对用户有帮助就是好的。【KaiMing的回答(3票)】: 现在的数据挖掘一般来说都是基于通用性数据的趋势性，统计性研究。得出的结果往往只能是概率上趋向于正确。就好比说系统中有80%的非主流人群，系统当然就认为你也是非主流了。

其实问题的关键是互联网需要更多的知道人与人之间的差异性，又或者说是每个人独立的特性。现在我们对人的研究以及人的模型都还不够完善，而且很多微小的被忽略信息可能也是关键性的，就好比说你是左撇子还是右撇子，你惯用的走路模式等等可能都和你的喜好，需求有关。

除此之外，这方面的安全问题也没有解决，也就是说你是否愿意暴露这么多的隐私给系统呢？ 【杨鹏的回答(3票)】: 基于 tag 的推荐 和 人基于阅读后理解全文后抽离出来的信息的推荐

二者的差距可不是一天两天能缩短的.人类进化了那么多年积攒下来的优势不是那么容易超越的.现在每一个互联网上的人, 还只是一个tag的集合, 根据tag 来推算出你喜欢的内容.未来每一个互联网上的人, 应该是一个tag和算法的交织合集.每个人都在互联网上不断更新进化.推荐的内容由自己产生!【Filestorm的回答(1票)】: 手机上网，给个短回答：

1.你的朋友有更多关于你的信息。信息越多，自然效果越好 2.机器对数据的表达还未能触及高阶的知觉过程。换句话说，机器无法看过一部电影之后理解它的内容。

3.如果给人和机器同样的数据，比如netflix，好的算法在性能上绝对远超过人。【赵丹的回答(5票)】: 说计算机不如人，这个说法太过简单草率，遗漏了很多信息。首先这句话是有前提的，什么样的计算机不如什么样的人，按照通常的理解，这句话背后的意思是普通的个人计算机不如智力正常的成年人，而不是拿世界前几名的超级计算机去和初生的小孩子或者智力有问题的人去比。搞清楚这个前提，其实很多人可能就不觉得有问题了。首先，个人电脑的集成电路规模才多大，比人脑神经元差多少个数量级，凭什么要求它达到同样的处理能力。其次，人脑从出生开始一直在受到周围的人和环境有意识的训练，一直在学习各种知识，用了十几二十年才达到成年的智力水平，计算机有哪个算法用了这么大量的数据训练了这么长时间，而且还有一群人有意识地不断帮助它去进行这种训练？如果计算机没有经历这么个学习的过程，竟然就比人靠谱了，那不是说明成年人都是废物，这么多年白活了。第三，计算机和用户交换了多少信息，计算机从人那里获取信息基本就是通过键盘鼠标，每秒达到百字节的信息量就算不错，人类之间呢，视觉加上其他感官，每秒超过GB级别，一个人对另一个人的理解，计算机怎么能比？ 第四，人类长得都差不多，因此具有基本相同的身体感受，基于这个共同点，形成了所谓人类基本常识，计算机长得和人差多少？有可能理解人类基本常识吗？

指望一个算法，在一个处理能力不怎么样的平台上，不经过任何训练，不以知识为基础，就超过人类的智能是不现实的，但是，一个具备足够计算能力的硬件系统，在一个能够通过对数据的学习，自我演化的软件系统的控制下，经过长时间大数据量，且有人辅助的学习过程，是有可能在某一方面接近人脑的智能水平的，只不过在今天的世界上，从公开的资料看，还没有这样的系统，而且从通常的观点看，也没有理由制造这样的系统，因为成本收益显然不成比例。即使有了这样的系统，它也要先跟你足够熟悉才能推荐靠谱的东西给你，所以它必须先获得关于你的足够数据，因此必须有视觉，听觉等信息处理能力，而不能只凭键盘鼠标；而且还要长得和你差不多，胳膊腿都得有，不吃饭也要觉得饿，不睡觉也要觉得困，这样的系统造价多少？让你自费买来，用来给你推荐，你会买吗？ 【chaos的回答(5票)】: 你让你朋友一天给你推荐十本书，看看他能不能坚持一个星期让你满意。

补充，之前的答案主要是指出了题主问问题时逻辑的错误。如果要比较“人的推荐”和“机器的推荐”的区别，我赞同陈镇波的回答。【Kubar的回答(2票)】: 机器算法往往需要大样本集的训练才能达到较好的性能，例如神经网络算法需要不断的训练、调整参数，最终达到收敛。因此对于推荐算法或任何人工智能算法而言，有以下关键因素：

首先，样本集的准确性和规模； 其次，计算资源是否充足； 再次，算法性能需要持续优化； 最后，理论基础是否完善；

推荐系统的核心算法属于人工智能的范畴，而人工智能尚处于前沿科学，其理论基础仍然不够完备，让机器做出正则判断很简单，但是让机器综合心理学、社会学乃至某细分领域内的规则做出判断则很难。想要机器模拟的结果无限趋近于人类思维结果，至少目前在理论上还没有任何突破。【黄勇刚的回答(1票)】: “朋友在推荐书的时候作了比计算机所能进行的运算还要复杂的大脑活动”--这是肯定的。

一次推荐的利润还远远不能购买足够的计算量，去做高精度的推荐。

目前所能做的，是根据潜在利润确定分析需求，根据需求研发算法、同时调整业务过程。很多企业只关注算法，而没有业务过程重组的能力，所以发挥不出当前技术条件下的最佳效果。

【张远涛的回答(1票)】: 越是热门的研究，就越说明这个方向还很不成熟。所以说那多么牛人成天在研究讨论算法，系统自动推荐的东西还是不能令人满意。【知乎用户的回答(1票)】: 最近在做KDD cup。分析KDD cup里的数据会发现有1/4多的用户是二值用户（评分有十档），所以感觉并不是数据越多越好，音乐推荐这种东西，我觉得合理的评分规则，运营这些东西更重要。【闷仙的回答(1票)】: 其实这也是为什么社交网络为什么这么火的原因之一，以前谷歌是非常相信甚至迷信算法的，他们认为只要算法够好绝对可以为用户提供完美的搜索服务，因此谷歌非常反感人为地影响和修改搜索结果，他们尽量使服务客观化算法化，但是facebook等社交网络的兴起改变了这种认识，一个好友的推荐可能比谷歌的搜索结果更有效更直接，究其原因我个人觉得算法基本上还是在模拟人的思维，因此与真正的人的思维相比肯定还是有差距。原文地址:知乎