Netflix 為什麼要改變評分機制

上禮拜,Netfilx 揚棄了五星制的評分機制,改成喜歡/不喜歡的二元式評分,聲稱使用者的評分其實沒有你想的那麼重要(not relevant)。就我印象所及,普遍對這個改變的反應都蠻正面的,連包山包海的 John Gruber 都毫不猶豫的給個讚

把分數制改成好惡兩分,不是新鮮事,早在 2009 年,YouTube 就這麼幹了。那時 YouTube 為了解釋為何把五分制改成 Thumbs Up / Down,在公司部落格上公佈他們的數據,在1到5的評分制度下,絕大多數的人都給5分,要不然就不給分,還有少量的人給 1 分, 2 – 4 分確實是不折不扣的無關緊要(not relevant)。下圖就是 YouTube 自己公佈的圖形,2 – 4 分的數據點幾乎就要黏上座標軸了。

-

Source:YouTube Official Blog

以前整理推薦系統文獻的時候,我還想過幾個可能。一是評分制可能扭曲 RMSE 的計算,1-2 和 3-4 的差距都是 1,但是在實際情況裡,前者是無論如何都不愛,後者是從猶豫到堅定,說不定就聽了商家的推薦,心安理得的「手滑」一下了。所以數字指標不能說明系統的表現好壞。

我還聽過一個說法,評分制還要考慮政經、社會、文化的發展與取向,在一個只講中庸,不想做出頭搋子的社會裡,大家都點 3 分,1 分和 5 分是不是反而變得無用了。

信馬由繮,跑得太遠,回到主題來,評分制度這個主題,項亮這段話,講的頂靠譜。這是真正打過仗,有實戰經驗的牛人才能說出的真知

一直觉得Netflix Prize其实误导了整个推荐系统的发展。当然应该说是更早的MovieLens就误导了,只是Netflix Prize没有纠正过来。这个误导就是,评分预测其实不是重要的问题,反而是一个很次要的问题。因为,当人民群众拿着Netflix Prize的算法准备用在自己的系统里时,顿时傻眼了,因为没有评分数据。他们有的只是观看数据,点击数据,购买数据等等。这些数据有一个特点,就是user-item矩阵中所有的非missing值,都是1。而不是Netflix Prize里面的评分

總之,不管是 5 分和 10 分也好,主要有幾個問題:

  • 沒有消費的人,是不會給分的
  • 消費者必須每次消費完商品,都認真的「捫著良心」「不辭勞苦」的給分,這是不可能的
  • 評分制並不是真正能「描繪」真實世界情況的數學模型 (這恰恰是我們對數學模型的期望)
  • 計算的複雜度和難度 (項亮在他的大作中有提到這些麻煩事和解決之道,我就不複製貼上了 XD)

耐人尋味的是,為什麼 Netflix 等這麼久才做改變?無論如何,最後送上 xkcd 漫畫一幅,絕對切題的絕世好畫啊!

Advertisements

2 Comments Add yours

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s