兩個禮拜前，網友從谷歌找到接近十年前關於推薦系統評估指標的舊文，跟網友在臉書上聊了幾句，有點意猶未盡；又有點想稍稍彌補當初系列文章泡湯的遺憾，所以又續貂一篇《如何評估推薦系統（二）》。
續貂之後，正在 hands-on 的網友說了幾句他的心得，於是我又多嘴了幾句。所以索性再多寫幾句，為這次對話做個小結。
推薦系統早就遠離 MovieLens 那個時代，基本的框架和演算法，都相對成熟許多。而且因為確實有不少提高業務收入和客戶黏性的具體實例，產學互相刺激促進，已經發展成一個生氣蓬勃又接地氣的領域。
依不才愚見，推薦系統的實務，固然還有許多必須再深究、細究的題目。但是學界角度的研究，則到了一個需要重新盤整的時候了。
不只一位從學界跑到業界的推薦系統大老，說過不要擔心用什麼演算法，先建一個系統起來（Build it and they will come. 的推薦系統版本 ?），有了數據，再慢慢調整演算法和優化實做細節。
有些指標確實對發表論文有顯著意義，但是在真實世界這一個演算法和那個演算法其實沒有什麼差別。真正的現實是，目前比較好的推薦系統實蹟的例子，都有一句隱臺詞沒有說出來，系統背後有一個強大的運營團隊在搞東搞西（說的粗俗一點啦）。
演算法如果循著以前的思路走下去，當然還有許多東西可以深挖，去年 Xavier Amatriaia 在 ACM RecSys 2016 的演講中特別提到隱式回饋（implicit feedback）的問題，設計演算法時用那些數據，不用那些數據，數據怎麼解讀，還有很多地方需要去探索。
從文獻上來看，像 usefulness 、confidence 、serendipity 這些指標的思考角度，其實早在 2004 之前就有學者已經踏出一步了，但是實務界那時還沒顧及到這個層次。
但以目前線上使用的演算法的思路，要顧及再評估系列前文 中談到的 relevance 和 serendipity，恐怕很難。過去的演算法，說穿了本質上，都是 numerical-based reasoning 的思路，促進銷路不能說沒有用，但是在 familiarity、relevance & serendipity 上這些已經觸及人類消費心理疆域的思考上，有對牛彈琴的問題。
ResysChina 的核心團隊中，有人在微信上聊到用 AI 技術，讓推薦系統往前跨一步，從滯後一步的解讀你以前是怎樣的一個人，真正往前跨到預測 你可能變成怎樣的人。竊以為這個想法值得再深鑽下去。
借用 ResysChina 發起人谷文棟兄的說法，做為一個「曾經」的推薦系統選手，心裡確實有許多遺憾，但是實在有許多課要補，才能真正面對推薦系統的詩和遠方這個問題。
至於怎麼補課，天知道咯….
樹洞 Tree Hole 2.0 