0
本文作者: 劉偉 | 2024-10-18 09:20 |
在阿里的歷史中,阿里媽媽和淘寶搜索事業部一直是極為獨特的存在。他們同根同源,都流淌著雅虎血脈,繼承了來自硅谷的先進理念和工作模式,和以本土派為主的交易線,形成了風格迥異的兩個流派。前者輕靈飄逸、天馬行空,后者沉穩厚重、一步一個腳印,二者交織碰撞,共同造就了阿里兼具精英氣質和江湖氣息的獨特魅力。
同時,阿里媽媽和淘寶搜索事業部也和而不同,屢次“交鋒”、幾經分合,通過良性競爭攻克了無數技術高地,碰撞出了屬于阿里技術的黃金時代。在阿里后續的幾次技術大改造中,將淘寶先進的廣告和搜索技術復制到其他業務線,一直是最重要的核心命題。
沈加翔、周靖人、徐盈輝、金榕、華先勝、司羅等淘寶搜索體系的頂級技術大牛,在將淘寶推向頂峰后,又匯聚在達摩院,筑就了阿里AI技術的最高峰;王志榮、李天民等另一些靈魂人物則在淘寶搜廣推技術的“復制”過程中,去到其他業務線扮演起了AI領軍人的角色,共同造就了阿里AI群峰聳峙的盛景??梢哉f,淘寶的搜廣推體系就是阿里AI技術人才的搖籃和黃埔軍校,成就了一代宗師。
在《阿里廣告的黃金時代:無線推薦大浪潮》一文中,我們回顧了阿里媽媽輝煌歷程中那些震撼人心的時刻,本文則試圖理清淘寶搜索事業部的發展脈絡,并記錄下那些群星閃耀的瞬間。歡迎添加作者微信LW_PLUS交流討論。
2005年8月,一場足以載入中國互聯網史冊的商業并購案終于塵埃落定,阿里巴巴宣布收購雅虎中國的全部資產。
兩個月后,馬云在一次公開宣講中對這次并購做了解釋:在新阿里巴巴帝國中,旗下四家公司各自扮演不同的角色。老大是阿里巴巴;當初為了防止eBay進入老大的B2B領域搶地盤,于是搞了老二淘寶;為了解決支付手段和市場誠信問題,又做了老三支付寶;后來發現老大還需要一個得力幫手,就找了雅虎中國做搜索。
當時,阿里巴巴——尤其是阿里巴巴的B2B業務,是谷歌在中國的第一大客戶。谷歌上市前甚至專門派出高管前往杭州,以調查遙遠的東方為什么有一個客戶對它需求如此之大。
阿里對搜索的需求如此龐大,馬云自然希望將相關技術牢牢掌握在自己手中,于是便有了對雅虎中國的收購。
完成并購后,阿里巴巴的戰略是聯合雅虎建立全網搜索引擎與百度競爭。
在馬云的主導下,雅虎中國一度摒棄了門戶概念,把首頁變成了和谷歌很像的搜索欄。不過短短五個月后,又在雅虎總部的指示下改了回來。
這種來回搖擺源自馬云和雅虎總部在理念上的分歧:按照馬云的如意算盤,他希望雅虎中國能成為一個純搜索引擎公司,這樣將能提升阿里系在產業鏈條上的整體布局。但事實上,雅虎雖然一直在搜索引擎上有投入和積累,但其商業模式一直是媒體定位,并不愿意成為一個純搜索引擎公司。
折騰往復之下,到2008年,阿里巴巴聯合雅虎對抗百度的計劃終于宣告失敗。
內部討論之后,決定聚焦到電商搜索。于是雅虎中國原本的搜索團隊被拆分出來,成立了阿里巴巴搜索中心(ASC),由原雅虎中國搜索業務負責人張勤(花名:楊過)負責。
阿里巴巴搜索中心支持的第一個業務是B2B。當時B2B的搜索用的是一套基于Lucence架構、用C++重寫的叫做isearch的系統。阿里巴巴搜索中心在對比isearch和雅虎搜索的代碼后,結合阿里的業務需求,推出了一套叫做isearch2.0的系統。這套系統把雅虎搜索的先進理論和功能帶進了阿里,幫助B2B的搜索取得了顯著的性能提升。
2008年9月,王堅博士加入阿里后成立了集團研發院。阿里巴巴搜索中心的一部分人流向集團研發院,后來慢慢融入阿里云,衍生出了夸克搜索等產品,另一部分人則流向了各個業務BU:張勤留在了B2B,文德(花名:鬼腳七)等人則去了淘寶。
當時淘寶的業務增長非???,機器擴容經常出故障,業務上壓力很大。為了支持好淘寶的搜索,阿里派出了當時被稱作國內“搜索一姐”的原雅虎搜索總經理張憶芬(花名:蓉兒)牽頭成立淘寶搜索中心。張憶芬從阿里媽媽請來了王志榮(花名:青峰)負責算法,后來沈加翔(花名:五福)和王明強(花名:思函)相繼加入,分別負責工程和產品,組成了淘寶搜索中心的三架馬車。
后來的淘寶搜索事業部就此初具雛形。
這一時期,獨立發展不順的阿里媽媽并入淘寶,并獲得了新的番號——淘寶廣告事業部。合并后,陸兆禧仍擔任淘寶網總裁,吳媽出任副總裁,分管淘寶廣告事業部。不久后,張憶芬離職去了Yahoo Asia,淘寶搜索事業部轉由吳媽負責。
在吳媽的帶領下,搜索事業部和廣告事業部就此開始了雙星閃耀的時代。
淘寶廣告事業部和淘寶搜索事業部成立的頭幾年都一窮二白,條件非常艱苦。
但到2010年,淘寶廣告的三架馬車——鉆石展位(CPM)、淘寶客(CPS)、直通車(CPC)基本成型,營收開始高速增長。到這年年底,淘寶的廣告營收已經突破了每天100萬元的大關。
開始賺錢后,淘寶廣告事業部的地位水漲船高,基建也鳥槍換炮。他們找集團申請預算采購高檔服務器,搭建了一個MPI集群。
搜索事業部就沒有這么幸運了。徐盈輝(花名:仁基)記得,自己2012年加入淘寶搜索事業部時,團隊還在用單機版的GBDT算法跑模型,一天的日志就要跑三天。
搜索不像廣告,可以直接帶來收入。由于說不清買服務器后能夠給創收帶來什么幫助,當時搜索事業部很難申請到預算。于是內部商量,能不能找廣告事業部商量一下,借他們的服務器來跑模型。
商量的結果是:搜索事業部先把日志整理成可訓練的數據,給到廣告事業部,廣告事業部跑完后,再把模型返給搜索事業部。
在搜索事業部看來,這是非常屈辱的不平等條約?!跋喈斢谖覀冎皇亲隽藗€數據,他們跑完只給我們模型,中間是如何訓練的,出了什么問題,我們都不知道?!?/p>
無奈之下,他們只好弄來幾十臺廣告事業部淘汰的舊機器,自己搭了一個MPI集群,湊合著用。
在徐盈輝等人的努力下,淘寶搜索事業部很快做出了自己的第一版算法。后來,徐盈輝又帶著團隊把GPDT、SVD等算法全部做了并行化,并開放給了包括阿里云早期團隊在內的其他部門。
這些工作下來,搜索事業部逐漸樹立了自己的地位,不再像之前,人員晉升還要看廣告事業部的臉色。
完成算法的并行化后,2013年,搜索事業部開始推動個性化搜索。個性化搜索本質上和推薦是類似的邏輯,都是根據user profile來影響搜索排序結果。
如此一來,搜索事業部和廣告事業部做的事情,交叉的部分就越來越多了,內部自然就想到了合兵一處。
吳雪軍(花名:鐵相)代表廣告事業部和搜索事業部談判過一次,提出要領導搜索團隊。但此時的搜索事業部已經今非昔比,他們據理力爭,“這沒得談,大家一起做,誰也不要覺得高誰一頭。要論算法,所有部門用的MPILR算法都是搜索事業部開放的,論貢獻我們不輸誰?!?/p>
此話的確不假,當時廣告事業部太過強勢,其他部門跟它合作,最后都成了幫他們管機器,連代碼都見不著。而搜索事業部是主動把自己的算法開放給兄弟部門使用。因此搜索事業部雖然不如廣告事業部賺錢,但是內部威望很高,集團里很多部門都站他們這邊。
于是,不出意外,這次談判最后無功而返。
2013年,阿里轟轟烈烈的“all in 無線”戰役拉開序幕,集團開始從各個部門抽調人力大力發展手淘。
當時,淘寶廣告技術部已經重新升級為阿里媽媽事業部。淘寶搜索事業部則和負責交易等基礎功能的手淘技術部結合得更加緊密,由從B2B過來的張勤負責,向集團副CTO姜鵬(花名:三豐)匯報。
在“all in 無線”戰略的號召下,阿里媽媽的吳雪軍帶著袁泉(花名:袁全)、嚴強(花名:紹成)、趙斌強(花名:樂田)、周梁、王喆、江鵬(花名:薦軒)六人,從北京奔赴杭州,馳援手淘建設。
吳雪軍團隊加入手淘技術部后,主要負責基于自然流量的個性化推薦,陸續做了“有好貨”和“猜你喜歡”,后者至今依舊是淘寶內一個十分重要的產品。關于有好貨和猜你喜歡的故事,雷峰網在《阿里廣告的黃金時代:無線推薦大浪潮》一文中有詳細記述。
其實早在有好貨和猜你喜歡之前,淘寶在個性化方面就有已經有所嘗試,但主要集中在PC端,比如商詳頁的“迎客松”,而且流量不算大,所以并沒有產生非常大的影響力。
有好貨和猜你喜歡將個性化從PC端延伸到了無線端,尤其是猜你喜歡上線后,迅速成為了擁有億級流量的殺手級產品,直接推動了手淘個性化的全面鋪開。
2015年9月中旬,袁泉等人正在維也納參加推薦系統最大的會議RecSys。逍遙子突然來電,告知在2015年雙11上要全面開啟個性化推薦。
這年雙十一,個性化推薦算法開始大放光芒,催生了一個又一個令人瞠目的數字。個性化推薦的第一戰場“雙11主會場”更是自雙11開展多年以來首次達到了個位數的跳失率,其引導人數和人均引導頁面數都是前一年的2~3倍。
“天坑一號”個性化主會場示意圖
因為在雙11的出色表現,個性化推薦算法團隊榮獲了2015年的CEO特別貢獻獎。逍遙子在當時的嘉獎信里寫道:“這次雙11的一大亮點是,我們基于大數據的無線產品和技術的創新,使得整個運營效率有了大幅度提升。淘系的活躍用戶得到了充分的引導和互動,得到了大量個性化的展示和推薦,事實證明了大數據的巨大威力。我們用大數據賦能了雙11,賦能了我們自己的運營能力?!?/p>
2015年之前,淘寶PC端依舊是雙十一非常重要的流量來源。上面大大小小的廣告位,是非常重要的運營陣地。而這些廣告位的分配權都掌握在小二手里,要么是價高者得,要么是銷量或轉化率高者得??偠灾?,運營十分強勢。
2015年雙十一,淘寶已經有75%的成交來自于APP,資源位的分配權也逐漸從運營小二手中轉移到了算法。這一年,也因此被稱作淘寶的個性化元年。
前面提到,2014年前后,淘寶內部有很多個團隊在做個性化,除了吳雪軍團隊,淘寶搜索事業部也在做。初期,這種賽馬機制帶來了很多技術創新。但隨著技術逐漸走向成熟,團隊之間的相互PK非但沒能帶來正向價值,反而變成了一種內耗。
大家開始思考,如何形成更好的合力。
當時,沈加翔同時管著淘寶搜索事業部的工程和算法,隨著團隊發展壯大,沈加翔覺得自己應該更聚焦在工程領域。正好吳雪軍有算法背景,請他來負責淘寶搜索事業部的算法團隊,不僅可以解放自己,也解決了大家在個性化算法上互相PK、無法形成合力的問題。
說來有趣,原來代表淘寶廣告事業部要將搜索事業部收入麾下的吳雪軍,在兜兜轉轉之后,反而帶著團隊成為了搜索事業部的一部分。
淘寶的搜索和推薦團隊也就此第一次走向了融合。
淘寶搜索事業部在和吳雪軍帶領的推薦團隊走向融合的過程,其自身也經歷了一段分合。這源于淘寶發展歷史上的一段小插曲——一淘網。
2010年,淘寶孵化了一淘網。一淘網最早是淘寶搜索事業部的一個孵化型項目,叫做open search(開放搜索)。所謂開放搜索,就是會納入外部數據,和阿里的數據一起做并行搜索。
當時,阿里內部對電商的終局判斷存在分歧和爭論。大家不確定,國內B2C電商最終會是像國外一樣百花齊放,誕生大量垂直電商網站,還是會幾家獨大、贏者通吃。所以淘寶在原本C2C模式的基礎上,又做了淘寶商城(天貓商城的前身)和一淘網多頭押注。如果將來B2C電商是幾家獨大,淘寶商城可以爭取成為其中之一;如果是百花齊放,一淘網則可以在上游筑起一道大壩,掌握流量分發。
于是,2011年淘寶直接一拆為三,分成了淘寶網、淘寶商城和一淘網,讓三種模式自由競爭。分別由姜鵬、張勇和吳泳銘擔任三家公司的CEO。
一淘網的底層是一個商品搜索引擎。為了做好一淘網的搜索,淘寶搜索事業部專門分出了一批人提供技術支持:由文德負責搜索技術,沈加翔負責具體開發,同時還從阿里云挖來了有搜索經驗的孫牧(花名:一泉)和歐文武(花名:三桐)。
前文提到,雅虎中國的搜索團隊衍生出了阿里巴巴搜索中心,后來其中一部分人流向了集團研發院,并最終融入了阿里云。孫牧就是其中的一員,他最早在雅虎中國負責音樂、圖片、新聞等垂直搜索,加入阿里巴巴搜索中心后,參與過支持B2B業務的isearch2.0項目,后來又在阿里云擔任過阿里云云梯1的項目經理。
一淘網立項后,淘寶搜索事業部人手不足,沈加翔看中了孫牧的垂直搜索經驗,于是通過吳泳銘從王堅手里把他要了過來。
歐文武則是博士畢業,在一家日資企業做過一段時間算法。2008年加入阿里后,他最早在薛貴榮和陳華的團隊做網頁搜索。后來阿里云發展困難,有一部分人從阿里云轉崗去了淘寶等其他業務,歐文武也在其列。
一淘搜索團隊最大的時候,光是在北京就有100多人,其中大部分都是技術,可謂群星璀璨、高手云集。這些人里后來成就比較高的還有王峰(花名:莫問)、羅李(花名:鬼厲)和戴宗宏等人。其中,王峰是雅虎中國垂直搜索團隊成立時,從北航招的應屆研究生,他后來成為了阿里巴巴內部實時計算項目Flink的推動者。羅李現在是Shopee大數據團隊的負責人,戴宗宏則是大模型獨角獸零一萬物的技術副總裁和AI Infra負責人。
從比價引擎到淘客返利,再到優惠推薦,一淘網的業務形態幾經迭代,最終在2014年宣告失敗。
一淘網的失敗,一方面是因為國內B2C電商最終沒能百花齊放,一淘網從一開始押注的路線就是錯的。另一方面則是因為,一淘網始終沒能解決流量從哪里來的問題。
一淘網自身的流量并不大,而是依賴于從淘寶主搜獲取流量。這就帶來了一個問題,用戶在一淘網比價后,如果發現京東的價格比淘寶便宜,就會跳轉到京東。這相當于把淘寶的流量引流到外面去了,用戶沒法在這個生態中留存。
一淘網失敗后,搜索技術團隊重新回到淘寶,如何安置這些人就成了問題。比如歐文武到淘寶后負責主搜,但當時徐盈輝也在負責淘寶的主搜,為了避免內斗,雙方達成“君子協定”:搜索結果頁前四的黃金地段由歐文武團隊負責做強個性化,前四之后的位置則由徐盈輝團隊做弱個性化。
這保證了兩支團隊的關系一直十分融洽。大家經常聚在一起交流討論,往往一方提出一個想法,很快另一方就已經開始著手做了。
這種局面一直持續到2015年初,歐文武主動提出將個性化搜索全部并給徐盈輝。當時,搜索個性化已經趨于成熟,內部賽馬帶來的效率提升已經比不上內部協同,合兵一處更利于淘寶的整體增長。
這件事情雖然不大,但淘寶搜索事業部當時的團隊氛圍由此可見一斑。
2015年前后,淘寶搜索事業部的明星產品,除了猜你喜歡,還有拍立淘。
拍立淘的歷史最早可以追溯到祝銘明掌舵的阿里M工作室。2013年,M工作室開始用深度學習做摳圖,祝銘明拿著團隊的摳圖成果去跟徐盈輝交流,興奮地說,自己很快就能做以圖搜圖了。
徐盈輝是當時阿里內部為數不多懂圖像搜索技術的人。他早年曾在日本理光工作,做過5000萬圖像的以圖搜圖。徐盈輝加入阿里后,也想過做以圖搜圖,他曾經和身邊一個做圖像技術的同事聊起過這個想法,但直接被對方“勸退”了。同事認為“這個東西沒啥用”,而且當時徐盈輝在負責淘寶主搜,工作任務很重,無暇顧及圖搜,只能無奈放棄。
徐盈輝聽說祝銘明要做以圖搜圖,很是興奮。他先給祝銘明潑了一盆冷水,“這圖摳的確實漂亮,但是離能做以圖搜圖還差得很遠”。而后給出了自己的建議,“你去找搜索事業部工程團隊的沈加翔,請他幫忙抽調人力解決高維向量的空間索引問題,只有解決了這個問題,才有可能實現以圖搜圖”。
祝銘明要做以圖搜圖,得到了淘寶搜索事業部工程負責人沈加翔和算法負責人吳雪軍的共同支持,三方各抽調一名技術骨干,組成了拍立淘的初始團隊。后來團隊又招來了潘攀(花名:啟磐)擔任項目負責人,兼顧算法、工程、產品的統籌。潘攀畢業于美國伊利諾伊大學芝加哥分校博士,此前在美國三菱波士頓研究院、北京富士通研發中心從事視覺領域的研發工作。
潘攀
此外,吳雪軍還給專項組請來了在淘寶搜索事業部做顧問的AI技術大牛顏水成做指導。當時,淘寶在深度學習方面尚缺少積累,顏水成的指導對拍立淘項目的發展起到了關鍵作用。
2014年,拍立淘首次上線。同年,祝銘明從阿里離職創辦了Rokid,M工作室并入淘寶搜索事業部。
一年后,顏水成辭去阿里顧問的身份,加入360集團,擔任集團副總裁、首席科學家、人工智能研究院院長。
阿里曾經試圖挽留過顏水成,但雙方在P級上未能達成一致。顏水成希望阿里能給自己P11的職級,因為當時阿里的另外兩位AI技術大?!徇h和金榕都是P11。顏水成認為自己在學術圈的地位和這兩位大牛相當,加入阿里后的職級自然也該一樣??上М敃r阿里的招人政策正在收緊,只愿意給出P10的待遇,雙方只能遺憾分手。
同年,吳雪軍也從阿里離職,創辦了鼎復數據。
隨著幾位早期推動者相繼離職,拍立淘項目便由剛加入阿里不久的淘寶搜索事業部資深總監華先勝接手。
華先勝和阿里也算頗有淵源。早在2019年的時候,阿里就以P10的待遇招攬過華先勝,但當時華先勝想著先去美國歷練歷練,便謝絕阿里的好意,加入微軟美國總部的必應產品組做了兩年圖像搜索引擎,后來又轉入微軟美國研究院做大規模圖像識別。
2015年,阿里需要一個技術大牛來領銜拍立淘,于是又找到了華先勝。華先勝覺得,做圖像搜索,電商是最好的場景,拍立淘是個非常好的機會。于是雙方一拍即合。
華先勝接手拍立淘后,驚喜地發現,拍立淘的大框架基本上是合理的,和自己設想的架構也是基本一致的,在這個基礎上對各個模塊,例如分類、摳圖、特征學習、索引、排序等技術點繼續優化,并整體上提升效率就可以了。
在前人的積累和華先勝的加持下,拍立淘僅用一年時間就做到了世界頂級水平,并一直保持至今。拍立淘的日活也迅速從最初的每天幾百UV增長到了2017年的每天超過千萬UV。華先勝曾在一些國際會議上介紹過拍立淘的大致情況,引起不少圖像相關公司研發者的關注,大家都想一探拍立淘的技術秘密,但至今仍然相差甚遠。
后來,華先勝從淘寶搜索事業部轉到阿里云,拍立淘又先后由金榕、徐盈輝等人負責過算法優化。
盡管團隊幾經更迭,但拍立淘在國內電商平臺的圖像搜索產品中始終處于一騎絕塵的領先地位。
2015年,谷雪梅從谷歌中國研究院空降阿里,接管了淘寶搜索事業部。這段時間前后,淘寶搜索事業部經歷了一波不小的人員調整。
這年夏天,iDST(數據科學與技術研究院)的科學家們郵箱里收到了一封關于團隊拆分的郵件,原有的團隊成員被分拆到各個業務線,內部稱之為“上山下鄉”。其中就有不少人流向了淘寶搜索事業部。
iDST是阿里巴巴于2014年7月在硅谷成立的一個研究型部門,由金榕總負責,聚攏了一批頂級技術大牛。
金榕曾是美國密歇根州立大學終身教授,發表過 200 多篇重要論文,在隨機優化、在線學習、半監督學習等領域都提出過原創算法和理論。加入阿里前,金榕受邀為阿里媽媽做過一年技術顧問,幫助解決了一個大規模算法優化問題,使得廣告展示的收入提高了15-20%。
iDST的其他成員們也都是個頂個的業界大牛。
但在iDST的一年時間里,金榕和他的部下們卻頻繁遭到“只做基礎研究,不懂具體業務”的指責。
金榕來到 iDST 的第一項任務是用算法幫助聚劃算提升 GMV。為了做好這項工作,金榕經常向小二虛心地請教業務問題,甚至從西雅圖搬回杭州常駐。
但忙碌一年的結果卻令人啼笑皆非:算法默認給便宜的商品增加展示權重,吸引了大批三四線城市用戶,GMV 上來了,卻無意間模糊了當時聚劃算的產品定位。
iDST的其他技術大牛們也分別遇到了這樣或那樣的問題,于是便有了前面提到的拆分iDST。在這次調整中,金榕帶著華先勝、司羅等人去了淘寶搜索事業部,漆遠則去了螞蟻金服。
金榕等人的加入,為淘寶搜索事業部帶來了新的活力。
金榕來到搜索事業部后,負責過一個頗有分量的項目。當時,因為淘寶的流量是個性化的,銷量不容易預估,品牌做大促時面臨著備貨的難題,備少了不夠賣,備多了又會導致大量庫存。于是,逍遙子提出,希望有一個系統,能確保品牌跟天貓合作后,能夠拿到確定性的流量。這個系統后來便是由金榕主導的。
企業就像一個人來人往的江湖,有人加入就有人離開。金榕等新鮮血液注入的同時,也有一些中堅力量流向了其他業務。
2016年中旬,袁泉到紐約參加SML會議。當時,Alphago剛剛打敗韓國傳奇棋手李世石。袁泉在會上聽完“AlphaGo 之父” David Silver 分享AlphaGo背后的技術,大受觸動。
他不禁想起了2006年自己剛接觸推薦算法的時候,覺得推薦算法是一件可以做10年的事業,而如今的AGI讓他更受震動?!斑@事兒至少可以做20年?!?/p>
回去后,袁泉馬不停蹄地找到了時任集團CTO張建鋒,提出了自己想做AGI的想法。于是這年年底,在張建鋒的牽頭下,阿里成立了認知計算實驗室,由袁泉擔任資深總監。
和袁泉一起去認知計算實驗室的,還有同樣對新AI技術充滿濃厚興趣的徐盈輝。就這樣,淘寶搜索事業部的推薦和搜索團隊都失去了一個領頭人物。背后的更多故事,歡迎添加作者微信LW_PLUS交流討論。
當時,袁泉想基于《星際爭霸》這款游戲來研究下一代AGI,但這件事和阿里的業務缺少耦合,難免會受到很多質疑。因此袁泉很快便從認知計算實驗室離職創業,創辦了啟元世界。
不久后,徐盈輝也從認知計算實驗室離開,去了菜鳥人工智能部,負責整合菜鳥內部的算法。
在AI技術領域,算法和工程團隊是不可分割的,二者如同一枚硬幣的兩面。只是因為算法離應用更近,算法負責人往往更容易被外界所熟知,而工程團隊則更多扮演了幕后英雄的角色。
前文提到,淘寶搜索事業部涌現了大量獨當一面的頂尖算法人才,每個人都有自己的代表作品。
但其實,沈加翔帶領的工程團隊同樣是群星璀璨,聚集了張理、曲琳(花名:喜德)、蔣曉偉(花名:量仔)、李天民(花名:天民)、鄭南(花名:桂南)等技術骨干。
其中,張理(已經離職去加拿大定居)、喜德是淘天AIOS引擎和中臺數據負責人,蔣曉偉推動了阿里開源實時計算引擎Blink,現已離職創業,李天民曾任阿里本地生活的技術負責人,鄭南是拼多多的整體基礎設施負責人。
淘寶搜索事業部的眾多里程碑式的產品背后,離不開這些工程技術人員的努力。
從最初張理的問天引擎開始,逐步一代一代引擎工程技術同學不斷迭代,從iSearch到iSearch5,再到問天3(內部叫HA3),目前已經在github上開源,它是目前整個阿里巴巴集團搜索引擎的基石。
鄭南團隊的iGraph引擎和李天民團隊的TPP算法個性化平臺奠定了袁泉、趙斌強、王曉博(花名:永叔)、魏虎(花名:空望)等人開啟的個性化元年。后來王曉博推動的offline2online的推薦召回,逐步由離線非實時升級為在線實時化匹配過程,誕生了BE的推薦召回深度粗排引擎。曲琳團隊建設了底層Hippo的彈性調度、RTP在線深度預測引擎、AOP離線訓練等。
這些都逐步成為了阿里巴巴整個搜索、推薦、以及更廣泛意義上算法同學的AI基礎設施。淘寶搜索事業部工程團隊負責人沈加翔把這套體系命名為AIOS系統,它后來發展成了目前愛橙科技的核心AI中臺技術設施,支持整個阿里巴巴所有子公司的AI算法迭代工作,居功至偉。
淘寶實時個性化的另一個重要推動者是蔣曉偉。蔣曉偉畢業于中科大少年班,本科學的物理,是潘建偉院士的師弟。蔣曉偉曾經在內部略帶調侃地說過這樣一句話,“計算機是怎么run的對我來說太簡單了,我想知道這個世界是怎么run的”。其少年天才的實力和性格由此可見一斑。
蔣曉偉
蔣曉偉在阿里內部做過一些技術分享,聽過他分享的人都覺得,他能將很深奧的技術講得深入淺出,很有張朝陽物理課的那種感覺。
蔣曉偉加入阿里時,擺在他面前的有兩個offer,一個是阿里云的,一個是沈加翔下面的DUMP團隊負責人的崗位。蔣曉偉幾經權衡后選擇了去沈加翔團隊,他說,阿里云那邊聽起來高大上,但是并不清楚對方需要自己做些什么,而沈加翔這邊是非常明確的。
2015年,蔣曉偉以P8的身份加入淘寶搜索事業部,隨后便開始了火箭般的晉升:第二年升P9,第三年升P10……
有一次沈加翔帶著蔣曉偉去跟張建鋒匯報工作,蔣曉偉非常篤定提出要做流批一體和亞秒級實時計算。正是這次匯報促使了張建鋒推動集團收購德國Flink團隊。后來集團把阿里云的jstorm和Galaxy流計算整合進Flink,促成了計算平臺事業部的誕生。
除了Flink,蔣曉偉還有另一項重要貢獻——做了一套OLAP(Holo)的實時數據分析系統,是阿里云和整個阿里巴巴非常重要的大數據基礎設施,阿里幾乎所有的實時分析都是通過這套系統跑出來的。蔣曉偉現在創業做的事情也與此有關。
端智能技術的發展,也和這支對自己不設局限的工程技術團隊有很大關系。端智能剛提出來的時候缺少場景,正好當時拍立淘要工程化,交到了整搜索工程技術團隊手中。在拍立淘這個場景中,工程團隊和當時圖像算法團隊同學培育了第一代端上智能技術,包含兩項核心能力:一是拍照后照片的主體識別要在端側實現;二是如果照片中有多個主體,多主體的識別和類目預測也需要在端側完成。
后來,隨著推薦在淘寶中扮演越來越重要的角色,端智能和推薦開始有了協同。其中一個很典型的應用場景就是推薦結果的實時優化,當時推薦算法歐文武團隊和李天民團隊合作,逐步在淘寶首頁猜你喜歡完成了對推薦信息流的端智能化改造,在端上根據用戶實時行為完成端上重新刷新、重新排序、以及跳失判斷等很有增量的個性化場景,之后拉開了阿里巴巴集團各大APP業務紛紛升級端智能來提升算法效果的帷幕。
隨著搜索事業部業務不斷擴展,升級成為搜索推薦事業部,以及集團國際化業務的不斷開拓,集團內幾乎所有子公司的搜索推薦業務都被這支產品、算法、工程團隊給直接“把持住”了,也成就了后來周靖人的智能引擎事業群的“短暫盛世”,同樣埋下了和各個阿里巴巴子公司CEO業務矛盾的種子,到底是算法AI為主驅動業務還是業務運營驅動業務的問題。
今天這些人中,除了曲琳仍在帶領AIOS的AI中臺技術外,其他算法和產品技術已經分散到各個子公司中,也有些已經離開了阿里巴巴。
2017年,淘寶搜索事業部在和阿里媽媽的一次PK中被發現數據造假,團隊負責人谷雪梅隨后帶著70人的團隊被調往阿里媽媽。(更多故事細節詳見雷峰網舊文《阿里廣告的黃金時代:無線推薦大浪潮》)淘寶搜索事業部由周靖人接手。
周靖人加入阿里的第一站是阿里云,后來又參與組建了達摩院。
接手淘寶搜索事業部后,2019年他又接管了阿里媽媽,并主導了搜索和廣告的融合。前文提到,吳雪軍入淘后,淘寶的搜索和推薦開始走向融合。周靖人接管阿里媽媽,則標志著淘寶的搜廣推第一次實現了大一統。
如果說搜索和推薦的整合還算容易,那么搜推和廣告的合并則要復雜得多。搜推優先考慮的都是用戶體驗,目標一致,而廣告優先考慮的則是商業變現,和搜推的目標天然沖突,要將二者融合到一起,中間需要做大量的平衡工作。
其實從業務的角度來說,搜推和廣告并不是非融合不可。首先,就像前面說的,二者的目標天然沖突;其次,從管理的角度來說,由兩個獨立的團隊相互競爭、彼此制衡也不是件壞事。但當時電商的競爭已經進入到了白熱化階段:淘寶自身的業務增長遇到了瓶頸,拼多多這樣的挑戰者也開始崛起,阿里亟需力出一孔來尋求突破和抵御外敵。關于阿里搜廣推融合的更多故事,歡迎添加作者微信LW_PLUS交流討論。
這時候,將搜廣推進行融合,減少重復工作和內耗就成了一件必須要做的事情。而周靖人堪稱最適合的操盤手之一。
一方面,他在阿里輪崗很多,幾乎所有核心部門都待過,對不同業務和技術部門的訴求都深有體感,能夠綜合各方角度看問題。
另一方面,他負責過達摩院智能計算實驗室,也帶過業務團隊,相當于研究、工程兩條腿走路。這種技術+業務的復合型經驗在融合搜廣推時也是一個優勢。
對搜索、推薦和廣告來說,大家只是優化的目標不同,但都需要對商品和人的認知,并且這種認知是多維的,需要通過文字、圖片、視頻等全模態數據來理解,這點是共通的。這是搜廣推融合的基礎。
在此基礎之上,他非常注重用戶體驗和商業化兩大目標的平衡,會根據不同時間點組合出不同的優化方向。這些共同確保了搜廣推的順利融合。
淘寶搜廣推大一統的局面只維持了不長一段時間,便又重新走向了獨立。但正如前面所說,大一統只是特定時期的選擇,并非萬能的最優解。其分分合合自然也就因時而動、因勢而變,但這并不影響它們各自對于淘寶發展的貢獻。
之后,阿里陸續將淘寶搜廣推的技術和經驗復制到速賣通、支付寶和餓了么等業務,也側面證明了搜廣推對于淘寶發展的重要性。
不過隨著這套體系臻于成熟,和新一波技術浪潮的到來,其技術紅利也在逐漸消退。去年,阿里提出“用戶為先、AI驅動”兩大戰略,開始將AI作為下一座技術金礦。在這波技術浪潮中,阿里能否再次創造當年搜廣推般的輝煌,這或許將是阿里下一個十年中最大的看點。
關于阿里AI發展的故事,雷峰網(公眾號:雷峰網)將繼續推出阿里AI驅動·20年系列文章,《中臺是誰的中臺,達摩院是誰的達摩院》《后達摩院時代,阿里集團的AI驅動戰略》,感興趣的讀者請聯系作者溝通交流(微信 LW_PLUS)。雷峰網雷峰網
雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。