阿里雲道哥解密:保衛“雙十一”的技術牛在哪裡 | 硬創公開課

雷鋒網2016-11-12 23:19:54

雷鋒網招人了!

加入雷鋒網,分享AI時代的信息紅利,與智能未來同行。聽說牛人都點了這裡

有一個節日,是女人的狂歡日,也是女人背後男人的流淚日;

有一種衝動的激情,叫“買買買”!

這群甚至被譽為馬雲背後的女人,撐起了電子商務的一片天。

但是,你一定不知道的是,馬雲背後還有一個男人,在為這個盛大的購物狂歡節保駕護航。


這個男人,就是阿里云云盾的負責人吳翰清,人稱“道哥”。


他是黑客道哥,也是“道哥的黑板報”的“文藝網紅”。保衛阿里雲這個中國 35% 的網站都坐落其上的雲計算平臺和上面的居民,道哥覺得自己守土有責,不容有失。


尤其對於“雙十一”這個盛大的購物節,億萬人同時湧進“一扇大門”,阿里雲到底應該怎麼應對?本期硬創公開課上,雷鋒網獻上雙十一最強攻略——道哥聊了聊他們乾的事。




● ● 


嘉賓介紹


吳翰清 阿里雲首席安全研究員;阿里云云盾負責人


2000年開始研究安全技術,長期活躍在中國的安全社區,在安全行業中有很大的影響力。2005年加入阿里巴巴,是阿里安全的早期建設者。陸續設計了阿里巴巴、淘寶、支付寶、阿里雲的應用安全體系。2012年到2014年成為安全寶合夥人,開始創業,致力於為客戶提供更好的雲安全產品和服務。2014年重回阿里,負責阿里云云盾。著有《白帽子講Web安全》一書,並運營個人微信/知乎公眾賬號:道哥的黑板報。



● ● 


問答精華回顧


一、“雙十一”背後的雲是什麼雲?


1.請給我們介紹下保障剁手黨們“雙十一”能盡情買買買的“幕後英雄”阿里雲和阿里云云盾。


道哥:阿里雲的願景是提供全球70%的計算能力,做的事情囊括了傳統意義上的雲計算,大數據、中間件和安全。


阿里云云盾是為用戶安全推出的安全產品與服務。除了基礎攻防安全外,也提供全棧的安全解決方案。目前雲盾已經有十多個安全產品,涉及網絡安全、服務器安全、應用安全、業務安全的各個方面。雲盾的增長非常快,目前保護了全國超過37%的網站,防護中國互聯網抵禦每天50%的大流量DDos攻擊,真正意義上驗證了 SaaS 在安全行業可行性。


2.阿里雲的業務安全體系到底有哪些?哪些是重點保護對象?


道哥:阿里雲面向的客戶包括大中小規模的企業,來自各個行業。因為做的是基礎設施,希望雲計算能成為水電煤一樣的公共服務。在用電時,電廠其實不區分客戶的行業,雲計算也應該一樣,所以雲盾面向全行業,不區分客戶大小。但是,根據客戶的需求,不同的客戶希望有不同的服務標準,這是可以理解的,就像用電也有分普通的居民用電,和工業用電一樣。只是服務標準的不同,產品還是同樣的東西。


3.“守衛者”阿里雲保護了別人,誰來保護它?


道哥:阿里雲自身的安全保障,也使用雲盾同樣的技術。我們的技術都是在內部用得很成熟後,再進行產品化,給客戶使用。所以,產品特別注重實際使用效果。至於阿里雲自身的安全體系,我們非常重視“紅藍軍”對抗的思想,會廣泛邀請業界白帽子為產品做安全測試。在這個過程中,我們會依賴於態勢感知提供的「可見」的能力,感知每一次攻擊測試行為,最終得到的效果是整體安全事件數、漏洞數的收斂。所有這些都可以在雲盾的產品體系中,比如,先知情報、態勢感知等找到對應的產品和服務。


4.雲上的客戶,保衛的難度在哪?


道哥:雲計算是大規模計算,任何事務只要上了大規模,就會變得複雜和難於處理,但這也是創新的機會。大規模計算下的一個典型特點是「小概率事件變為常態」。比如一個正規的網站,一年可能都不會經歷一次 DDoS 攻擊,但是在阿里雲上,我們每天都要防禦數千次DDoS攻擊。在這樣的攻擊量級下,靠人工處理已經變得不現實。這倒逼我們進行技術創新,所以我們做到DDoS防禦的全自動值守,不需要任何人工參與。任何一次 DDoS 攻擊都可以在1秒內完成從檢測到響應到防禦的整個過程。


二、雲盾的獨門絕技


1.總是提到雲盾的態勢感知,這究竟是個神馬神奇的技術?你們的大數據分析模型來源是?依據什麼建立的模型?


道哥:態勢感知區別於傳統的 SIEM ,有兩個非常關鍵的點。現在很多安全廠商都開始做態勢感知,但往往只是把 SIEM 換了個名字,這是種誤區。


態勢感知最早在安全行業的應用,是我在 2015 年 7 月的阿里安全峰會上正式發佈雲盾態勢感知產品後提出來的。後來到了 2016 年的 4月 習總書記的講話裡,也明確了要重視網絡安全的態勢感知。所以態勢感知賦能的 Visibility,是整個安全的基礎。


態勢感知有兩個重要的特徵,區別於其他安全產品。第一個是要基於原始的數據,要充分尊重原始的數據。目前雲盾每天分析超過 500T 的增量數據,存量數據的量在 100P 以上。這讓我們能夠從原始數據中分析出第一手的信息,而不是從一些第三方安全設備裡獲取第二手資料。最有價值的信息都是存在於原始數據裡的,當我們的算法更新後,我們仍然能基於過去的原始數據計算出新的價值。


2.雲盾強調全鏈路監控預警,請科普一下如何實現?


道哥:我們從各個緯度的 sensor 收取數據,包括網絡、服務器、數據庫,也包括四層和七層的數據,也包括操作日誌和系統日誌。因為今天雲盾是全鏈路部署的,既包括來自於全網的掃描器,也包括流量分析、應用層的數據分析,同時在服務器還有 Agent ,所以我們能從不同的視角觀測到不同的現象。同時阿里雲還提供各個緯度的 API ,通過 RAM 授權後,我們可以調用雲計算本身提供的一些數據。把所有的這些數據整合在一起,做出綜合的診斷。


3.雲盾還在研發哪些新的黑科技?希望達到什麼目標?


道哥:我們希望把阿里雲強大的計算能力充分的利用起來,應用在我們的安全領域。我們知道因為計算能力的解放,帶給了深度學習和人工智能非常大的機會。


比如,我們正在研究如何讓一個計算機系統,來代替安全專家的所有人工工作。包括所有的評估結果分析、策略維護、響應等,都可以通過機器自動來完成,這些需要高級思維和經驗的工作,在過去都是由專家人工完成。但是,我們認為由機器來代替是可行的,甚至在某些時候機器比人會做得更好。


這是一個很浩大的工程,我們正在逐步努力。我們把未來的這個新的人工智能,叫做「雲小盾」,我希望他會是我們的一個明星員工。


三、靠什麼守衛“雙十一”?


1.“雙十一”馬上就要來了,是否可以科普一下阿里雲需要為“雙十一”提供哪些方面的基礎服務和保障?這些“雙十一”剁手黨能感受到嗎?


道哥:實際上安全帶有保障屬性,和運維有點類似,所以做得好的安全往往是感受不到的。就像此前保護G20峰會一樣,過去幾年的“雙十一”保障在安全上都平穩度過。“雙十一”的挑戰來自於海量訪問請求,導致很多解決方案在這樣的場景下都會極具挑戰性。


比如,在“雙十一”,我們需要從全國,以及海外的數個可用區,將每秒的流量進行集中統計和分析,進行安全檢測和響應。這意味著跨地域的TB級流量分析挑戰非常大,同時對穩定性和實時性要求都非常高,如果其中有一分鐘失去檢測能力,很可能就會對後端的服務器帶來巨大的壓力,從而導致“雙十一”整體的失敗,所以“雙十一”是一場大考。


其次,在去年的“雙十一”,我們首次應用了 WAF 技術,今年將繼續使用,也就是說“雙十一”的每一個請求,都會經過 WAF 的安全檢測,這需要非常強的檢測能力和可以彈性伸縮的技術架構。WAF支持同時下發超過100萬條策略,這也是在其他的安全設備上沒有看到過的能力。因為“雙十一”獨特的場景,造就了我們的這些技術突破。


最後,也許消費者們能感受到我們存在的一點,在於在“雙十一”的過程中,我們採用了一種「無損限流」的技術。因為誰也無法預測“雙十一”的洪峰會有多大,後端準備再多的服務器也許都不夠,所以在安全控制上,對於超出系統負載的請求,會採用一種「排隊機制」,但這種機制不會drop掉你的連接,而是會讓你等待,直到輪到系統處理你的請求。這有點像去蘋果店排隊買iphone,大家不是一擁而上,而是非常有序的排隊等待。


2.萬一有突發情況,阿里雲有怎樣的應急響應方案?尤其是“雙十一”,發生點什麼事情豈不是大家都不能買買買了?


道哥:我們有專業的應急響應團隊來處理所有的緊急情況,包括產品的漏洞、雲上的安全事件、外部來源報告的一些問題,以及客戶投訴的一些嚴重case。我們會在事前廣泛的收集所有信息,在事中有一個值班長的機制,來驅動所有相關團隊進行響應,在最後還會進行效果的觀察和覆盤。


在雲計算上,經常會面臨一些大的安全漏洞,可能影響到數十萬的用戶。我們能觀測到一些高級的威脅是如何蔓延和傳播的,在內部稱之為「安全疫情」。事實上如果能提前一個小時進行止血,我們就可能會挽救數萬用戶的損失。所以,我們的應急響應團隊是在和黑客賽跑。而所有的應急響應,前提是要能被我們觀測到,這是態勢感知的能力。所以,態勢感知提供的「看見」的能力是我們的基礎。


在“雙十一”,我們有專門的保障小組,他們針對各種安全緊急情況,設計了幾十種預案。同時在“雙十一”前的幾個月,就開始不斷進行演練,以保證這些預案是有效的。在整個“雙十一”中,都會進行7*24小時的值守。


3.為了大家的買買買,你們也是很用心。是否能舉例說明下以前“雙十一”保障遇到的緊急事件,以及雲盾團隊如何化險為夷的?


道哥:去年“雙十一”,很多黃牛來秒殺促銷商品。我們會通過威脅情報,提前分析全國黃牛的大概分佈,以及他們使用的工具和資源。在“雙十一”前,我們會突擊下發策略,在主站的關鍵流量上 block 掉這些黃牛的工具和資源,保障正常的商家服務。我們在風控上的策略,對抗是非常頻繁的,經常是一個算法用半個小時,就要換新的了。


4.聽說今年的“雙十一”加入了直播業務,看上去牛牛噠,針對這樣的特色,阿里雲需要做點特殊服務保障嗎?


道哥:直播主要有兩個安全問題,一個是被 DDoS 攻擊導致直播中斷,那麼前期的大量市場推廣可能就白做了。所以直播期間需要準備好 DDoS 的預案,同時網絡質量上還不能有抖動,影響到直播的效果;第二,很多直播還提供彈幕的功能,可能會有些違規、違禁的信息會出現在彈幕裡,造成很不好的影響。所以,直播的 UGC 內容需要進行檢測。雲盾的綠網產品今天就是提供這個檢測與攔截服務的。


5.麻煩介紹一下阿里雲是怎麼搞定“雙十一”中的一個威脅的?


道哥:“雙十一”某些手機廠商會搞一些很大的活動進行秒殺,會吸引大量的黃牛黨來搶購屯貨,擾亂市場秩序。所以我們事先會通過威脅情報,以及結合一些黑產分析,摸清楚大概的脈絡。這是由專門的情報團隊和數據分析團隊完成的。在“雙十一”保障的過程中,我們會把這些情報應用在 WAF 上,在關鍵流程中進行攔截。同時,壞人還會經常改變攻擊來源、攻擊工具,與我們的策略進行對抗。因此,我們還必須實時觀測策略的有效性,這些由保障團隊和數據分析團隊完成。


6.除了阿里巴巴集團自身的業務,還有哪些同樣在阿里雲上的客戶業務會在雙十一階段業務暴增,被翻牌子呢?


道哥:阿里巴巴是一個大的生態系統。整個“雙十一”除了阿里自身的天貓、支付寶會帶來大流量增長外,最直接的要迎接洪峰壓力的,還有快遞行業,以及支撐電商的 ISV 。 


我們的 Aliexpress 是國際的 C2C 業務,也是俄羅斯的第一大電商,曾經因為一次促銷搞垮了整個俄羅斯郵政。類似的問題也在中國發生,這也是阿里巴巴集團做菜鳥物流的原因。我們希望能夠幫助優化全球的物流體系。


同時淘寶、天貓的這麼多商家,他們在“雙十一”的洪峰要處理的訂單可能是平時的幾十倍,這對他們的 ISV (比如 CRM 系統、庫存管理系統、評價系統等)造成了巨大的壓力。阿里的聚石塔,就是把這些 ISV 放到了阿里雲上,提供更強的安全保護。事實上,阿里的“雙十一”,90% 的訂單最終會流向這些 ISV 。


今年雲盾會和聚石塔合作,對這些電商 ISV 的安全進行整體的保障服務,保證“雙十一”的平穩度過。


7.“雙十一”就要來了,有什麼話想和無數剁手黨說的嗎?


道哥:“雙十一”是中國的奇蹟,也是世界的奇蹟。“雙十一”每一筆訂單的背後,都是對大規模計算的消耗,都是對大數據應用、安全技術的一次驗證。剁手黨們的狂歡,造就了全球最頂級的技術盛宴。這不僅僅是商業的成功,也是技術在一次次拓展自己的邊界。最終是我們一起共建了世界的未來。我們因你們而存在。




點擊關鍵詞可查看相關歷史文章


● ● 

PwnFest 2016 專題


一套漏洞一套房? 這個比賽讓黑客動動鼠標就能賺170萬美元

中國黑客攻破 Edge 拿下 Windows,14 萬美元獎金背後的三個內幕

中國黑客唐青昊展示光速 VMware 虛擬機逃逸,這20秒背後究竟發生了什麼?


● ● 


阿里“雙11”晚會

特朗普上臺,美國汽車製造商們慌了?

商用性愛機器人 | 淘寶 Buy+ | 張小龍內部演講

馬斯克太陽能瓦片 | 外國記者評價樂視生態

小米MIX | 小米VR | 華為麒麟960

MacBook Pro 發佈會 | 微軟發佈會 2016

錘子M1/M1L | 龍芯3A3000 | 三星 Note 7

大疆 “御 ”Mavic | Google Home

國產多線激光雷達 | 谷歌 Daydream VR 頭盔

小米5s | Movidius | lightning | Prisma | 直播

小米掃地機器人 | 小蟻M1微單相機 | 小米筆記本

應用號 | 華為無人機 | Amazon Echo



https://weiwenku.net/d/65098