如何整合復(fù)雜技術(shù)，打造數(shù)據(jù)分析平臺？

隨著企業(yè)安全邊界的擴(kuò)大化模糊化、各類威脅新出速度越來越快、影響越來越廣，視企業(yè)安全邊界為靜態(tài)、仍然依賴各種特征碼技術(shù)的傳統(tǒng)安全思路早已落后，無法實(shí)際解決安全問題。必須通過各種創(chuàng)新，整合大數(shù)據(jù)、人工智能、可視化等領(lǐng)域的最新技術(shù)進(jìn)展，安全產(chǎn)品才能解決目前和將來的企業(yè)安全難題。

但如何選擇并整合各種技術(shù)是復(fù)雜系統(tǒng)工程，比常規(guī)企業(yè)安全軟件開發(fā)需要考慮更多因素。本次分享中對大數(shù)據(jù)、人工智能、可視化的最新進(jìn)展和應(yīng)用案例做個總結(jié)，重點(diǎn)討論大數(shù)據(jù)平臺云部署運(yùn)維、交互批處理與實(shí)時流處理的關(guān)系、有監(jiān)督學(xué)習(xí)解決的安全問題和大數(shù)據(jù)可視化這四個細(xì)分領(lǐng)域。《貴陽大數(shù)據(jù)學(xué)習(xí)》

以下：

大家晚上好，感謝大家參與這次分享，感謝 InfoQ AI 前線組織這次瀚思科技主題月！我們成立于三年前，按行業(yè)劃分是一家安全公司。但和大家熟知的賣殺毒軟件的傳統(tǒng)安全公司很不一樣，瀚思幫助各種中大型企業(yè)搭建安全大數(shù)據(jù)的分析平臺，在平臺上實(shí)時運(yùn)行各種機(jī)器學(xué)習(xí)算法的安全分析策略，最終幫助企業(yè)定位各種安全問題。所以我們自認(rèn)為也是一家大數(shù)據(jù) +AI 公司。

我們常被人問到，為什么要選擇這個“大數(shù)據(jù) +AI+ 安全”這個對工程能力要求很高的混搭方向呢？

第一，當(dāng)然是因?yàn)榭春眠@個方向，我們認(rèn)為這個方向是網(wǎng)絡(luò)安全領(lǐng)域發(fā)展的大趨勢。這個趨勢雖然今天說起來顯而易見，畢竟現(xiàn)在所有的新舊安全廠商都說自己有 AI 能力，但三年前，安全界大部分人都不清楚 AI 能具體解決哪些安全問題，套用 AI 界的熱門話題詞，也就是常說的不清楚“AI 怎么落地”，整個安全界也是在這幾年內(nèi)摸索前進(jìn)才有了些共識。

那第二的原因更直接，那就是，我們以前做過這個方向，有信心有能力在這個方向上，比別的其他廠家做得更好。從 2004 年開始，我們就用 SVM 算法對病毒樣本分類，然后在 Hadoop 剛興起不久的 2008 年就開始基于 Hadoop 和 HBase 搭建大規(guī)模互聯(lián)網(wǎng)網(wǎng)站安全分析平臺。

所以這個主題月的幾個分享的議題也是結(jié)合大數(shù)據(jù) +AI 落地上這幾年的一些經(jīng)驗(yàn)，和大家探討下整個平臺搭建成功的關(guān)鍵因素。