借助機器學習,對垃圾信息說“不”
七夕將至,你是否收到過電商店鋪推送的打折促銷短信?平時是否經常收到理財、貸款、購房等信息?如果你是蘋果用戶,那你是否有過半夜收到iMessage推送賭場、假貨、股票以及色情信息的經歷?
商家給安卓用戶推送廣告信息需要通過移動、聯通等運營商,運營商會攔截掉一些非法信息,而針對蘋果用戶,商家甚至不法分子則可利用iMessage渠道通過互聯網直接向用戶推送垃圾信息,目前蘋果公司尚未采取有效的篩選、攔截等手段。
近日,蘋果官方終于發聲,表示正在探索更先進的機器學習模型識別,過濾垃圾信息。機器學習模型如何過濾垃圾信息?又面臨哪些技術難點呢?科技日報記者采訪了相關專家。
作為人工智能的核心技術,機器學習是計算機模擬人類思考方式的一種學習行為,它讓計算機變得“聰明伶俐”?!盎跈C器學習的垃圾信息過濾技術實際上是一個二元分類過程,機器學習模型需回答‘是’或‘不是’,以便將垃圾文本從大量信息中分離出來?!北本┱Z言大學大數據與語言教育研究所所長荀恩東教授在接受科技日報記者采訪時說,“首先應準備人工標注的數據,進而構建機器學習參數化模型,最后對其訓練、測試,直至模型應用,解決實際問題?!?/p>
“目前市場上識別垃圾郵件、短信的機器學習模型絕大部分采用的是針對文本顯式特征的分析和提取?!避鞫鳀|解釋,所謂“顯式”特征,是指垃圾信息的關鍵詞、表達形式、特殊符號、異體字、敏感詞語表達方式等“外在”特征。將這些多元、離散的特征元素匯總,便可構成顯式特征列表,進而構建模型對垃圾信息進行甄別。
“這種分類方式效率較高、成本較低、所依賴數據較少,但也存在適應性差,識別精度不高等不足之處?!避鞫鳀|指出,如果垃圾信息發送方掌握了用戶攔截系統的顯式特征列表,便可對垃圾信息的敏感詞匯作出相應調整,變換表達形式,從而有效規避攔截系統。因此分類器需要實時動態更新顯式特征列表,即便如此,該列表元素數量也十分有限,導致分類器過濾效果不佳,精確度不高。
基于顯式特征的分類方式“先天不足”,蘋果公司有可能將目光投向隱式特征分類,即深度學習模型。荀恩東表示,深度學習模型可對海量數據的信息進行深度挖掘,從信息的語義和內容上對垃圾信息進行甄別。也就是說,同樣一條推銷短信,深度學習模型基于龐大的數據庫,可分析出它的多種表達方式,從而做出更加準確的判斷,僅靠改變文字形式無法逃脫深度學習模型的“火眼金睛”。深度學習模型省去了前期建立大量顯示特征列表的工作,只需標注垃圾、非垃圾信息即可,不僅效率提高,識別精度也得到很大提升。
基于深度學習的垃圾信息過濾技術目前也面臨諸多技術難點。復旦大學計算機科學技術學院張軍平教授表示,雖然有大數據支撐,深度學習模型在很多方面還是無法像人一樣有效分析和理解信息中的內容。例如,個別漢字的順序顛倒不一定能影響閱讀,然而深度學習模型并沒有人腦這樣“聰明”。另外,組合爆炸問題也是難點之一。垃圾信息涉及領域廣泛,形式變化多端,大數據深度學習模型可能對已有的垃圾信息有效分類,但面對新出現的垃圾信息可能就會“蒙圈”。
“這需要借助類似長短時記憶網絡或更新的一些技術,對深度學習模型進行定期更新?!?張軍平認為,還可以考慮自然語言處理中的一些句與句的關系,進一步完善深度學習算法,從而改善其預測、分類能力。
相關閱讀
- 08-13
- 08-13
- 08-13
- 08-13
- 08-13
- 08-13
推薦閱讀
-
中超海外版圖再擴張 ESPN加入轉播陣營
新華社北京8月12日電ESPN日前宣布,將在美國和巴西直播中超聯賽,至2020賽季結束。在中超聯賽媒體合作伙伴和信號制作方體奧動力與中超電視更多
2018-08-13 13:34:15
-
河北省建成并網280萬千瓦光伏扶貧項目
“村里建起了扶貧光伏發電站,今后,俺家每年都能有3000元左右收入。”近日,拿到第一筆光伏扶貧項目收益后,魏縣西野馬村村民劉祥高興地說更多
2018-08-13 13:34:15
-
威斯布魯克:讓孩子們享受籃球最重要
新華社北京8月12日電(記者鄭直)美職籃(NBA)2016-2017賽季常規賽最有價值球員威斯布魯克12日現身北京繼續其今夏的中國行。這位俄克拉荷更多
2018-08-13 13:34:14
-
-
譚卓最新寫真曝光 眼神堅定有力
近日,譚卓拍攝的某雜志寫真曝光。照片中,一襲長裙搭配慵懶長發,在粉色庭院中自由穿梭,肆意淺笑;或一身淺色休閑西服,眼神堅定有力展露更多
2018-08-13 13:34:12
-
-
中俄亞馬爾第二條生產線液化氣首次裝船
位于北極圈內的中俄亞馬爾液化天然氣(LNG)項目近日在俄羅斯亞馬爾-涅涅茨自治區薩別塔港完成第二條生產線液化天然氣的首次裝船,裝船量更多
2018-08-13 13:34:12
-
云南通海5.0級地震已致5人受傷部分民房受損
新華社昆明8月13日電 記者從云南省玉溪市通??h有關部門獲悉,13日1時44分發生在通??h四街鎮的5 0級地震已致當地5人受傷,部分民房受損。更多
2018-08-13 13:34:09
-
-
“帕克”奔日 探尋太陽風起何處
NASA帕克太陽探測器攜帶的部分儀器除了給予地球光和熱外,太陽也以另一種方式影響著我們的地球。一種被稱作“太陽風”的高速等離子體流時刻更多
2018-08-13 13:34:09
-
綠化黑色能源 中國技術為煤炭正名
煤炭作為一種傳統能源,對人們生產和生活中的重要意義顯而易見,但是在相當長時期,煤炭的開采和利用方式粗放,以至于一提起煤炭,很多人可更多
2018-08-13 13:34:07
-
今日必看
- 文化