電商案例 “國民級”連鎖零售商如何與爬蟲作斗爭,電商行業的典型案例分析

電商案例全國連鎖零售商如何對抗爬蟲

規模效應能帶來各種收益是不言而喻的，但相應的價值和風險往往是并存的。任何系統的規模越大，價值越高，隨之而來的安全風險就越大。對于互聯網上的數字資產，如大型數字平臺、用戶個人信息等，價值與風險并存的問題更加突出。超市和零售商就是這種情況。

名副其實的“國家級”零售商

一家知名的海外連鎖超市和零售商，主要銷售生鮮食品、服裝和家居用品，擁有超過3350家實體店，每周服務近2900萬顧客。開展電子商務業務后，經過一段時間的發展，他們的注冊在線會員數已經達到1230萬，電子商務網站的日點擊量高達8億次。

生意紅火固然可喜，但隨之而來的煩惱也著實讓人頭疼。

網絡爬蟲防不勝防

自疫情爆發以來，大量用戶開始通過電子商務服務購買日常所需。該零售商的電子商務業務取得了大幅增長，注冊用戶數量和網站點擊量都有顯著增長。據統計，自疫情發生以來，他們的網絡流量增長了200%以上。

面對流量的突然增加，零售商并沒有在意，開始考慮流量是不是真正的客戶帶來的。他們懷疑部分流量可能來自各種帶有一些惡意目的的計算機程序。這種被稱為Bot的計算機程序會自動訪問網站頁面，并執行一些惡意操作。但由于缺乏合適的工具，他們無法通過技術手段驗證自己的猜測。

為了省事，很多人在注冊各種網站時習慣使用同一個用戶名和密碼，而一旦某個網站的這些信息泄露，用戶在其他所有網站注冊的賬號都會受到威脅。攻擊者使用爬蟲試圖通過這些泄露的賬號憑證逐一登錄不同的網站，這就是所謂的數據庫碰撞。一旦找到可用賬戶，然后將賬戶內的余額、積分等有價值的資產進行消費或轉移，甚至直接使用賬戶捆綁的支付方式進行“盜取”。

懷疑存在這種威脅，但缺乏驗證和查證的技術手段，自然對各種交通流的具體情況缺乏進一步的了解，難以采取有針對性的防范措施。

不僅如此，這種疑似惡意爬蟲還對公司的合規運營提出了挑戰。根據相關法律法規的要求，企業必須充分保護客戶數據。一旦不慎泄露客戶信息，將承擔極其嚴重的后果和高額罰款。

除了安全和合規問題，一些爬蟲還會給零售商的業務運營帶來麻煩。經理還懷疑自己的網站被競爭對手的數據抓取了，對方自動抓取了產品價格、庫存數量等信息。因為他們經常發現有幾個固定的IP地址會定期訪問他們的網站，而且都是會造成非常大的流量，這看起來根本不像是普通客戶的行為。但由于缺乏證據，他們目前只是持懷疑態度。

可能很多人不太了解，但其實這種Bot爬蟲已經成為現代互聯網Web應用面臨的最大公敵之一。根據Akamai的統計，2021年Q2有700億次賬號濫用攻擊，Q/Q增長了15%。而這種攻擊是WAF無法緩解的。更令人擔憂的是，Akamai多次檢測到日峰值超過10億次的惡意登錄行為。

除了數量越來越多，爬蟲攻擊的形式也越來越豐富，撞庫攻擊、銀行卡攻擊、囤積股票、薅羊毛、禮品卡攻擊等都是常見的形式和目標。而且爬蟲攻擊越來越智能化、分布式，可以模擬人類的行為特征，繞過常見的Web安全設備和檢測機制(如“驗證碼”)。

機器人經理，固若金湯

面對爬行動物帶來的各種風險，零售商有三個主要需求:

希望增強爬蟲的可見性，通過詳細的數據分析和結論，更準確地評估和緩解爬蟲的風險。

希望盡可能避免競爭對手的數據抓取行為。

更好地保護客戶數據，滿足相關政府和行業法律法規的合規性要求。

Akamai Bot Manager以靈活的服務模式和強大的功能滿足了這家零售商的需求。

在可見性方面，Bot Manager有一個自動管理的已知爬蟲列表，它已經覆蓋了超過1，500個已知爬蟲。此外，它還可以使用AI模型來檢測未知的爬蟲，分析用戶行為，識別瀏覽器指紋。通過這種方式，零售商可以獲得實時的整體趨勢、行業洞察和爬蟲流量的詳細分析，從而做出更有針對性的防御措施。

Bot管理人在防止惡意競爭方口罩有出色的監控能力。結合Akamai全球化平臺，Bot Manager每天可以收集115億次爬蟲請求和2.8億次爬蟲登錄，可以從豐富的數據分析中得出精準的洞察。該零售商尚未開始正式部署，但僅處于概念驗證階段。Bot Manager已經幫助他們成功發現了某全球知名電商網站抓取自己網站的證據，甚至分析出了對this 基礎的攻擊的行為特征，包括源地址、攻擊時間、定向抓取價格的行為特征等。

在合規運營方面，由于能夠準確獲取與惡意爬蟲行為相關的洞察，并針對不同行為和目的的爬蟲采取針對性的對策，零售商期望在Bot Manager的幫助下能夠更好地防止撞庫和憑證濫用，并利用Akamai強大的machine 學習算法和全局規模及洞察來改善其安全合規運營狀況。

根據Ponemon Institute的統計，每年與庫沖突相關的總成本(包括欺詐相關的損失、運營安全、應用程序停機和客戶流失)可能達到600萬美元至5400萬美元。Akamai自己的觀察和統計也發現，爬蟲已經占到網站總流量的30%70%之多。

Akamai network每天處理全球網絡流量的很大一部分，包括世界上一些最大和最常被攻擊的網站。Akamai具有獨特的優勢，能夠深入了解合法應用程序的使用情況以及惡意爬蟲不斷演變的攻擊行為。它擁有最新的爬蟲檢測技術，已被證明能夠識別當今最復雜的爬蟲程序。

而且，Bot Manager還利用多種專利技術，在爬蟲首次接觸網站時，盡早對其進行檢測和防御，防止其進入網站。通過Akamai長期不斷的檢測和改進，即使威脅在不斷發展變化，也能讓用戶得到妥善的保護。

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。