在與對(duì)手競(jìng)爭(zhēng)的過程中，亞馬遜在爬蟲機(jī)器人領(lǐng)域的領(lǐng)先地位雖然鮮為人知，但卻對(duì)它的發(fā)展起到了重要作用。

以下為文章全文：

今年早些時(shí)候，負(fù)責(zé)追蹤對(duì)手電商售價(jià)的沃爾瑪工程師大吃一驚：他們用來每天掃描亞馬遜網(wǎng)站的技術(shù)突然失靈了。

這可不是小事。與多數(shù)零售巨頭一樣，沃爾瑪也要依靠計(jì)算機(jī)程序掃描對(duì)手網(wǎng)站的價(jià)格，從而展開相應(yīng)的調(diào)整。即便只有50美分的差價(jià)也可能導(dǎo)致銷量受損。

但亞馬遜卻借助新策略屏蔽了這些機(jī)器人程序，令沃爾瑪措手不及。

知情人士表示，沃爾瑪技術(shù)部門用了好幾個(gè)星期都無法繞過封鎖，因而不得不通過二手渠道獲取亞馬遜的數(shù)據(jù)。

這件之前未被曝光的事情讓外界得以一窺亞馬遜如何憑借技術(shù)取得零售市場(chǎng)的主導(dǎo)地位。

身為全球最大網(wǎng)絡(luò)零售商的亞馬遜最為人所知的就是快速的配送和齊全的商品，而且提供自制劇等諸多視頻內(nèi)容。但該公司的后臺(tái)技術(shù)同樣在它的成功中扮演了重要角色。

對(duì)網(wǎng)絡(luò)機(jī)器人的靈活運(yùn)用不僅可以讓亞馬遜充分了解對(duì)手的動(dòng)向，還能在自己調(diào)價(jià)時(shí)把對(duì)手蒙在鼓里。

“參考亞馬遜會(huì)越來越困難。”加州零售定價(jià)軟件開發(fā)商Boomerang Commerce CEO、亞馬遜前經(jīng)理古魯·哈里哈蘭(Guru Hariharan)說。

沃爾瑪發(fā)言人拒絕討論今年1月發(fā)生的這件事情，但他表示，該公司一直在定期改進(jìn)技術(shù)，而且有多款追蹤工具。他表示，該公司的價(jià)值不僅來自價(jià)格，還來自店內(nèi)自取折扣等其他福利。

亞馬遜發(fā)言人稱，該公司知道競(jìng)爭(zhēng)對(duì)手使用機(jī)器人追蹤器定價(jià)，但否認(rèn)采取任何措施來阻撓對(duì)手。“我們管理網(wǎng)站機(jī)器人的方式最近沒有任何變化。”她說。

由于機(jī)器人會(huì)降低網(wǎng)站的瀏覽速度，所以零售商都希望阻止這類程序訪問自己的網(wǎng)站。

路透社對(duì)21名熟悉機(jī)器人及其部署方式的人進(jìn)行了采訪，包括前任和現(xiàn)任沃爾瑪員工、亞馬遜前員工以及外部專家。但由于未獲授權(quán)，所以很多人都要求匿名。

多數(shù)人都指出，亞馬遜在方興未艾的網(wǎng)絡(luò)機(jī)器人大戰(zhàn)中處于領(lǐng)導(dǎo)地位。

亞馬遜在方興未艾的網(wǎng)絡(luò)機(jī)器人大戰(zhàn)中處于領(lǐng)導(dǎo)地位。

該公司的技術(shù)優(yōu)勢(shì)有助于提升利潤率，而且對(duì)投資者也很有好處。自從2009年3月觸底以來，該股已經(jīng)上漲約15倍，而同期的標(biāo)準(zhǔn)普爾500指數(shù)漲幅僅為3倍。亞馬遜2015年的銷售額達(dá)到1000億美元——該公司稱，他們達(dá)到這一基準(zhǔn)的速度超過歷史上任何一家公司。

美麗新世界

自從亞馬遜10多年前幫助拓展這一模式以來，機(jī)器人驅(qū)動(dòng)的定價(jià)給整個(gè)零售行業(yè)帶來了巨大的變革。

以往，零售店最多每周調(diào)價(jià)一次，因?yàn)楦鼡Q標(biāo)簽的成本和時(shí)間成本都很高。而在電子商務(wù)世界，零售商卻可以隨意調(diào)價(jià)，有時(shí)候甚至達(dá)到每天數(shù)次，這都得益于綜合考慮了庫存、銷量預(yù)測(cè)和對(duì)手定價(jià)數(shù)據(jù)等各種算法。

為了保持競(jìng)爭(zhēng)力，在線批發(fā)商Boxed等企業(yè)采用包括機(jī)器人在內(nèi)的許多方法確保其調(diào)價(jià)速度與對(duì)手之間保持在20分鐘之內(nèi)。

“這就像是持續(xù)一生的圣誕節(jié)。如果我們的定價(jià)不合適，銷量幾乎會(huì)立刻下滑。”Boxed CEO Chieh Huang說，他的公司專門銷售大包裝衛(wèi)生紙和寵物食品。

偽裝成人類

使用機(jī)器人查看公開網(wǎng)站上的大量數(shù)據(jù)被稱作爬取，背后的目的多種多樣。例如，谷歌會(huì)不斷爬取網(wǎng)站內(nèi)容，以便發(fā)展搜索引擎或銷售廣告。

而在電子商務(wù)行業(yè)，使用機(jī)器人則成為了一場(chǎng)“貓捉老鼠”游戲。企業(yè)一方面希望阻止競(jìng)爭(zhēng)對(duì)手爬取自己的網(wǎng)站，另一方面又想滲透對(duì)手的網(wǎng)站。于是，專門提供這種服務(wù)的第三方服務(wù)相繼涌現(xiàn)。

為了避免對(duì)手獲取自己的數(shù)據(jù)，有的零售商使用了CAPTCHA技術(shù)，對(duì)文字和數(shù)字進(jìn)行歪曲，雖然人類依然可以閱讀，但機(jī)器人卻無法正確識(shí)別。亞馬遜并未采取這種措施，因?yàn)榇伺e會(huì)令部分客戶感到厭煩。

對(duì)于希望繞過這些封鎖措施的企業(yè)來說，如何將自己的電腦程序偽裝成人類是關(guān)鍵所在。有的定價(jià)技術(shù)專家會(huì)開發(fā)在網(wǎng)頁上移動(dòng)的計(jì)算機(jī)光標(biāo)，模擬人類訪問網(wǎng)頁的過程，而不再直接瞄準(zhǔn)有價(jià)值的數(shù)據(jù)。還有一種使用多個(gè)計(jì)算機(jī)地址的技術(shù)，可以避免零售商將大量點(diǎn)擊追溯到相同的來源。

“這是一場(chǎng)軍備競(jìng)賽。”愛爾蘭Profitero高級(jí)電子商務(wù)分析副總裁基斯·安德森(Keith Anderson)說，“攻防雙方每個(gè)星期或每個(gè)月都會(huì)開發(fā)新技術(shù)。”

亞馬遜今年1月封殺沃爾瑪時(shí)瞄準(zhǔn)了名為PhantomJS的專用網(wǎng)絡(luò)瀏覽器。與IE不同，這種瀏覽器是專為程序員設(shè)計(jì)的——這表明用戶并非普通購物者。知情人士表示，亞馬遜設(shè)計(jì)了一個(gè)數(shù)字幕布，對(duì)PhantomJS隱藏了列表。

由于此舉并非針對(duì)亞馬遜，所以目前還不清楚其他公司因此受到的影響。

路透社最近幾周進(jìn)行的測(cè)試表明，在美國大型零售商中，亞馬遜的機(jī)器人探測(cè)技術(shù)最為先進(jìn)。這些測(cè)試不僅限于主頁，還包括調(diào)價(jià)最頻繁的兩款產(chǎn)品。

此次測(cè)試由路透社委托舊金山Distil Network公司進(jìn)行，這是一家專門銷售反機(jī)器人工具的公司。在其中一項(xiàng)測(cè)試中，Distil開發(fā)的機(jī)器人對(duì)每家零售商的網(wǎng)站掃描3000次，但特意放滿了速度，以模擬人類的點(diǎn)擊過程。此舉騙過了多數(shù)零售商，但卻并未騙過亞馬遜。

被屏蔽的機(jī)器人無法看到亞馬遜上出售的DeLonghi咖啡機(jī)的價(jià)格。而根據(jù)定價(jià)追蹤網(wǎng)站camelcamelcamel.com的數(shù)據(jù)，僅在在4月25日當(dāng)天，這款產(chǎn)品就在亞馬遜網(wǎng)站上調(diào)價(jià)4次，從80.06美元上漲到88.16美元，漲價(jià)幅度超過10%。

機(jī)器人肆虐

盡管亞馬遜擁有領(lǐng)先的技術(shù)，但爬取該網(wǎng)站的機(jī)器人數(shù)量還是令人震驚。知情人士表示，其產(chǎn)品列表上最多有80%的點(diǎn)擊都來自機(jī)器人，而大型網(wǎng)站的這一比例大約只有三分之一。

除了收集定價(jià)數(shù)據(jù)的對(duì)手外，有的流量還來自科研院所，他們的目的是研究競(jìng)爭(zhēng)、搜索引擎、廣告服務(wù)，甚至還有的是希望入侵亞馬遜帳號(hào)的犯罪分子。

沃爾瑪前員工表示，該公司的自動(dòng)化定價(jià)戰(zhàn)略由一個(gè)位于硅谷的小團(tuán)隊(duì)負(fù)責(zé)，還有來自印度及世界各地的數(shù)十名工程師負(fù)責(zé)處理代碼。

另有知情人士表示，截至幾年前，亞馬遜約有40名工程師負(fù)責(zé)提取和整理對(duì)手的數(shù)據(jù)。但亞馬遜并未披露自家爬蟲機(jī)器人團(tuán)隊(duì)的組織結(jié)構(gòu)。

美國專利申請(qǐng)資料顯示，亞馬遜正在開發(fā)一項(xiàng)加密技術(shù)，可以迫使機(jī)器人解決復(fù)雜的算法才能訪問其網(wǎng)頁。但人類訪問者不會(huì)受此影響。

“亞馬遜既有能力探測(cè)機(jī)器人流量，也可以采取必要的手段。”斯科特·雅各布森(Scott Jacobson)說，他曾經(jīng)擔(dān)任亞馬遜經(jīng)理，目前在Madrona Venture Group擔(dān)任總經(jīng)理。“多數(shù)零售商都不具備這種能力。”

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。