轉(zhuǎn)自：大數(shù)據(jù)文摘|bigdatadigest

上網(wǎng)之人，多少都會(huì)接觸過成人網(wǎng)站。這是一個(gè)舉世公認(rèn)的事實(shí)。

不過這是一個(gè)難以洞察的領(lǐng)域，因?yàn)橄嚓P(guān)數(shù)據(jù)少之又少。我們知道成人網(wǎng)站都是那些在互聯(lián)網(wǎng)上有著超高流量的網(wǎng)站。根據(jù) Google DoubleClick 的 Ad Planner 服務(wù)（通過cookie跟蹤網(wǎng)民）顯示，全球 Top 500 網(wǎng)站中，就有數(shù)十個(gè)成人網(wǎng)站。全球最大的色情網(wǎng)站 Xvideos 每月網(wǎng)頁瀏覽量（Page Views，PV）高達(dá) 44 億，是 CNN 或 ESPN 新聞網(wǎng)站的 3 倍，是 Reddit 的 2 倍。LiveJasmin 也不小。除了 Google 和 Facebook 等大站，其他網(wǎng)站在YouPorn、Tube8 和 PornHub 面前都是小巫見大巫。

雖然網(wǎng)頁瀏覽量是一個(gè)很好的起始點(diǎn)，但它們僅告訴我們某些色情網(wǎng)站比某些非色情網(wǎng)站要受歡迎。40億的PV，聽起來很多，但當(dāng)我們把那些X站用戶實(shí)際在做的事考慮進(jìn)來，成人網(wǎng)站的大小和規(guī)模就有點(diǎn)明朗了。

色情網(wǎng)站和非色情網(wǎng)站的主頁區(qū)別是訪客的平均停留時(shí)間。諸如 Engadget 等新聞網(wǎng)站的平均停留時(shí)間是 3 – 6 分鐘，大約是是閱讀 1 – 2 篇文章。然而色情網(wǎng)站的停留時(shí)間，大約是在 15 – 20 分鐘。

大部分網(wǎng)站的內(nèi)容主要是文本和圖像，而成人大站則是視頻。EXT首頁完全加載大約是幾兆數(shù)據(jù)，打開一篇文章，大約是500kb數(shù)據(jù)。訪問色情網(wǎng)站，假設(shè)是打開一個(gè) 480×200 低分辨率的視頻，每秒傳輸 100 kb 數(shù)據(jù)。15 分鐘的話，那就大約是 90 MB 數(shù)據(jù)了。

XVDO 每月有 3.5 億訪問次數(shù)，乘以 90 MB，那就每月傳輸大約 29 PB 數(shù)據(jù)，也就是每秒傳送數(shù)據(jù)約 50 GB。做個(gè)對比，你家網(wǎng)絡(luò)連接可能每秒傳送兩兆（2 MB），XVDO是你家的 25,000 倍。

簡而言之，色情網(wǎng)站是在處理天文數(shù)字級別的數(shù)據(jù)。在原始帶寬（Raw Bandwidth）方面，能與之匹敵的網(wǎng)站，也就只有 YouTube 或 Hulu，而 YouPorn 卻又是 Hulu 的 6 倍。

◆ ◆ ◆

基礎(chǔ)設(shè)施

就支持視頻所需的資源，數(shù)據(jù)存儲(chǔ)器、CPU 周期、I/O 和帶寬，遠(yuǎn)超過文本和圖像所需要的資源。

當(dāng)然了，雖然每個(gè)網(wǎng)站的情況又不一樣了，但大部分成人站點(diǎn)都有 50 至 200 TB 的成人資料。對一個(gè)網(wǎng)站來說，這是個(gè)大數(shù)目（Google、Facebook、Blogger 和 Youtube 之流存儲(chǔ)的數(shù)據(jù)比這還要多），好在現(xiàn)在 2 TB 的硬盤便宜。

CPU 周期和 I/O 會(huì)影響視頻流和 PV 數(shù)量。首先，色情網(wǎng)站要提供動(dòng)態(tài)、可搜索的海量視頻數(shù)據(jù)庫，然后點(diǎn)播視頻時(shí)，從硬盤讀取文件，再網(wǎng)絡(luò)上傳輸。如果你有過在局域網(wǎng)傳送大量大文件的經(jīng)歷，你就會(huì)知道網(wǎng)絡(luò)系統(tǒng)的壓力有多大了。

硬件設(shè)備情況，實(shí)際上我們幾乎無法知曉，因?yàn)樯榫W(wǎng)站也沒公布過。雖然如此，但我們討論的大型色情網(wǎng)站會(huì)有四核服務(wù)器、千兆交換機(jī)、負(fù)載均衡器。在軟件方面，大部分大型色情網(wǎng)站都會(huì)使用超高吞吐量的數(shù)據(jù)庫（比如 Redis ）來存儲(chǔ)和提供視頻，還有輕量級的 HTTP 服務(wù)器（比如 Nginx ）。

最后說帶寬。還是以 Xvideos 為例（基于 Ad Planner 的數(shù)據(jù)估測），大型色情網(wǎng)站必須有足夠的連通性（connectivity）來支撐每秒 50 GB（400Gbps ）。這還只是平均傳輸速率。在高峰期間，Xvideos 或許要 1,000Gbps  (1Tbps) ，或更高 。在倫敦和紐約直接的連通性也才 15Tbps。

有很多方法來處理高流量：自己搞個(gè)數(shù)據(jù)中心，或者去大數(shù)據(jù)中心租賃幾排架的服務(wù)器，或者使用諸如 Amazon AWS 和 Microsoft Azure 之類的云服務(wù)。

◆ ◆ ◆

真實(shí)案例

YPN是全球第二大的色情網(wǎng)站，足夠提供研究數(shù)據(jù)。另外要說一下，DoubleClick  的 Ad Planner 中的估測數(shù)據(jù)比實(shí)際數(shù)據(jù)要低很多的。

YPN有“超過 100 TB 的干貨”，每天網(wǎng)頁瀏覽量超過 1 億?？偠裕@相當(dāng)于每天傳送 950 TB 數(shù)據(jù)（大部分都是視頻流），每月大約傳送 29 PB。Xvideos 肯定不止 28 PB 這個(gè)估測值了，它可能是每月 35 – 40 TB。

在高峰期，YPN每秒得響應(yīng) 4000 個(gè)網(wǎng)頁，相當(dāng)于有每秒 100 GB 或（800 Gbps ）的突發(fā)流量。這相當(dāng)月每秒傳送 10+ 張雙層 DVD。

在軟件方面，YPN的主數(shù)據(jù)庫是 Redis，用 MySQL 作為管理工具，用于管理和向 Redis 簇中添加數(shù)據(jù)。后端是 Perl 和 MySQL，不過在 2011 年改成了 PHP + Redis。HTTP 服務(wù)器是 Nginx，同時(shí)用 HAProxy  和 Varnish  做負(fù)載均衡。Redis 服務(wù)器可以每秒處理 30 萬請求，每小時(shí)記錄下 8 – 15 GB數(shù)據(jù)，包括訪客日志、行為數(shù)據(jù)等。據(jù)說 Redis 可以抗住 2 億的日 PV。

（譯注：2012年2月份，YPN的技術(shù)人員 Eric Pickup 在 Google 群組宣告他們網(wǎng)站改用 Redis DB 后?？缸×嗣刻?億PV瀏覽量，每秒30萬請求，已經(jīng)堅(jiān)持 2 周。Eric 還將去加拿大一個(gè)技術(shù)大會(huì)分享經(jīng)驗(yàn)。）

令人悲傷的是，YPN拒絕透露硬件設(shè)備信息。從 YPN的 CDN 的 IP 地址來看，它應(yīng)該沒有使用云服務(wù)，應(yīng)該托管在某地的大型數(shù)據(jù)中心。

互聯(lián)網(wǎng)每天大約處理 1/2 EB 數(shù)據(jù)，相當(dāng)于每秒處理 50Tb， YPN的 800Gbps 這個(gè)數(shù)字，幾乎就占了互聯(lián)網(wǎng)中每秒流量的 2%。而全球有幾十個(gè)和 YouPorn 規(guī)模相當(dāng)?shù)纳榫W(wǎng)站。互聯(lián)網(wǎng)流量中色情內(nèi)容占據(jù)了 30%，這個(gè)說法也就不是不現(xiàn)實(shí)的哦。

（譯注：1 EB = 1024 PB = 1024 * 1024 TB = 1024 * 1024 * 1024 GB）