淺談千萬級PV/IP規模高性能高并發網站架構

來源:本站原創 Linux 超過882 views圍觀 0條評論

作者:老男孩 QQ31333741

BLOG:http://oldboy.blog.chinaunix.net

高并發訪問的核心原則其實就一句話“把所有的用戶訪問請求都盡量往前推”。

如果把來訪用戶比作來犯的"敵人",我們一定要把他們擋在800里地以外,即不能讓他們的請求一下打到我們的指揮部(指揮部就是數據庫及分布式存儲)。

如:能緩存在用戶電腦本地的,就不要讓他去訪問CDN。 能緩存CDN服務器上的,就不要讓CDN去訪問源(靜態服務器)了。能訪問靜態服務器的,就不要去訪問動態服務器。以此類推:能不訪問數據庫和存儲就一定不要去訪問數據庫和存儲。

說起來很輕松,實際做起來卻不容易,但只要稍加努力是可以做到的,Google的日獨立IP過億不也做到了么?我們這幾千萬的PV站比起Google不是小屋見大屋了。我們還是先從我們的小屋搭起吧!哈哈!下面內容的介紹起點是千萬級別的PV站,也可以支持億級PV的網站架構。

高性能高并發高可擴展網站架構訪問的幾個層次:

有人會問,我們老是說把用戶對業務的訪問往前推,到底怎么推啊?推到哪呢?下面,老男孩就為大家一一道來。

第一層:首先在用戶瀏覽器端,使用Apache的mod_deflate壓縮傳輸,再比如:expires功能、deflate和expires功能利用的好,就會大大提升用戶體驗效果及減少網站帶寬,減少后端服務器的壓力。當然,方法還有很多,這里不一一細談了。

提示:有關壓縮傳輸及expires功能nginx/lighttpd等軟件同樣也有。

第二層:頁面元素,如圖片/js/css等或靜態數據html,這個層面是網頁緩存層,比如CDN(效果比公司自己部署squid/nginx要好,他們更專業,價格低廉,比如快網/CC等(價格80元/M/月甚至更低)而且覆蓋的城市節點更多),自己架設squid/nginx cache來做小型CDN是次選(超大規模的公司可能會考慮風險問題實行自建加購買服務結合),除非是為前端的CDN提供數據源服務,以減輕后端我們的服務器數據及存儲壓力,而不是直接提供cache服務給最終用戶。taobao的CDN曾經因為一部分圖片的次寸大而導致CDN壓力大的情況,甚至對圖片尺寸大的來改小,以達到降低流量及帶寬的作用。

提示:我們也可以自己架設一層cache層,對我們購買的CDN提供數據源服務,可用的軟件有varnish/nginx/squid 等cache,以減輕第三層靜態數據層的壓力。在這層的前端我們也可以架設DNS服務器,來達到跨機房業務拓展及智能解析的目的。

第三層:靜態服務器層一般為圖片服務器,視頻服務器,靜態HTML服務器。這一層是前面緩存層和后面動態服務器層的連接紐帶,大公司發布新聞等內容直接由發布人員分發到各cache節點(sina,163等都是如此),這和一般公司的業務可能不一樣。所以,沒法直接的參考模仿,比如人人的SNS。

我們可以使用Q隊列方式實現異步的分發訪問,同時把動態發布數據(數據庫中的數據)靜態化存儲。即放到本層訪問,或通過其他辦法發布到各cache節點,而不是直接讓所有用戶去訪問數據庫,不知道大家發現了沒有,qq.com門戶的新聞評論多的有幾十萬條,如果所有用戶一看新聞就加載所有評論,那數據庫不掛才怪。他們的評論需要審核(美其名約,實際是異步的方式,而且,評論可能都是靜態化的或類似的靜態化或內存cache的方式),這點可能就是需要51cto.com這樣站點學習的,你們打開51CTO的一篇博文,就會發現下面的評論一直都顯示出來了,也可能是分頁的。不過,應該都是直接讀庫的,一旦訪問量大,數據庫壓力大是必然。這里不是說51cto網站不好,所有的網站都是從類似的程序架構開始發展的。CU也可能是如此。

提示:我們可以在靜態數據層的前端自己架設一層cache層,對我們購買的CDN提供數據源服務,可用的軟件有varnish/nginx/squid 等cache。在這層的前端我們也可以架設DNS服務器,來達到跨機房業務拓展及智能解析的目的。

第四層:動態服務器層:php,java等,只有透過了前面3層后的訪問請求才會到這個層,才可能會訪問數據庫及存儲設備。經過前三層的訪問過濾能到這層訪問請求一般來說已非常少了,一般都是新發布的內容和新發布內容第一次瀏覽如;博文(包括微博等),BBS帖子。

特別提示:此層可以在程序上多做文章,比如向下訪問cache層,memcache,memcachedb,tc,mysql,oracle,在程序級別實現分布式訪問,分布式讀寫分離,而程序級別分布式訪問的每個db cache節點,又可以是一組業務或者一組業務拆分開來的多臺服務器的負載均衡。這樣的架構會為后面的數據庫和存儲層大大的減少壓力,那么這里呢,相當于指揮部的外層了。

第五層:數據庫cache層,比如:memcache,memcachedb,tc等等。

根據不同的業務需求,選擇適合具體業務的數據庫。對于memcache、memcachedb ttserver及相關nosql數據庫,可以在第四層通過程序來實現對本層實現分布式訪問,每個分布式訪問的節點都可能是一組負載均衡(數十臺機器)。

第六層:數據庫層,一般的不是超大站點都會用mysql主從結構,如:163,sina,kaixin都是如此,程序層做分布式數據庫讀寫分離,一主(或雙主)多從的方式,訪問大了,可以做級連的主從及環狀的多主多從,然后,實現多組負載均衡,供前端的分布式程序調用,如果訪問量在大,就需要拆業務了,比如:我再給某企業做兼職時,發現類似的51cto的一個站點,把www服務,blog服務,bbs服務都放一個服務器上,然后做主從。這種情況,當業務訪問量大了,可以簡單的把www,blog,bbs服務分別各用一組服務器拆分開,這種方式運維都會的沒啥難度。當然訪問量在大了,可以繼續針對某一個服務拆分如:www庫拆分,每個庫做一組負載均衡,還可以對庫里的表拆分。需要高可用可以通過drbd等工具做成高可用方式。對于寫大的,可以做主主或多主的MYSQL REP方式,對于ORACLE來說,來幾組oracle DG(1master多salve方式)就夠了,11G的DG可以象mysql rep一樣,支持讀寫分離了。當然可選的方案還有,mysql cluster 和oracle 的RAC,玩mysql cluster和oracle RAC要需要更好更多的硬件及部署后的大量維護成本,因此,要綜合考慮,到這里訪問量還很大,那就恭喜了,起碼是幾千萬以上甚至上億的PV了。

象百度等巨型公司除了會采用常規的mysql及oracle數據庫庫外,會在性能要求更高的領域,大量的使用nosql數據庫,然后前端在加DNS,負載均衡,分布式的讀寫分離,最后依然是拆業務,拆庫,。。。逐步細化,然后每個點又可以是一組或多組機器。

特別提示:數據庫層的硬件好壞也會決定訪問量的多少,尤其是要考慮磁盤IO的問題,大公司往往在性價比上做文章,比如核心業務采用硬件netapp/emc及san光纖架構,對于資源數據存儲,如圖片視頻,會采用sas或固態ssd盤,如果數據超大,可以采取熱點分取分存的方法:如:最常訪問的10-20%使用ssd存儲,中間的20-30%采用sas盤,最后的40-50%可以采用廉價的sata。

第七層:千萬級PV的站如果設計的合理一些,1,2個NFS SERVER就足夠了。我所維護(兼職)或經歷過的上千萬PV的用NFS及普通服務器做存儲的還有大把,多一些磁盤,如SAS 15K*6的,或者用dell6850,搞幾組 NFS存儲,中小網站足夠了。當然可以做成drbd+heartbeat+nfs+a/a的方式。

如果能達到本文設計要求的,中等規模網站,后端的數據庫及存儲壓力會非常小了。 象門戶網站級別,如sina等, 會采用硬件netapp/emc等等硬件存儲設備或是san光纖同道,甚至在性價比上做文章,比如核心業務采用硬件netapp/emc及san光纖架構,對于資源數據存儲,如圖片視頻,會采用sas或固態ssd盤,如果數據超到,可以采取熱點分取分存的方法:如:最常訪問的10-20%使用ssd存儲,中間的20-30%采用sas盤,最后的40-50%可以采用廉價的sata。

象百度等巨型公司會采用hadoop等分布式的存儲架構,前端在加上多層CACHE及多及的負載均衡,同樣會根據業務進行拆分,比如爬蟲層存儲,索引層存儲,服務層存儲。。。可以更細更細。。。為了應付壓力,什么手段都用上了。

特殊業務,如人人,開心網,包括門戶網站的評論,微博,大多都是異步的寫入方式,即無論讀寫,并發訪問數據庫都是非常少量的。

以上1-7層,如果都搭好了,這樣漏網到第四層動態服務器層的訪問,就不多了。一般的中等站點,絕對不會對數據庫造成太大的壓力。程序層的分布式訪問是從千萬及PV向億級PV的發展,當然特殊的業務 還需要特殊架構,來合理利用數據庫和存儲。

老男孩個人資料介紹:
    資深Linux運維架構專家、高級運維總監,從事一線運維及系統架構10年+,曾維護千萬級/億級PV的幾個行業門戶網站,并將多年的運維經驗成功應用到教育領域教育教學工作多年。
     老男孩從事多年的IT教育領域一線工作,對IT教育有著非同尋常的認識,研習過教育心理學,并于2008年創辦了老男孩linux運維培訓機構,培訓中心以其獨特的先進的教育教學理念及創新的科學學習方法。累計培養了數百名linux運維行業精英人才。
個人blog:http://oldboy.blog.chinaunix.net

文章出自:CCIE那點事 http://www.qdxgqk.live/ 版權所有。本站文章除注明出處外,皆為作者原創文章,可自由引用,但請注明來源。 禁止全文轉載。
本文鏈接:http://www.qdxgqk.live/?p=3336轉載請注明轉自CCIE那點事
如果喜歡:點此訂閱本站
  • 相關文章
  • 為您推薦
  • 各種觀點
?
暫時還木有人評論,坐等沙發!
發表評論

您必須 [ 登錄 ] 才能發表留言!

?
?
萌宠夺宝游戏 足彩进球彩计算器 陕西快乐10分几点开始几点停止 重庆时时彩 稳赚 倍数 金蟾捕鱼赢话费手机版 2019什么手机网游可以赚钱 31选7综合走势图综合版 浙江飞鱼彩票走势图 香港快三开奖结果查询结果 镇上开玩具店赚钱吗 广西快3间隔值统计表 python挖矿赚钱 舟山飞鱼彩票走势图 u米账号注册 南京有中彩票大奖的吗 69捕鱼棋牌游戏平台 江苏快三一定牛