西西軟件園多重安全檢測(cè)下載網(wǎng)站、值得信賴的軟件下載站!
軟件
軟件
文章
搜索

首頁西西教程數(shù)據(jù)庫教程 → 大數(shù)據(jù)時(shí)代搭建高可用mongodb集群配置教程

大數(shù)據(jù)時(shí)代搭建高可用mongodb集群配置教程

相關(guān)軟件相關(guān)文章發(fā)表評(píng)論 來源:西西整理時(shí)間:2013/11/18 9:46:23字體大小:A-A+

作者:西西點(diǎn)擊:79次評(píng)論:0次標(biāo)簽: mongodb

  • 類型:編程控件大小:191KB語言:中文 評(píng)分:6.6
  • 標(biāo)簽:
立即下載

在大數(shù)據(jù)的時(shí)代,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫要能更高的服務(wù)必須要解決高并發(fā)讀寫、海量數(shù)據(jù)高效存儲(chǔ)、高可擴(kuò)展性和高可用性這些難題。不過就是因?yàn)檫@些問題Nosql誕生了。

NOSQL有這些優(yōu)勢(shì):

大數(shù)據(jù)量,可以通過廉價(jià)服務(wù)器存儲(chǔ)大量的數(shù)據(jù),輕松擺脫傳統(tǒng)mysql單表存儲(chǔ)量級(jí)限制。

高擴(kuò)展性,Nosql去掉了關(guān)系數(shù)據(jù)庫的關(guān)系型特性,很容易橫向擴(kuò)展,擺脫了以往老是縱向擴(kuò)展的詬病。

高性能,Nosql通過簡單的key-value方式獲取數(shù)據(jù),非?焖。還有NoSQL的Cache是記錄級(jí)的,是一種細(xì)粒度的Cache,所以NoSQL在這個(gè)層面上來說就要性能高很多。

靈活的數(shù)據(jù)模型,NoSQL無需事先為要存儲(chǔ)的數(shù)據(jù)建立字段,隨時(shí)可以存儲(chǔ)自定義的數(shù)據(jù)格式。而在關(guān)系數(shù)據(jù)庫里,增刪字段是一件非常麻煩的事情。如果是非常大數(shù)據(jù)量的表,增加字段簡直就是一個(gè)噩夢(mèng)。

高可用,NoSQL在不太影響性能的情況,就可以方便的實(shí)現(xiàn)高可用的架構(gòu)。比如mongodb通過mongos、mongo分片就可以快速配置出高可用配置。

在nosql數(shù)據(jù)庫里,大部分的查詢都是鍵值對(duì)(key、value)的方式。MongoDB是一個(gè)介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的產(chǎn)品,是非關(guān)系數(shù)據(jù)庫當(dāng)中最像關(guān)系數(shù)據(jù)庫的。支持類似于面向?qū)ο蟮牟樵冋Z言,幾乎可以實(shí)現(xiàn)類似關(guān)系數(shù)據(jù)庫單表查詢的絕大部分功能,而且還支持對(duì)數(shù)據(jù)建立索引。所以這個(gè)非常方便,我們可以用sql操作MongoDB,從關(guān)系型數(shù)據(jù)庫遷移過來,開發(fā)人員學(xué)習(xí)成本會(huì)大大減少。如果再對(duì)底層的sql API做一層封裝,開發(fā)基本可以感覺不到mongodb和關(guān)系型數(shù)據(jù)庫的區(qū)別。同樣MongoDB也是號(hào)稱自己能夠快速搭建一個(gè)高可用可擴(kuò)展的的分布式集群,網(wǎng)上有很多搭建的文章,在我們搭建的時(shí)候還需要查找修改很多東西,所以把自己實(shí)戰(zhàn)的步驟記錄下來以備忘。我們看看如何一步一步搭建這個(gè)東東。

一、mongodb單實(shí)例。這種配置只適合簡易開發(fā)時(shí)使用,生產(chǎn)使用不行,因?yàn)閱喂?jié)點(diǎn)掛掉整個(gè)數(shù)據(jù)業(yè)務(wù)全掛,如下圖。

雖然不能生產(chǎn)使用,但這個(gè)模式可以快速搭建啟動(dòng),并且能夠用mongodb的命令操作數(shù)據(jù)庫。下面列出在linux下安裝單節(jié)點(diǎn)mongodb的步驟

1、建立mongodb測(cè)試文件夾


1#存放整個(gè)mongodb文件
2mkdir -p /data/mongodbtest/single 
3
4#存放mongodb數(shù)據(jù)文件
5mkdir -p /data/mongodbtest/single/data
6
7#進(jìn)入mongodb文件夾
8 cd /data/mongodbtest/single

1wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.6.tgz
2
3#解壓下載的壓縮包 
4tar xvzf mongodb-linux-x86_64-2.4.6.tgz
5
6#進(jìn)入mongodb程序執(zhí)行文件夾
7 cd mongodb-linux-x86_64-2.4.6/bin/

2、下載mongodb的安裝程序包

3、啟動(dòng)單實(shí)例mongodb

1mongod  --dbpath /data/mongodbtest/single/data

輸出日志如下,成功!

[initandlisten] db version v2.4.6
……..
[initandlisten] waiting for connections on port 27017
[websvr] admin web console waiting for connections on port 28017

mongodb默認(rèn)自帶提供了web訪問接口,通過 IP + 端口的形式可以訪問。

http://192.168.0.1:28017/

二、主從模式。使用mysql數(shù)據(jù)庫時(shí)大家廣泛用到,采用雙機(jī)備份后主節(jié)點(diǎn)掛掉了后從節(jié)點(diǎn)可以接替主機(jī)繼續(xù)服務(wù)。所以這種模式比單節(jié)點(diǎn)的高可用性要好很多。

下面看一下怎么一步步搭建一個(gè)mongodb的主從復(fù)制節(jié)點(diǎn):

1、準(zhǔn)備兩臺(tái)機(jī)器 192.168.0.1 和 192.168.0.2。 192.168.0.1 當(dāng)作主節(jié)點(diǎn), 192.168.0.2作為從節(jié)點(diǎn)。

2、分別下載mongodb安裝程序包。在192.168.0.1上建立文件夾 /data/mongodbtest/master,192.168.0.2建立文件夾/data/mongodbtest/slave

3、在192.168.0.1啟動(dòng)mongodb主節(jié)點(diǎn)程序。注意后面的這個(gè) “ –master ”參數(shù),標(biāo)示主節(jié)點(diǎn)。

mongod –dbpath /data/mongodbtest/master –master

輸出日志如下,成功!

[initandlisten] MongoDB starting : pid=18285 port=27017 dbpath=/data/mongodbtest/master master=1
#日志顯示主節(jié)點(diǎn)參數(shù)
[initandlisten] options: { dbpath: “/data/mongodbtest/master”, master: true }
……..
[initandlisten] waiting for connections on port 27017

4、在192.168.0.2啟動(dòng)mongodb從節(jié)點(diǎn)程序。關(guān)鍵配置,指定主節(jié)點(diǎn)ip地址和端口 –source 192.168.0.1:27017 和 標(biāo)示從節(jié)點(diǎn) –source 參數(shù)。

mongod –dbpath /data/mongodbtest/slave –slave –source 192.168.0.1:27017

輸出日志如下,成功!

[initandlisten] MongoDB starting : pid=17888 port=27017 dbpath=/data/mongodbtest/slave slave=1
……..
#日志顯示從節(jié)點(diǎn)參數(shù)
[initandlisten] options: { dbpath: “/data/mongodbtest/slave”, slave: true, source: “192.168.0.1:27017″ }
……..
[initandlisten] waiting for connections on port 27017
#日志顯示從節(jié)點(diǎn) 從主節(jié)點(diǎn)同步復(fù)制數(shù)據(jù)
[replslave] repl: from host:192.168.0.1:27017

5、測(cè)試主從復(fù)制。

在主節(jié)點(diǎn)上連接到終端:

1
2
3
4
5
6
7
8
9
10
11
mongo 127.0.0.1

#建立test 數(shù)據(jù)庫。
use test;

往testdb表插入數(shù)據(jù)。
> db.testdb.insert({"test1":"testval1"})

查詢testdb數(shù)據(jù)看看是否成功。
> db.testdb.find();
{ "_id" : ObjectId("5284e5cb1f4eb215b2ecc463"), "test1" : "testval1" }

可以看到主機(jī)的同步日志

[initandlisten] connection accepted from 192.168.0.2:37285 #3 (2 connections now open)
[slaveTracking] update local.slaves query: { _id: ObjectId(’5284e6268ed115d6238bdb39′), config: { host: “192.168.0.2:35271″, upgradeNeeded: true }, ns: “l(fā)ocal.oplog.$main” } update: { $set: { syncedTo: Timestamp 1384441570000|1 } } nscanned:1 nupdated:1 fastmod:1 keyUpdates:0 locks(micros) w:132015 132ms

檢查從主機(jī)的數(shù)據(jù)。

mongo 127.0.0.1

查看當(dāng)前數(shù)據(jù)庫。

1
2
3
4
5
6
7
> show dbs;
  local   0.203125GB
  test    0.203125GB

use test;
db.testdb.find();
{ "_id" : ObjectId("5284e5cb1f4eb215b2ecc463"), "test1" : "testval1" }

查詢后數(shù)據(jù)已經(jīng)同步過來了。再看看日志,發(fā)現(xiàn)從主機(jī)確實(shí)從主機(jī)同步了數(shù)據(jù)。

1
2
Thu Nov 14 23:05:13 [replslave] repl:   checkpoint applied 15 operations
Thu Nov 14 23:05:13 [replslave] repl:   syncedTo: Nov 14 23:08:10 5284e75a:1

查看服務(wù)狀態(tài)

1
2
3
4
5
> db.printReplicationInfo();
          this is a slave, printing slave replication info.
          source:   192.168.0.1:27017
              syncedTo: Sun Nov 17 2013 16:04:02 GMT+0800 (CST)
                      = -54 secs ago (-0.01hrs)

到此主從結(jié)構(gòu)的mongodb搭建好了。

故障轉(zhuǎn)移測(cè)試,現(xiàn)在兩臺(tái)服務(wù)器如果主服務(wù)器掛掉了,從服務(wù)器可以正常運(yùn)轉(zhuǎn)嗎?

a、先測(cè)試下從服務(wù)器可以當(dāng)成主服務(wù)器嗎,也就是往從服務(wù)器里寫能夠同步主服務(wù)器嗎?

在192.168.0.2上連接mongodb。

1
2
3
mongo 127.0.0.1:27017
> db.testdb.insert({"test3":"testval3"});
not master

可以看到 mongodb的從節(jié)點(diǎn)是不能提供寫操作的,只能提供讀操作。

b、如果從服務(wù)器掛掉,主服務(wù)器還可以提供服務(wù)。如果主服務(wù)器掛掉了從服務(wù)器能否自動(dòng)變?yōu)榭蓪憽?br />測(cè)試一下!

先殺掉原來的mongodb主服務(wù)器。

1kill -3 `ps -ef|grep mongod|grep -v grep|awk '{print $2}'`

測(cè)試從服務(wù)器能否可寫。在192.168.0.2上連接mongodb測(cè)試。

1
2
> db.testdb.insert({"test3":"testval3"});
not master

看起來從服務(wù)器沒有自動(dòng)接替主服務(wù)器的功能,只有手工處理了!

停止從服務(wù)器,在原數(shù)據(jù)文件啟動(dòng)并添加主服務(wù)器標(biāo)示。

1mongod  --dbpath /data/mongodbtest/slave --master

等到啟動(dòng)成功(時(shí)間有點(diǎn)長)。在192.168.0.2 上 連接

1mongo 192.168.0.2:27017

。

1
2
3
> db.testdb.find();
{ "_id" : ObjectId("5288629e9b0318be4b20bd4c"), "test1" : "testval1" }
{ "_id" : ObjectId("528862d69b0318be4b20bd4d"), "test2" : "testval2" }

成功!

多個(gè)從節(jié)點(diǎn),F(xiàn)在只是一個(gè)數(shù)據(jù)庫服務(wù)器又提供寫又提供讀,機(jī)器承載會(huì)出現(xiàn)瓶頸。大家還記得mysql里的讀寫分離嗎?把20%的寫放到主節(jié)點(diǎn),80%的讀放到從節(jié)點(diǎn)分?jǐn)偭藴p少了服務(wù)器的負(fù)載。但是大部分應(yīng)用都是讀操作帶來的壓力,一個(gè)從節(jié)點(diǎn)壓力負(fù)載不了,可以把一個(gè)從節(jié)點(diǎn)變成多個(gè)節(jié)點(diǎn)。那mongodb的一主多從可以支持嗎?答案是肯定的。

為了方便測(cè)試,在192.168.0.2上再建立一個(gè)文件夾 /data/mongodbtest/slave2 作為另一個(gè)slave服務(wù)器。
啟動(dòng)slave2服務(wù),

1mongod  --dbpath /data/mongodbtest/slave1 --slave  --port 27017 --source 192.168.0.1:27017。

成功啟動(dòng)后通過mongodb連接測(cè)試:

1
2
3
> db.testdb.find();
{ "_id" : ObjectId("5288629e9b0318be4b20bd4c"), "test1" : "testval1" }
{ "_id" : ObjectId("528862d69b0318be4b20bd4d"), "test2" : "testval2" }

    相關(guān)評(píng)論

    閱讀本文后您有什么感想? 已有人給出評(píng)價(jià)!

    • 8 喜歡喜歡
    • 3 頂
    • 1 難過難過
    • 5 囧
    • 3 圍觀圍觀
    • 2 無聊無聊

    熱門評(píng)論

    最新評(píng)論

    發(fā)表評(píng)論 查看所有評(píng)論(0)

    昵稱:
    表情: 高興 可 汗 我不要 害羞 好 下下下 送花 屎 親親
    字?jǐn)?shù): 0/500 (您的評(píng)論需要經(jīng)過審核才能顯示)