2. 程式人生 > >MongoDB--架構搭建 分片+副本集

MongoDB--架構搭建 分片+副本集

阿新 • • 發佈：2019-02-02
分片架構
  • 1、分片是對資料量比較大的集合進行拆分到不同伺服器MongoDB例項中去，如果架構是分片架構，則以後登入不能使用mongo，要改為mongos路由連結形式
  • 2、分片架構的核心是分片的片鍵設定，片鍵選取的目標是能讓後續插入的集合均勻的插入到各個片區中去。如果根據自增、建立時間等自增型別設定片鍵，則會造成，最後的資料庫越來越大，不符合初衷，如果根據性別、學歷等設定片鍵，則會造成資料塊較少，起不到分片的效果。
  • 3、結合副本集，則架構如下圖：


  • 4、例項準備，3臺伺服器：伺服器1對應埠1.2.3、伺服器2對應埠4.5.6、伺服器3對應埠7.8.9 （如果開啟許可權認證之後，請保持所有的例項關聯的keyfile檔案一樣
    ）

9個分片節點：127.0.0.1:27771、127.0.0.1:27772、127.0.0.1:27773、127.0.0.1:27774.....127.0.0.1:27779

1.4.7為shard1副本集、2.5.8為shard2副本集、3.6.9為shard3副本集

單個節點設定完成之後，登陸其中要設定為副本集的主節點，進行設定副本集

命令：

rs.initiate() --節點初始化

cfg={_id:"Set1", members:[ {_id:0,host:"172.17.7.106:25552"}] } --節點預設值

rs.reconfig(cfg, {force:true}) --載入預設值節點

rs.add("XXXXXXX") --新增其他節點

3個配置節點：127.0.0.1:27761、127.0.0.1:27762、127.0.0.1:27763

注意配置節點需要配置為副本集形式，此舉是3.0版本之後得強制設定，這樣可以提高容災機制

配置節點每臺伺服器一個

命令：與分片節點的副本集命令一樣，注意修改副本集的ID

3個路由節點：127.0.0.1:27751、127.0.0.1:27752、127.0.0.1:27753（注意：因為是單機模擬，所以路由起一個就可以了，多了則會報錯）

請注意，開啟路由節點需要使用mongos 命令

1、分片節點例項配置檔案

例項1(注意下面開頭的---也是配置檔案內容為第一行)

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Set1\\LOG\\Set1_1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Set1\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本開始務必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"
#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set1\\Forklog" 
net:
   port: 27771
replication:
  replSetName: "Set1"
  oplogSizeMB: 10000
sharding:
  clusterRole: shardsvr
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Set1\\KEY\\skey.key"

例項2

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Set2\\LOG\\Set2_1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Set2\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本開始務必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"
#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set2\\Forklog" 
net:
   port: 27772
replication:
  replSetName: "Set2"
  oplogSizeMB: 10000
sharding:
  clusterRole: shardsvr
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Set2\\KEY\\skey.key"

仿照設定到例項9...

2、配置節點例項配置檔案

節點1

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Conf\\LOG\\s1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Conf\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本開始務必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"
#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set1\\Forklog" 
net:
   port: 27761
replication:
  replSetName: "confrs"
  oplogSizeMB: 10000
sharding:
  clusterRole: "configsvr"
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Conf\\confkey.key"

節點2

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Conf\\LOG\\s1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Conf\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本開始務必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"
#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set1\\Forklog" 
net:
   port: 27762--(注意此處，如果是同一臺機器，請修改埠)
replication:
  replSetName: "confrs"
  oplogSizeMB: 10000
sharding:
  clusterRole: "configsvr"
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Conf\\confkey.key"

節點3

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Conf\\LOG\\s1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Conf\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本開始務必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"
#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set1\\Forklog" 
net:
   port: 27763--(注意此處，如果是同一臺機器，請修改埠)
replication:
  replSetName: "confrs"
  oplogSizeMB: 10000
sharding:
  clusterRole: "configsvr"
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Conf\\confkey.key"

3、路由節點例項配置檔案

節點1

logpath=D:\\MGDBP\\Mongos\\LOG\\s1.log 
logappend=true 
port=27751
configdb=confrs/XXXXXX:25541,XXXXXXXX:25541,XXXXXXXX:25541 --(注意，此處為配置檔案所設定的IP和埠)
keyFile=D:\\MGDBP\\Mongos\\mongoskey.key

節點2

logpath=D:\\MGDBP\\Mongos\\LOG\\s1.log 
logappend=true 
port=27752
configdb=confrs/XXXXXX:25541,XXXXXXXX:25541,XXXXXXXX:25541 --(注意，此處為配置檔案所設定的IP和埠)
keyFile=D:\\MGDBP\\Mongos\\mongoskey.key

節點3

logpath=D:\\MGDBP\\Mongos\\LOG\\s1.log 
logappend=true 
port=27753
configdb=confrs/XXXXXX:25541,XXXXXXXX:25541,XXXXXXXX:25541 --(注意，此處為配置檔案所設定的IP和埠)
keyFile=D:\\MGDBP\\Mongos\\mongoskey.key
  • 4、最後使用mongo 登入到路由節點，mongo 127.0.0.1:27751，進行分片的配置初始化

路由節點進行配置

db.runCommand({

"addshard":"shardrs1/127.0.0.1:27771,127.0.0.1:27774,127.0.0.1:27777"

})

db.runCommand({

"addshard":"shardrs2/127.0.0.1:27772,127.0.0.1:27775,127.0.0.1:27778"

})

db.runCommand({

"addshard":"shardrs3/127.0.0.1:27773,127.0.0.1:27776,127.0.0.1:27779"

})

  • 5、物理節點配置好之後，需要配置sharding分片規則。

設定需要分片的資料庫

db.runCommand({

enablesharding:"testsd"

})

設定片鍵

db.runCommand({

shardcollection:"testsd.stu",

key:{"name":1}

})

執行到此步驟 則證明 配置成功 

專案目錄

http://pan.baidu.com/s/1nvqhPXJ     （此專案檔案為單機部署，沒有許可權）



伺服器環境搭建實踐
遇到問題：
1、以windows服務啟動時報錯，msvcp140.dll 丟失
1、使用mongoDB安裝檔案 安裝一下
2、以windows服務啟動時報錯,vc++錯誤
1、下載vc_redist.x64.exe檔案，執行。
3、登入節點，設定叢集初始化命令報錯
1、檢視防火牆，埠是否都開啟，可以設定20000-65535埠開啟
2、使用命令單獨增加節點, rs.initiate() , 等待成為主節點時，rs.add("") 新增剩下節點。
3、如果節點添加出現泵機或其他問題，可以暫停問題節點，刪除資料，重新開啟，重新初始化節點新增。
cfg={_id:"Set2", members:[ {_id:0,host:"172.17.7.106:25552"}] }
rs.reconfig(cfg, {force:true});
rs.add(""")
4、分片時 設定路由出錯，sharding.configdb配置檔案報錯
1、路由啟動時應該是用mongos命令 而不是mongod
5、mongos 路由連結不上配置節點Error initializing sharding state, sleeping for 2 seconds and trying again 
1、檢視keyfile是否和配置節點的一致，必須一致才能鏈上配置節點
6、當設定初始化副本集的時候報錯
1、請注意配置檔案的Ip地址，與rs.status() 裡面節點名稱是否和配置檔案顯示的是否一致

相關推薦

MongoDB--架構搭建 分片+副本集

分片架構1、分片是對資料量比較大的集合進行拆分到不同伺服器MongoDB例項中去，如果架構是分片架構，則以後登入不能使用mongo，要改為mongos路由連結形式2、分片架構的核心是分片的片鍵設定，片

mongodb 集群搭建 分片+副本集

mongodb 集群搭建 分片 副本集mkdir -p /home/mongodb/confmkdir -p /home/mongodb/mongos/logmkdir -p /home/mongodb/config/datamkdir -p /home/mongodb/config/logmkdir -p

mongodb3.6集群搭建:分片+副本集

cif repl config src sre path 多個服務器 reference 最終 mongodb是最常用的noSql數據庫，在數據庫排名中已經上升到了前五。這篇文章介紹如何搭建高可用的mongodb（分片+副本）集群。 在搭建集群之前，需要首先了解幾個概念：路

Java測試mongodb叢集（分片+副本集）

需要Java-mongo驅動jar包，官網下載：mongo-java-driver-3.5.0.jar 1.建立專案TestMongoDBShards，(具體建立專案參考楊海文件–IDEA開發工具的安裝及使用)匯入驅動jar包。點選 File -> Project Structure（快捷

MongoDB分片副本集搭建

linux members min sharding 集合 cti rds arbiter add 1、安裝mongodbtar xvf mongodb-linux-x86_64-enterprise-rhel70-3.6.2.tgz -C /usr/local/cd /u

linux下Mongodb叢集搭建：分片+副本集

三臺伺服器 192.168.1.40/41/42 安裝包 mongodb-linux-x86_64-amazon2-4.0.1.tgz 服務規劃  伺服器40  伺服器41  伺服器42  mongos  mongos  mongos  config server  config server  

mongodb搭建叢集副本集及分片處理

1.叢集部署方案 2.叢集部署詳細 主要是把資料和元資料進行分離config server儲存元資料sharding儲存資料.mongos代理讀操作：客戶端請求進入mongos之後需要去configserver上去獲取資料具體在哪個分片上，然後在和相應的節

mongodb 3.4 叢集搭建：分片+副本集

原文出處：http://www.ityouknow.com/mongodb/2017/08/05/mongodb-cluster-setup.htmlmongodb是最常用的nosql資料庫，在資料庫排名中已經上升到了前六。這篇文章介紹如何搭建高可用的mongodb（分片+副

mongodb 3.4 集群搭建：分片+副本集

協調 dsv size 了解 包括 監視 添加 pro family mongodb是最常用的nosql數據庫，在數據庫排名中已經上升到了前六。這篇文章介紹如何搭建高可用的mongodb（分片+副本）集群。 在搭建集群之前，需要首先了解幾個概念：路由，分片、副本集、配置服

mongodb集群方式-分片+副本集方式

role pwd pro max () route per 生產 另一個 分片就是水平的擴展，將數據分拆到不同的機器上，以達到存儲更多的數據，處理更大的負載。可以選定將按照指定的文檔鍵值進行分片。 配置 整體部署方案： 啟動三個分片服務，兩個做數據存儲，另一個作為con

Mongo分片+副本集叢集搭建

 一. 概念簡單描述 1. MongoDB分片叢集包含元件: mongos,configserver,shardding分片 2. Mongos:路由服務是Sharded cluster的訪問入口,本身不儲存資料(1) 負載處理客戶端連線;(2) 負責叢集資料的分片 3. Configserv

MongoDB 3.6 叢集搭建 - 切片+副本集

1. 環境準備 在Mongo的官網下載Linux版本安裝包，然後解壓到對應的目錄下；由於資源有限，我們採用Replica Sets + Sharding方式來配置高可用。結構圖如下所示：     這裡我說明下這個圖所表達的意思： Shard伺服器：使用Replica Sets確保

MongoDB3.6叢集搭建（分片+副本集）

MongoDB3.6叢集搭建（分片+副本集） 分片則指為處理大量資料，將資料分開儲存，不同伺服器儲存不同的資料，它們的資料總和即為整個資料集。追求的是高效能。 在生產環境中，通常是這兩種技術結合使用，分片+副本集 環境準備 配置伺服器搭建副本集

mongodb主從復制副本集(12)

1.3 cnblogs http 主服務器 技術分享 mas 副本集 -- 技術 1.主從復制是一個簡單的數據庫同步備份的集群技術 　　1.1在數據庫集群中藥明確的知道誰是主服務器，主服務器只有一臺，從服務器可以多臺 　　1.2從服務器要知道自己的數據源也就是對於的主服務器

MongoDB 復制（副本集）

shadow star states screens ... 導致 6.5 status ffffff 一、復制集相關概念復制集 復制是在多臺服務器之間同步數據的過程，由一組Mongod實例（進程）組成，包含一個Primary節點和多個Secondary節點

MongoDB主從複製和副本集

  MongoDB有主從複製和副本集兩種主從複製模式，主從複製最大的問題就是無法自動故障轉移，MongoDB副本集解決了主從模式無法自動故障轉義的特點，因此是複製的首選。對於簡單的主從複製無法自動故障轉移的缺陷，各個資料庫都在改進，MySQL推出的MGR，Redis的哨兵，Mongodb的複製集。

mongodb單機修改為副本集的步驟

                                            單機切換成副本集方法步驟 1：備份資料庫，關掉目前的資料庫 /u03/mongodb/bin/mongodump -d Configuration -o /u02/dump/  use

Mongodb安裝與設定副本集 二 （新增許可權認證）

1.Mongodb安裝與設定副本集 一，中配置了一個簡單的mongodb replica set環境，但是沒有新增認證，任何知道伺服器IP+埠的客戶端都能訪問 2.新增認證—接著上篇文章繼續配置 2.9:replica set許可權認證 , 通過openssl生

搭建Mongodb叢集：分片Sharding+副本集Replica Set 二

檔案配置：1. mongodb0.cfgport=27017replSet=rs1shardsvr=truelogpath=D:\mongodb\logs\r0.logdbpath=D:\mongodb\db\r0keyFile=D:\mongodb\key\keyfile

mongodb安裝、連線，mongodb使用者管理、建立集合、資料管理、備份恢復，副本集介紹、搭建、測試，分片介紹、搭建、測試，php的mongodb擴充套件、mongo擴充套件

21.26 mongodb介紹 21.27 mongodb安裝 21.28 連線mongodb