• 5.mongodb 备份与恢复


    • mongodb备份工具介绍:
      • 1.mongoexport(备份)/mongoimport(恢复)
        • mongoexport是MongoDB提供的一个工具,用于将数据从MongoDB实例导出到JSON或CSV格式的文件中,这个工具对于数据迁移、数据备份或者在不同的数据库之间同步数据非常有用
      • 2.mongodump(备份)/mongorestore(恢复)
        • mongodump 是 MongoDB 官方提供的一个工具,用于备份 MongoDB 数据库。导出和导入的文件格式为BSON文件格式
    • 备份工具的区别:
      • mongoexport/mongoimport 导出和导入的是JSON格式或者CSV格式
      • mongodump/mongorestore 导入和导出的是BSON格式
      • JSON格式可读性较强但是体积较大,BSON则是二进制文件,体积小。
      • 在MongoDB不同的版本之间备份和恢复,BSON格式可能会随着版本不同而有所不同,所以不同版本之间使用mongodump/mongorestore备份工具可能不会成功,具体要看版本之间的兼容性。
      • 不同版本选择备份时,JSON格式由于其简单、灵活、易读,非常适合用于跨版本软件的备份和恢复工作
    • 应用场景:
      • 1.mongoexport/mongoimport:(JSON格式、CSV格式)
        • 适合异步平台迁移或同平台、跨大版本
      • 2.mongodump/mongorestore:(BSON格式)
        • 日常备份恢复时使用
    • 导出工具mongoexport:
      • 可以将一个集合导出成JSON格式或CSV格式
      • 适用于:
        • 版本差异较大
        • 异步平台数据迁移
      • mongoexport具体用法如下所示:
        • $ mongoexport --help
        • 参数说明:
        • -h:指明数据库宿主机的IP
        • -u:指明数据库的用户名
        • -p:指明数据库的密码
        • -d:指明数据库的名字
        • -c:指明collection的名字
        • -f:指明要导出那些列
        • -o:指明到要导出的文件名
        • -q:指明导出数据的过滤条件
        • --authenticationDatabase admin
    •  
      • 安装备份工具:
      • tar xf mongodb-database-tools-rhel70-x86_64-100.3.1.tgz
      • cd mongodb-database-tools-rhel70-x86_64-100.3.1/bin/
      • cp * /mongodb/bin/
      • chown -R mongod.mongod /mongodb/
    •  
      • 创建一个库和集合,填入数据用于备份测试:
        • use hehe
        • db.createCollection("log");
        • for(i=0;i<10000;i++){db.log.insert({"uid":i,"name":"mysql","age":6,"date":new Date()})}
    •  
      • 创建一个超级管理员用户(可以管理所有库):
        • use admin
        • db.createUser(
        • {
        • user: "root",
        • pwd: "root123",
        • roles: [ { role: "root", db: "admin" } ]
        • }
        • )
    •  
      • 单表备份至JSON格式:
        • mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log -o /mongodb/log.json
      • 单表备份至CSV格式:
        • (需要使用--type=csv参数)
        • mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log --type=csv -f uid,name,age,date -o /mongodb/log.csv
    • 导入工具mongoimport:
      • 它是mongodb数据库提供的一个工具,用于将数据从外部导入到mongodb集合中,这个工具可以处理JSON\CSV\XML等格式的数据:
      • 参数:
        • -h:指明数据库宿主机的IP
        • -u:指明数据库的用户名
        • -p:指明数据库的密码
        • -d:指明数据库的名字
        • -c:指明collection的名字
        • -f:指明要导入那些列
        • -j:并行多开线程,默认4个
    •  
      • 恢复JSON格式表数据到log1集合:
        • mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log1 /mongodb/log.json
      • 恢复CSV格式的文件到log2集合:
        • 注意:
          • 1.当CSV格式的文件中,第一行存在列名的话,在导入数据时,需要指定参数:--headerline(导入的信息包含头部信息)
            • (当使用 --headerline 选项时,mongoimport 会将 CSV 文件的第一行作为字段名,并将后续的行作为数据记录导入到 MongoDB 集合中。)
          • 2.当导入的CSV格式文件中,没有列名时,在导入时可以指定参数-f,后面添加第一行的列名
        • 开始导入:
          • (1)csv格式的文件头行,有列名字
            • mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log2 --type=csv --headerline --file /mongodb/log.csv
          • (2)csv格式的文件头行,没有列名字
            • mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log3 --type=csv -f id,name,age,date --file /mongodb/log1.csv
    • 不同平台之间数据迁移案列:
      • mysql————>mongodb
      • 1.开启mysql安全路径,用于限制只有指定目录下的数据文件可以被导出和导入
        • vim /etc/my.cnf
          • 添加:
            • secure-file-priv=/tmp
        • 重启数据库生效:
        • 补充:
      • 2.提前准备一些数据用于测试:
        • 先将数据源导入mysql中:
          • source /root/world.sql
        • 将数据导出到/tmp下:
          • select * from world.city into outfile '/tmp/city1.csv' fields terminated by ',';
            • 这是一个备份数据的公式,如果库和表名,则直接将上面的修改为自己的库和表名,就可以备份数据了。
    •  
      • 3.在mongodb数据库中导入刚才备份出来的数据:
        • mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c city --type=csv -f ID,Name,CountryCode,District,Population --file /tmp/city1.csv
          • -f:列名
    •  
      • 4.假如mysql中要迁移100张表到mongodb数据库中,以下有一个公式可以直接将导出的命令列出:
        • select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';") from information_schema.tables where table_schema ='world';
        • (使用时只需要修改库名即可)
    • mongodb日常数据备份:
      • mongodump介绍
        • mongodump可以在mongodb运行时进行备份。
        • 它的工作原理是对运行的Mongodb做查询,然后将所有查到的文档写入磁盘、
        • 它可以创建 MongoDB 实例或集合的 BSON 文件快照
      • 参数:
        • 参数说明:
        • -h:指明数据库宿主机的IP
        • -u:指明数据库的用户名
        • -p:指明数据库的密码
        • -d:指明数据库的名字
        • -c:指明collection的名字
        • -o:指明到要导出的文件名
        • -q:指明导出数据的过滤条件
        • -j:并行备份的线程数默认是4
        • --oplog 备份的同时备份oplog
        • ---------------------------------------------
        • --authenticationDatabase admin:指定认证库
    •  
      • mongorestore介绍:
        • mongorestore是MongoDB的数据恢复工具,它可以将mongodump创建的备份文件恢复到mongoDB这个实例中
    •  
      • 使用案列:
        • 创建备份目录,将数据备份到以下目录:
          • mkdir /mongodb/backup /mongodb/backup1 /mongodb/backup2 /mongodb/backup3 /mongodb/backup4 /mongodb/backup5
        • 全库备份(备份所有):
          • mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup
        • 备份单库(参数:-d 库名)
          • mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -o /mongodb/backup1/
        • 备份指定库下的单个集合:(参数:-d 库名 -c 集合名)
          • mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log -o /mongodb/backup2/
    •  
      • 压缩备份:
        • 全库备份压缩:
          • mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup3/ --gzip
        • 单库压缩备份:
          • mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -o /mongodb/backup4/ --gzip
        • 单表压缩备份:
          • mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c city -o /mongodb/backup5/ --gzip
    •  
      • 恢复数据:
        • mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d world /mongodb/backup/world
      • 压缩还原(--gzip:解压后还原):
        • mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe -c log --gzip /mongodb/backup3/hehe/log.bson.gz
      • 删除还原:
        • --drop表示恢复的时候把之前的集合drop掉(危险)
        • mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d hehe --drop /mongodb/backup/hehe
  • 相关阅读:
    MySQL中修改注释+报错1067错误时的解决方法
    JS引擎(2):Java平台上JavaScript引擎—Rhino/Nashorn概述
    高级语言讲义2018计专(仅高级语言部分)
    MySQL的分库分表
    我试图扯掉这条 SQL 的底裤。只能扯一点点,不能扯多了
    小功能⭐️Unity快捷键、路径及常用特性
    易优cms小程序插件升级到2.1版本
    使用MapStruct忽略不映射的属性
    Vue3.0项目——打造企业级音乐App(二)图片懒加载、v-loading指令的开发和优化
    自动化Conda包构建的艺术:使用conda smithy工具的指南
  • 原文地址:https://blog.csdn.net/2302_77503226/article/details/139603682