码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • gitlab git lfs的替代软件整理汇总及分析


    文章目录

    • 前言
    • 替代软件分析
      • git-annex
      • git-fat
      • git-sym
      • git-meida
    • 总结

    前言

    git-lfs科普
    Git LFS(Large File Storage)是一个Git扩展,用于管理大型文件。Git LFS通过将大型文件存储在Git仓库之外,从而加快了Git操作的速度。它使用指针来跟踪大型文件,并在需要时下载它们。Git LFS支持各种大型文件,例如图像、视频和音频文件等。

    Git LFS的工作原理是将大型文件存储在Git LFS服务器上,而不是存储在Git仓库中。当您提交更改时,Git LFS会将指向这些大型文件的指针添加到您的提交中。当其他人克隆您的仓库时,Git LFS会自动下载这些大型文件。

    使用Git LFS可以避免Git仓库变得过于庞大,从而导致Git操作变慢。此外,由于大型文件存储在Git LFS服务器上,因此可以更轻松地与其他人共享这些文件。

    最近遇到的问题

    最近git lfs再pull的时候总是提示:

    Smudge error: Error downloading
    ...
     (af56f3593fcfffd59e2f8164f9e5a72dc4f70acfe9aa3d2303d0a46719c74238): LFS: Repository or object not found:
    
    • 1
    • 2
    • 3

    尝试解决但是发现基本是无解的,不知道什么异常导致服务器上的lfs文件丢失了,重新上传,强制上传都提示文件已存在,所以其中一部分文件就这样完全丢失了。

    当时在开启gitlab lfs服务时也有看到对于lfs的吐槽的文章,但由于二进制文件如果直接commit到git中会导致repo快速增大,且在pull的时候项目整体体积变得很大,那么有没有什么替代软件呢,博主查到如下几个:git-annex、git-fat、git-media、git-sym

    及吐槽的文章:Git推出大文件储存工具Git LFS,但它真的好用吗?

    替代软件分析

    git-annex

    这款软件相对来说是最好用的,也是博主测试后最后采用的,可以将数据同步传入到gitlab repo中,不用单独找存储的位置。附上几篇文章可能会帮助到你:

    1. Git 从LFS迁移到annex-极客笔记
    2. git 移除 LFS
    3. 如何使用 Git 管理二进制大对象
    4. github大文件上传:使用LFS (以及如何将lfs从仓库中移除!)

    git-annex (branchable.com)这个是git annex官方的说明介绍页,里边不但有讲原理,也对如何使用有详细的介绍,出了什么问题也可以在该页面搜索。

    git-fat

    git-fat仅依赖于库存 Python 和 rsync,其有如下特点:

    • 源存储库的克隆体积小且速度快,因为没有传输二进制文件,但功能齐全,具有完整的元数据和增量检索(粒度有限,并将元数据与内容耦合)git clone --depth
    • git-fat支持对大型二进制文件和传统版本控制文件使用相同的工作流程,但在内部单独管理“胖”文件
    • git-bisect即使二进制文件的版本随时间变化也能正常工作
    • 选择性控制将哪些大文件拉入本地存储
    • 本地 FAT 对象存储可以在多个克隆之间共享,甚至可以由不同的用户共享
    • 可以轻松支持分布在多个主机上的胖对象存储

    附上git-fat的gitlab官方地址jedbrown/git-fat: Simple way to handle fat files without committing them to git, supports synchronization using rsync (github.com)

    git-sym

    该软件与git-fat有很多相似点,不过看了提交日志自从2018年已经很久没有跟新了,此处还是附上官方的说明,有兴趣可以看看但是不建议使用。

    Rationale · cdunn2001/git-sym Wiki (github.com)

    git-meida

    git-media 是使用 Ruby 语言开发的,所以首先要安装 gem(LCTT 译注:Gem 是基于 Ruby 的一些开发工具包)。

    GitMedia 扩展允许您将 Git 用于大型媒体文件而不将媒体存储在 Git 本身中。

    alebedev/git-media: Handling large media files in Git (github.com)

    在使用前需要配置 git 要将大文件存储在哪里。 有五个选项:

    1. 远程存储在亚马逊的S3中
    2. 本地存储在文件系统路径中
    3. 通过SCP远程存储(应与任何SSH服务器一起使用)
    4. 在atmos中远程存储
    5. 通过 WebDav 远程存储

    总结

    如果你真的想要替换gitlab lfs服务,可以采用git annex作为替代品。它可以不用单独建立其他的存储设备或同步到云端什么的,与.git同步上传到服务器中同一管理,它会在git annex init时建立git-annex的branch,理论上源文件会存储在这里,记得将这个branch保护起来。

  • 相关阅读:
    时序预测 | MATLAB实现AR、ARMA、ARIMA时间序列预测模型答疑
    用 ZEGO Avatar 做一个虚拟人|虚拟主播直播解决方案
    leetcode每日一题复盘(10.23~10.29)
    在一台笔记本电脑上试用Ubuntu22.04
    《Python3 网络爬虫开发实战》:request(2)
    服务器和电脑的区别
    MySQL的index merge(索引合并)导致数据库死锁分析与解决方案 | 京东云技术团队
    【云原生】设备入云之FlexManager主流控制器读写
    Spring使用(二)
    java基于springboot+vue在线考试系统39n99
  • 原文地址:https://blog.csdn.net/Bing_Lee/article/details/133780846
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号