假期get新技能？低代码模型应用工具HuggingFists

HuggingFists是什么？

       HuggingFists是一款研究和使用HuggingFace模型和数据集的AI应用工具。

    众所周知，Hugging Face是一家人工智能（AI）技术公司，致力于开发和推广自然语言处理（NLP）技术，通过搭建开源的模型平台和社区，为开发者提供了许多NLP模型和工具，并能够构建和部署自己的NLP应用程序，通过社区模式实现开发者之间的模型共享和技术讨论，因此受到无数大模型研究人员的推崇和拥趸。

      HuggingFists基于Sengee（神机）低代码平台的API快速接入能力，集成了HuggingFace文本分类、命名实体识别、对话问答、文本生成、机器翻译、语音识别等应用API的能力，为AI大模型训练人员提供便捷快速的应用方式。在大模型的部署和应用中，模型的准确性和适用性决定了模型的价值。HuggingFist正是从模型选择和应用验证的需求出发，提供了模型快速部署、模型价值验证的便捷通道。

    如下是HuggingFist的产品Logo，

为什么选择HuggingFace？

    我们在切入多模态大模型领域的时候，也做过研究和考虑，针对国内外的各种AI Models进行研究和分析，其中Hugging Face是目前公认的模型数量最多、社区活跃度最高的AI Models。HuggingFace的预训练模型在多个自然语言处理任务上的出色表现，如自然语言生成、文本分类、问答系统等，再加上丰富的工具和API，因此，可以帮助研究人员更加方便地使用预训练模型进行实验和研究。

    HuggingFace的主要优势如下：

    大量预训练模型：HuggingFace库包含了各种最新的预训练模型，比如BERT、GPT-2、T5、XLNet等。这些模型已经在大规模文本数据上进行了预训练，能够理解语言的各种复杂模式。这意味着，可以直接使用这些模型，而不需要从零开始训练，大大节省了时间和计算资源。

    海量模型持续更新：HuggingFace团队始终紧跟最新的NLP研究，不断更新库中的多模态模型和工具。任何人都可以很方便地使用最新的NLP技术，而不需要自己去实现它们。

    活跃的模型贡献者：HuggingFace的所有模型和工具都是开源的，这意味着任何人可以自由地使用和修改它们，甚至可以贡献你自己的代码。截至目前HuggingFace的Model数量已经达到了34万+，并且保持每天近千个Model的持续增长。

    跨平台支持能力：HuggingFace支持多种编程语言，比如Python和Node.js，以及多种深度学习框架，比如PyTorch和TensorFlow。无论在哪个平台上工作，无论喜欢使用哪种语言或框架，都可以使用HuggingFace的模型。

    高效的微调技术：HuggingFace提供了一套工具，可以帮助你在特定任务上微调预训练模型。微调是一种迁移学习技术，可以让模型更好地适应新的任务，而不需要重新训练整个模型。

    活跃的社区服务：HuggingFace的开发者社区非常活跃，可以在社区中找到各种有用的资源，比如教程、问题解答和最佳实践。如果遇到问题，可以在社区中与其他开发者和HuggingFace的团队成员进行交流。

HuggingFists如何集成HuggingFace？

    在使用HuggingFace的过程中，如何快速找到能能够匹配业务需求或研究效果的模型依然比较困难。毕竟在几十万的模型库中搜索到合适的模型，并比较模型的差异化都是一个巨大的工作量。HuggingFists根据HuggingFace暴露出Inference API，将每个 API都封装成一个算子，每个算子都具备一种模型的能力，任何人只需要调用或者编排算子就能完成对模型的使用。因此根据模型训练的场景，HuggingFists提供了本地化部署应用以及Inference API申请应用的两种方式。其中本地化部署需要将模型下载到本地，并且要求具备一定的算力资源来运行。而通过Inference API方式可以申请使用HuggingFace的计算资源。

（1）本地化部署

    首先，需要进入到模型页面下载目标模型，如下图，除了说明类文档外，其他文件或者目录都是模型装载运行所必需的，均需下载到本地。

Tips：Hugging Face没有提供文件的打包下载功能，需手动逐个下载相关文件。

    然后，将这些下载的文件都存放在同文件夹下。在HuggingFists的流程管理中创建模型的应用流程，并在模型的配置信息中输入模型【选择模型的相对路径】，从而完成调用。

（2）通过Inference Endpoints方案部署

    HuggingFace也提供了Inference Endpoints的解决方案，允许使用者为Inference API申请专属的计算资源，以确保获得合适的响应性能。在使用Inference API的方式前，需要先在网站上进行注册，添加个人的资源账号，以及申请访问令牌，同时需要注意设置访问代理。

目前已经集成的API如下：

HuggingFists的部署和使用

      HuggingFists提供了容器化的快速部署方式，部署环境的基本要求如下：

• CentOS 7.6及以上版本；

• 至少 4 核 8G；

• 支持使用容器（容器以及镜像会固定存放到/data 目录）。

安装包下载地址：

https://pan.baidu.com/s/1hJWJuwhTBVD0dUQq0JPjrw?pwd=xxep

   为了方便大家熟悉如何使用HuggingFists，包括具体的操作及配置，我们录制了操作视频，扫描下方二维码即可观看：

或者访问链接：

https://www.bilibili.com/video/BV1Ku4y1r72H/