利用Hugging Face中的模型进行句子相似性实践

🚀 优质资源分享 🚀

Hugging Face是什么？它作为一个GitHub史上增长最快的AI项目，创始人将它的成功归功于弥补了科学与生产之间的鸿沟。什么意思呢？因为现在很多AI研究者写了大量的论文和开源了大量的代码，但是AI工程师又不能直接很好的使用，而Hugging Face将这些AI模型进行了更好的封装，满足了AI工程师的生产实践需要，大大降低了AI模型使用的门槛。Hugging Face已经共享了超100,000个预训练模型，10,000个数据集，涵盖了 NLP、计算机视觉、语音、时间序列、生物学、强化学习等领域，以帮助科学家和相关从业者更好地构建模型，并将其用于产品或工作流程。最近宣布融资1亿美元，这使其估值达到了20亿美元。

一.Hugging Face模型

模型页面包括各种AI任务，使用的深度学习框架，各种数据集，语言种类，许可证类型等。重点说下各种类型的任务如下：

1.计算机视觉任务
Image Classification，Image Segmentation，Image-to-Image，Unconditional Image Generation，Object Detection
2.自然语言处理任务
Translation，Fill-Mask，Token Classification，Sentence Similarity，Question Answering，Summarization，Zero-Shot Classification，Text Classification，Text2Text Generation，Text Generation，Conversational，Table Question Answering
3.音频任务
Automatic Speech Recognition，Audio Classification，Text-to-Speech，Audio-to-Audio，Voice Activity Detection
4.多模态任务
Feature Extraction，Text-to-Image，Visual Question Answering，Image-to-Text
5.Tabular任务
Tabular Classification，Tabular Regression
6.强化学习任务
Reinforcement Learning

二.Hugging Face文档

1.Hub：在Hugging Face Hub上托管基于Git的模型、数据集和空间。
2.Transformers：Pytorch、TensorFlow和JAX的最新ML。
3.Datasets：访问和共享CV、Audio和NLP任务的数据集。
4.Tokenizers：快速tokenizers，针对研究和生产进行了优化。
5.Gradio：用几行Python构建机器学习演示和其它Web应用程序。
6.Hub Client Library：HF Hub的客户端库：从Python运行时管理存储库。
7.API Inference：通过推理API可以使用超过30k个模型，并且内置可伸缩性。
8.Accelerate：使用multi-GPU，TPU，混合精度容易的训练和使用PyTorch模型。
9.Amazon SageMaker：使用Amazon SageMaker和Hugging Face DLCs训练和部署Transformer模型。
10.Optimum：容易的使