clip算法的研究

wheelchair.jpg
nowheelchair.jpg
[[0.31989905 0.18366921]
 [0.31910986 0.18774156]]

代表了概率

第一个代表了他的概率是0.3198 这个数值是大的 因此认为是轮椅

另外一个代表了0.18777 代表了不是轮椅

text_tokens = clip.tokenize(text_descriptions).cuda()

# 提取文本特征
with torch.no_grad():
    text_features = model.encode_text(text_tokens).float()
    text_features /= text_features.norm(dim=-1, keepdim=True)

print(text_features.shape)
# 读取图像
original_images = []
images = []
texts = []

for label in labels:
    image_file = os.path.join(label+".jpg")
    print(image_file)
    name = os.path.basename(image_file).split('.')[0]##获得他的name来实现标签的

    image = Image.open(image_file).convert("RGB")
    original_images.append(image)
    images.append(preprocess(image))
    texts.append(name)

#