En el emocionante mundo de la inteligencia artificial, los modelos multimodales están revolucionando la forma en que interactuamos con la tecnología. Uno de estos modelos innovadores es Aya-Vision-8b, una herramienta poderosa que combina capacidades avanzadas de procesamiento de texto, análisis de imágenes y generación de embeddings. En este artículo, exploraremos las impresionantes habilidades de Aya-Vision-8b, compartiremos ejemplos prácticos de su uso, y te guiaremos a través de una instalación sencilla para que puedas comenzar a utilizarlo en tus propios proyectos.
Capacidades Multimodales de Aya-Vision-8b
Procesamiento de Texto
Aya-Vision-8b es un modelo de lenguaje avanzado que puede comprender y generar texto de manera natural. Es capaz de:
- Resumir Textos: Extraer los puntos clave de artículos largos o documentos complejos.
- Responder Preguntas: Proporcionar respuestas precisas a consultas sobre diversos temas.
- Generar Contenido: Crear historias, artículos, o incluso código de programación.
Análisis de Imágenes
La capacidad de Aya-Vision-8b para analizar imágenes es impresionante. Puede:
- Describir Imágenes: Generar descripciones detalladas de lo que se ve en una imagen.
- Identificar Objetos: Reconocer y clasificar objetos dentro de una imagen.
- Detectar Rostros: Localizar y analizar rostros en fotografías o videos.
Generación de Embeddings
Una de las características más destacadas de Aya-Vision-8b es su habilidad para generar embeddings. Los embeddings son representaciones numéricas que capturan la esencia de las características visuales o textuales. Estos embeddings se pueden utilizar para:
- Búsqueda Semántica: Encontrar imágenes similares en términos de contenido visual.
- Clasificación de Imágenes: Agrupar imágenes basadas en su similitud visual.
- Análisis de Sentimientos: Capturar el sentimiento o emoción en textos y generar embeddings correspondientes.
Cómo utilizar Aya Vision
Instalación
Aya-Vision-8b requiere una versión específica de transformers con soporte para este modelo:
pip install 'git+https://github.com/huggingface/transformers.git@v4.49.0-AyaVision'
Instálelo transformersdesde el repositorio de origen que incluye los cambios necesarios para este modelo:
# pip install 'git+https://github.com/huggingface/transformers.git@v4.49.0-AyaVision'
from transformers import AutoProcessor, AutoModelForImageTextToText
import torch
model_id = "CohereLabs/aya-vision-8b"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
model_id, device_map="auto", torch_dtype=torch.float16
)
# Format message with the aya-vision chat template
messages = [
{"role": "user",
"content": [
{"type": "image", "url": "https://pbs.twimg.com/media/Fx7YvfQWYAIp6rZ?format=jpg&name=medium"},
{"type": "text", "text": "चित्र में लिखा पाठ क्या कहता है?"},
]},
]
inputs = processor.apply_chat_template(
messages, padding=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device)
gen_tokens = model.generate(
**inputs,
max_new_tokens=300,
do_sample=True,
temperature=0.3,
)
print(processor.tokenizer.decode(gen_tokens[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
También puedes utilizar el modelo directamente mediante pipelinela abstracción de transformadores:
from transformers import pipeline
pipe = pipeline(model="CohereLabs/aya-vision-8b", task="image-text-to-text", device_map="auto")
# Format message with the aya-vision chat template
messages = [
{"role": "user",
"content": [
{"type": "image", "url": "https://media.istockphoto.com/id/458012057/photo/istanbul-turkey.jpg?s=612x612&w=0&k=20&c=qogAOVvkpfUyqLUMr_XJQyq-HkACXyYUSZbKhBlPrxo="},
{"type": "text", "text": "Bu resimde hangi anıt gösterilmektedir?"},
]},
]
outputs = pipe(text=messages, max_new_tokens=300, return_full_text=False)
print(outputs)
Evaluación
Evaluamos Aya Vision 8B frente a Pangea 7B , Llama-3.2 11B Vision , Molmo-D 7B , Qwen2.5-VL 7B , Pixtral 12B y Gemini Flash 1.5 8B utilizando Aya Vision Benchmark y m-WildVision . Las tasas de éxito se determinaron utilizando claude-3-7-sonnet-20250219 como juez, basándose en su superior rendimiento en comparación con otros modelos.
Recomendamos Tarjeta modelo para Aya Vision 8B
Notebook en Colab https://huggingface.co/CohereLabs/aya-vision-8b/colab
Con Aya-Vision-8b, puedes crear aplicaciones innovadoras que entiendan y respondan a las necesidades de los usuarios de manera más efectiva. ¡Explora sus capacidades y lleva tus proyectos al siguiente nivel!
Save as PDFAcerca del autor
