En el vertiginoso mundo de la inteligencia artificial, donde los datos son el combustible de la innovación, ha surgido una nueva generación de plataformas de datos diseñadas para satisfacer las demandas únicas de las cargas de trabajo de IA. Deep Lake, desarrollado por Activeloop, se presenta como un data lake serverless de alto rendimiento, especialmente diseñado para aplicaciones de inteligencia artificial (IA) y Generación Aumentada por Recuperación (RAG). Su enfoque en el manejo de datos no estructurados y su arquitectura sin servidor lo distinguen de soluciones más tradicionales como Apache Delta Lake.
A diferencia de Delta Lake, que se destaca por aportar transacciones ACID (Atomicidad, Consistencia, Aislamiento y Durabilidad) y un gobierno de datos robusto a los data lakes, principalmente para datos estructurados y semiestructurados dentro del ecosistema de Apache Spark, Deep Lake se especializa en el almacenamiento, versionado y transmisión de datos complejos y no estructurados como imágenes, audio, video y embeddings vectoriales, que son fundamentales para los modelos de IA modernos.
La Propuesta Serverless de Deep Lake para la IA
La característica más destacada de Deep Lake es su arquitectura serverless. Esto significa que los desarrolladores y científicos de datos pueden gestionar y consultar sus datos sin la necesidad de aprovisionar o administrar infraestructura de servidores. Las operaciones se ejecutan del lado del cliente, lo que simplifica enormemente la gestión del data lake y reduce los costos operativos. Esta agilidad es crucial en el ciclo de vida del desarrollo de la IA, donde la experimentación y la iteración rápidas son la norma.
Para las aplicaciones de IA, Deep Lake ofrece una serie de funcionalidades clave:
- Almacenamiento Optimizado para Datos Complejos: Deep Lake utiliza un formato de almacenamiento columnar optimizado para “tensores”, la estructura de datos fundamental en el deep learning. Esto permite un acceso y procesamiento eficiente de grandes volúmenes de datos no estructurados.
- Versionado de Datos y Linaje: Al igual que el código, los conjuntos de datos para IA necesitan un control de versiones riguroso. Deep Lake permite versionar los datos, lo que garantiza la reproducibilidad de los experimentos y el seguimiento del linaje de los modelos.
- Streaming de Datos a Frameworks de Machine Learning: Una de sus características más potentes es la capacidad de transmitir datos directamente a frameworks populares de machine learning como PyTorch y TensorFlow. Esto elimina la necesidad de descargar conjuntos de datos masivos localmente, acelerando significativamente los ciclos de entrenamiento de modelos.
- Capacidades de Vector Database: Deep Lake funciona como una base de datos vectorial, permitiendo el almacenamiento y la consulta eficiente de embeddings. Esta es una capacidad crucial para las aplicaciones de RAG.
Deep Lake y su Papel Fundamental en RAG
La Generación Aumentada por Recuperación (RAG) es una técnica que mejora la calidad de los modelos de lenguaje grandes (LLMs) al permitirles acceder a información externa y actualizada durante la generación de respuestas. Deep Lake se posiciona como una pieza central en los flujos de trabajo de RAG de la siguiente manera:
- Almacenamiento Unificado: Permite almacenar en un solo lugar los documentos originales (texto, PDF, etc.), sus fragmentos (chunks) y los embeddings vectoriales correspondientes.
- Búsqueda Híbrida: Facilita la implementación de técnicas de búsqueda sofisticadas, combinando la búsqueda por palabras clave tradicional con la búsqueda por similitud semántica (vectorial). Esto es esencial para recuperar la información más relevante para una consulta dada.
- Integración con Herramientas de Orquestación: Se integra de forma nativa con librerías populares de RAG como LangChain y LlamaIndex, simplificando el desarrollo de aplicaciones complejas.
Diferencias Clave con Apache Delta Lake
Si bien tanto Deep Lake como Apache Delta Lake buscan mejorar la funcionalidad de los data lakes, sus enfoques y casos de uso principales difieren significativamente:
Deep Lake no es un reemplazo directo de Delta Lake, sino una solución complementaria y especializada. Mientras que Delta Lake sobresale en la gestión robusta y transaccional de datos estructurados para análisis a gran escala, Deep Lake ofrece la agilidad, el rendimiento y las características específicas que las cargas de trabajo de inteligencia artificial y RAG demandan en la era de los datos no estructurados y los modelos de deep learning. La elección entre uno y otro dependerá en gran medida de la naturaleza de los datos y de los casos de uso específicos de la organización.
Uso de Deep Lake en la aplicación RAG con Cohere Command-R
El enfoque de Generación Aumentada por Recuperación combina LLM con un sistema de recuperación para mejorar la calidad de la respuesta.
Obtengamos nuestra clave API gratuita de Cohere antes de comenzar con la ingesta de documentos y la respuesta a preguntas. Primero, cree una cuenta en Cohere si aún no la tiene. Luego, genere una clave de prueba. Vaya a este enlace y genere una clave de prueba.
A continuación, configuremos nuestro entorno de desarrollo para ejecutar los experimentos. Necesitamos instalar algunos paquetes para ejecutarlos. A continuación, instale la lista de paquetes necesarios.
cohere==5.2.6
deeplake==3.9.0
langchain==0.1.16
tiktoken==0.6.0
langchain_cohere==0.1.4
Realice las importaciones necesarias. Necesitaremos los módulos Deeplake Vector Store, PyPDFLoader, CharacterTextSplitter, PromptTemplate y RetrievalQA de Langchain. También importaremos ChatCohere y CohereEmbeddings de langchain_cohere.
from langchain.vectorstores.deeplake import DeepLake
from langchain.document_loaders.pdf import PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate
from langchain_cohere import ChatCohere
from langchain_cohere import CohereEmbeddings
Inicialice las incrustaciones de Cohere utilizando la clave de API de Cohere que generamos anteriormente. Además, indique el nombre del modelo de incrustaciones que se utilizará.
Hay varias opciones disponibles. Aquí encontrará una descripción detallada del modelo. Utilizaremos el modelo embed-english-v3.0 para generar las incrustaciones. A continuación, se muestra el código para inicializar el modelo de incrustaciones y el almacén de vectores de Deeplake.
embeddings = CohereEmbeddings(
model="embed-english-v3.0",
cohere_api_key=API_KEY,
)
docstore = DeepLake(
dataset_path="deeplake_vstore",
embedding=embeddings,
verbose=False,
num_workers=4,
)
Ahora que hemos configurado el almacén vectorial, ingeriremos el documento. Para ello, primero leeremos el documento y lo dividiremos en fragmentos del tamaño especificado. A continuación, se muestra el código para leer el documento, dividirlo en fragmentos y añadirlos al almacén vectorial.
file = "path/to/document/doc.pdf"
loader = PyPDFLoader(file_path=file)
text_splitter = CharacterTextSplitter(
separator="\n",
chunk_size=1000,
chunk_overlap=200,
)
pages = loader.load()
chunks = text_splitter.split_documents(pages)
_ = docstore.add_documents(documents=chunks)
El código lee un documento desde su ruta, lo divide en fragmentos más pequeños con un tamaño de 1000 fragmentos y una superposición de 200 para mantener el contexto, y luego los transfiere al almacén vectorial. El método «add_documents» genera una lista de identificadores de fragmentos, que los usuarios pueden usar para acceder, eliminar o modificar fragmentos específicos.
Seguidamente definimos la consulta y realizamos la búsqueda. Esta es la pregunta que quieres hacerle al documento.
query = "What is the main purpose of this document?"
Usamos el docstore para buscar los 3 documentos más relevantes.
docs = docstore.similarity_search(query, k=3)
Construir el prompt para el modelo de lenguaje (LLM). Primero, combinamos el contenido de los documentos recuperados en un solo string.
context = "\n\n".join([doc.page_content for doc in docs])
Ahora, creamos una plantilla de prompt que combina el contexto y la consulta. Esta es la información que se le pasaría al LLM.
prompt = f"""
Eres un asistente de IA experto que responde preguntas basadas únicamente en el contexto proporcionado.
Si la respuesta no se encuentra en el contexto, simplemente di que no lo sabes.
Contexto:
{context}
Consulta:
{query}
Respuesta:
"""
print("--- Documentos recuperados ---")
for i, doc in enumerate(docs):
print(f"Documento {i+1}:\n{doc.page_content}\n")
print("\n--- Prompt Final ---")
print(prompt)
Al ejecutar este código, no obtendrás una respuesta del LLM, pero verás impreso en la consola los fragmentos de texto (chunks) que Deep Lake recuperó y el prompt final que se le pasaría al LLM para generar la respuesta.
Te recomendamos leer la Documentación de Deep Lake.
Save as PDFAcerca del autor
