Llega la búsqueda profunda abierta para desafiar la perplejidad y la búsqueda de chatgpt

Si estás en el mundo de la tecnología, probablemente hayas oído hablar del revuelo en torno a Open Deep Search (ODS), el nuevo marco de código abierto de la Fundación Sentient. ODS está causando sensación al ofrecer una alternativa robusta a los motores de búsqueda de IA propietarios como Perplexity y ChatGPT Search, y se trata de empoderar a los modelos de lenguaje grandes (LLMs) con agentes de razonamiento avanzados que aprovechan la búsqueda web y otras herramientas para responder a tus consultas de manera efectiva.

El panorama de la búsqueda de IA

Las herramientas de búsqueda de IA actuales, como Perplexity y ChatGPT Search, son impresionantes, combinando el conocimiento y el razonamiento de los LLMs con la búsqueda web en tiempo real para ofrecer respuestas actualizadas. Sin embargo, estos sistemas a menudo están encerrados tras puertas propietarias, lo que puede dificultar la personalización y las aplicaciones especializadas.

Himanshu Tyagi, cofundador de Sentient, compartió con VentureBeat: "La mayor parte de la innovación en la búsqueda de IA ha estado ocurriendo a puerta cerrada. Los esfuerzos de código abierto históricamente han quedado rezagados en usabilidad y rendimiento. ODS busca cerrar esta brecha, demostrando que los sistemas abiertos no solo pueden competir, sino que potencialmente pueden superar a sus contrapartes cerradas en calidad, velocidad y flexibilidad."

Arquitectura de Open Deep Search (ODS)

ODS no es solo otra herramienta; es un sistema plug-and-play que puedes integrar con modelos de código abierto como DeepSeek-R1 y modelos cerrados como GPT-4o y Claude. En su núcleo, ODS tiene dos componentes principales:

Herramienta de Búsqueda Abierta

Este componente toma tu consulta y explora la web en busca de información relevante para devolver al LLM como contexto. Es inteligente, también—reformula tu consulta de varias maneras para asegurar una búsqueda amplia y diversa. Después de obtener resultados de un motor de búsqueda, extrae fragmentos y páginas vinculadas, luego usa segmentación y reordenamiento para enfocarse en el contenido más relevante. Es particularmente hábil para manejar fuentes específicas como Wikipedia, ArXiv y PubMed, y se le puede indicar que priorice fuentes confiables cuando enfrente información conflictiva.

Agente de Razonamiento Abierto

Este agente toma tu consulta y, utilizando el LLM base y varias herramientas (incluyendo la Herramienta de Búsqueda Abierta), elabora una respuesta final. Sentient ofrece dos arquitecturas de agentes distintas dentro de ODS:

ODS-v1

Esta versión utiliza un marco de agente ReAct combinado con razonamiento de Cadena de Pensamiento (CoT). Los agentes ReAct alternan entre pasos de razonamiento ("pensamientos") y acciones (como usar la herramienta de búsqueda) y observaciones (los resultados de esas acciones). ODS-v1 itera a través de este proceso para llegar a una respuesta. Si el agente ReAct encuentra un obstáculo, recurre a la Autoconsistencia de CoT, tomando múltiples respuestas de CoT y eligiendo la más común.

ODS-v2

Esta versión emplea Cadena de Código (CoC) y un agente CodeAct, construido con la biblioteca Hugging Face SmolAgents. CoC aprovecha la capacidad del LLM para generar y ejecutar fragmentos de código para resolver problemas, mientras que CodeAct usa la generación de código para planificar acciones. ODS-v2 puede gestionar múltiples herramientas y agentes, lo que lo hace ideal para abordar tareas complejas que podrían necesitar una planificación sofisticada y múltiples iteraciones de búsqueda.

Arquitectura de ODS Crédito: arXiv

Tyagi explicó: "Mientras que herramientas como ChatGPT o Grok ofrecen 'investigación profunda' a través de agentes conversacionales, ODS opera en un nivel diferente—más como la infraestructura detrás de Perplexity AI—proporcionando la arquitectura subyacente que potencia la recuperación inteligente, no solo resúmenes."

Rendimiento y resultados prácticos

Sentient puso a prueba ODS al combinarlo con el modelo de código abierto DeepSeek-R1 y enfrentarlo a competidores de código cerrado como Perplexity AI y la Vista Previa de Búsqueda de GPT-4o de OpenAI, así como LLMs independientes como GPT-4o y Llama-3.1-70B. Utilizaron los puntos de referencia FRAMES y SimpleQA, adaptados para evaluar la precisión de los sistemas de IA habilitados para búsqueda.

¿Los resultados? Impresionantes. Tanto ODS-v1 como ODS-v2, cuando se combinaron con DeepSeek-R1, superaron los productos insignia de Perplexity. ODS-v2 con DeepSeek-R1 incluso superó la Vista Previa de Búsqueda de GPT-4o en el complejo punto de referencia FRAMES y estuvo cerca en SimpleQA.

Un dato fascinante fue la eficiencia del marco. Los agentes de razonamiento en ambas versiones de ODS aprendieron a usar la herramienta de búsqueda de manera inteligente, a menudo decidiendo si era necesaria otra búsqueda basándose en la calidad de los resultados iniciales. Por ejemplo, ODS-v2 usó menos búsquedas web en las tareas más simples de SimpleQA en comparación con las consultas más complejas y de múltiples pasos en FRAMES, optimizando el uso de recursos.

Implicaciones para la empresa

Para las empresas que buscan aprovechar capacidades de razonamiento de IA potentes con información en tiempo real, ODS es un cambio de juego. Ofrece una alternativa transparente, personalizable y de alto rendimiento a los sistemas de búsqueda de IA propietarios. La capacidad de conectar LLMs de código abierto y herramientas preferidas significa que las organizaciones pueden adaptar su pila de IA y evitar quedar atrapadas en un solo proveedor.

"ODS fue diseñado con la modularidad en mente," señaló Tyagi. "Selecciona dinámicamente qué herramientas usar basándose en las descripciones proporcionadas en el prompt. Esto significa que puede interactuar con herramientas desconocidas de manera fluida—siempre que estén bien descritas—sin necesidad de exposición previa."

Sin embargo, advirtió que el rendimiento de ODS puede sufrir si el conjunto de herramientas se vuelve demasiado abarrotado, "por lo que un diseño cuidadoso es crucial."

Sentient ha puesto el código de ODS a disposición en GitHub, invitando a la comunidad a explorar y contribuir.

"Inicialmente, la fortaleza de Perplexity y ChatGPT era su tecnología avanzada, pero con ODS, hemos nivelado este campo de juego tecnológico," concluyó Tyagi. "Ahora apuntamos a superar sus capacidades a través de nuestra estrategia de 'entradas abiertas y salidas abiertas', permitiendo a los usuarios integrar agentes personalizados en Sentient Chat de manera fluida."