¿Qué es Pathways Language Model (PaLM)?

Pathways Language Model es el nombre de una familia de grandes modelos de lenguaje de IA desarrollados por Google. El esfuerzo recibe su nombre de una iniciativa de Google Research para crear lo que los investigadores llamaron caminos, en un enfoque diseñado para construir un único modelo poderoso que podría servir como base para múltiples casos de uso.

Existen múltiples versiones del Pathways Language Model (PaLM). Entre las versiones de PaLM 2 se encuentran Med-PaLM 2, que está perfeccionado para las ciencias de la vida y la información médica; y Sec-PaLM, que está enfocado para su uso en implementaciones de seguridad cibernética para acelerar el análisis de amenazas.

En mayo de 2023, Google declaró públicamente que su tecnología de inteligencia artificial conversacional Bard está impulsada por PaLM 2. El modelo de lenguaje grande (LLM) PaLM 2 también habilita capacidades de inteligencia artificial generativa en el conjunto de aplicaciones de Google Workspace, incluidos Gmail y Docs. como Google Cloud con una tecnología conocida como Duet AI.

PaLM, y más específicamente PaLM 2, puede proporcionar muchas funciones, incluidas las siguientes:

PaLM utiliza un modelo basado en redes neuronales de transformador comúnmente conocido como transformador. En un nivel básico, PaLM es similar a los modelos rivales basados ​​en transformadores, incluidos los modelos GPT-3 y GPT-4 de OpenAI.

PaLM utiliza el sistema de aprendizaje automático Pathways desarrollado por Google para entrenar un modelo en varios módulos de unidades de procesamiento de tensor. El modelo utiliza una técnica conocida como aprendizaje de pocos disparos que le permite aprender de un número limitado de ejemplos etiquetados, o disparos, para ayudarlo a adaptarse rápidamente y generalizar nuevas tareas o clases con un mínimo de etiquetado de datos.

Como red transformadora, PaLM comprende y crea patrones en todo el contenido, incluido el texto y el código. El modelo transformador se somete a un proceso de aprendizaje integral, descubriendo patrones estadísticos y conexiones que existen entre palabras y frases dentro del contenido. Este conocimiento adquirido empodera a PaLM para generar respuestas que son tanto coherentes como relevantes en varios contextos.

Si bien PaLM es poderoso, tiene las siguientes limitaciones de uso y capacidades, así como otros elementos de preocupación.

"Los sistemas de diálogo impulsado creados a partir de PaLM 2 continúan produciendo daños de lenguaje tóxicos y muestran patrones de sesgo en cómo esos daños varían según el idioma y las consultas relacionadas con los términos de identidad", escribieron los investigadores de Google en el "Informe técnico de PaLM 2".

Hay muchas similitudes y diferencias entre PaLM y GPT-3 de OpenAI, y el GPT-4 más reciente, los LLM. Ambos conjuntos de tecnologías se conocen generalmente como IA generativa y ambos se benefician del uso de un modelo transformador para el aprendizaje profundo. Ambas tecnologías también pueden crear, resumir y comprender texto.

Desarrollador

Google DeepMind

IA abierta

Interfaz de chatbot

Bardo

ChatGPT

Codigo de GENERACION

Modelo totalmente integrado

Se basa en datos de Codex LLM de OpenAI

Capacidades multilingües

PaLM 2 actualmente admite más de 40 idiomas

GPT-4 actualmente admite 26 idiomas

Google anunció PaLM en abril de 2022, con la versión inicial del modelo de lenguaje proporcionando 540 mil millones de parámetros.

Los investigadores de Google proporcionaron métricas iniciales sobre el rendimiento de PaLM en un artículo de investigación titulado "PaLM: modelado de lenguaje escalable con Pathways", que incluye detalles completos que explican las innovaciones que presenta el modelo. El modelo permaneció privado hasta el 17 de marzo de 2023, cuando Google proporcionó un conjunto inicial de API públicas para permitir que los desarrolladores probaran el modelo. El 10 de mayo de 2023, PaLM 2 se anunció públicamente en la conferencia Google I/O.

En el momento del lanzamiento de PaLM 2, Google no reveló públicamente el tamaño del modelo en términos de parámetros, aunque hizo muchas afirmaciones acerca de que el modelo era más grande, más capaz y, en general, brindaba un mejor rendimiento que su modelo inicial.

Google reveló que PaLM 2 se está utilizando como la IA fundamental detrás de muchos de sus esfuerzos de IA generativa, incluido Bard.

De cara al futuro, no está claro si habrá un modelo PaLM 3. En el evento Google I/O 2023, los ejecutivos de la compañía dijeron que el LLM de próxima generación que está desarrollando la organización se llama Gemini. No está claro qué relación tiene Gemini con el enfoque basado en PaLM, si es que tiene alguna.

Apple iOS es un sistema operativo móvil patentado que se ejecuta en dispositivos móviles como el iPhone y el iPad.