En un comunicado de prensa, AWS y Hugging Face anunciaron una alianza para derribar las barreras de acceso para los negocios en la adopción del Procesamiento del Lenguaje Natural (PLN).
La creciente integración de asistentes digitales habilitados por voz en dispositivos como teléfonos inteligentes y altavoces hace que sea fácil dar por sentada la tecnología, pero el software y el procesamiento que permiten a los dispositivos reconocer y ejecutar comandos aparentemente simples como “Subir volumen dos” o “Atenuar las luces ”tienen raíces profundas. Eso también es válido para la tecnología relacionada con la traducción automática y la conversión de voz a texto.
¿Qué es el el Procesamiento de Lenguaje Natural?
Hoy en día contamos con tecnología que permite que alguien hable en un teléfono en inglés y que pronuncie su texto traducido a un idioma diferente como el coreano, o que un cirujano dicte notas en voz alta en un quirófano y que una computadora las transcriba y archive con precisión.
En conjunto, estas capacidades dependen de una tecnología llamada Procesamiento del lenguaje natural (NLP) que, en un nivel básico, construye y entrena modelos de aprendizaje automático en grandes conjuntos de datos de voz y texto para reconocer palabras individuales, comprender la estructura y el contexto en el que ‘ presentarse, y derivar el significado de esa presentación con el fin de tomar algún tipo de acción. Los ingenieros han trabajado durante décadas para refinar las capacidades de PLN haciendo que la tecnología sea más precisa, expandiendo la cantidad de idiomas, dialectos y acentos admitidos y aumentando el léxico que puede reconocer.
Sin embargo, el lenguaje evoluciona constantemente y los modelos de PLN también deben evolucionar para seguir siendo efectivos, un proceso que puede implicar un reentrenamiento costoso y que requiere mucho tiempo. Además, a medida que las organizaciones de todo el mundo buscan integrar las capacidades de PLN en sus operaciones, a menudo deben crear y capacitar nuevos modelos de PLN para tener en cuenta la terminología especializada utilizada en industrias como la atención médica, la fabricación y los servicios financieros. Estos obstáculos hacen que sea costoso y difícil para las nuevas empresas y otras pequeñas y medianas empresas aprovechar la PLN y escalarla en sus operaciones globales, especialmente cuando no tienen acceso interno a la experiencia y los recursos de aprendizaje automático.
Hugging Face ofrece la biblioteca de Alejandría del PLN
Hugging Face, un líder mundial en aprendizaje automático de código abierto (ML por sus siglas en inglés) que se fundó en 2016 y tiene sus oficinas centrales en Nueva York y París ofrece a las empresas Hugging Face Transformers, una de las bibliotecas de aprendizaje automático de código abierto más populares desarrollada hasta ahora. Esta biblioteca ofrece más de 7.000 modelos de PLN de última generación, conocidos como transformadores, afinados en más de 140 idiomas, con ofertas tan diversas como Ndonga, un dialecto bantú hablado en Namibia y partes de Angola, bretón, una lengua derivada del celta que se habla en partes de Francia, y esperanto, un idioma internacional construido que se habla en varias partes del mundo.
“Tenemos la misión de desarrollar y democratizar el PLN para todos”, dijo Clement Delangue, director ejecutivo de Hugging Face. La compañía está creciendo rápidamente y recientemente completó una ronda de financiamiento Serie B de $40 millones.
Uso masivo de Hugging Face
Estudiantes y desarrolladores de todo el mundo han descargado modelos de Hugging Face y conjuntos de datos de entrenamiento más de 1 millón de veces al mes, para ponerlos a trabajar en los casos de uso diario. Por ejemplo, en cuestión de días, una empresa de pizzas podría entrenar un modelo Hugging Face para la terminología de la pizza, desarrollado a partir de ejemplos específicos del dominio, para crear un bot de chat conversacional que sea un “experto” en tamaños de pizza, cortezas, ingredientes, y tiempos de entrega para responder cómodamente a las preguntas de los clientes a través de una aplicación.
Ahora, AWS y Hugging Face anuncian que Hugging Face ha seleccionado a AWS como su proveedor de nube preferido, y Hugging Face presentó recientemente AutoNLP y la API de inferencia acelerada, nuevos servicios alojados creados en AWS con Amazon SageMaker, un servicio de aprendizaje automático que facilita que cree, entrene e implemente rápidamente modelos de aprendizaje automático en la nube y en el perímetro.
AWS también ha puesto a disposición general Hugging Face Deep Learning Containers (DLC) para que los desarrolladores puedan comenzar rápidamente a crear aplicaciones con modelos de lenguaje de última generación disponibles a través de Hugging Face en Amazon SageMaker. Con SageMaker, los clientes pueden llevar la experimentación del modelo de PNL de días a minutos utilizando su entorno de desarrollo integrado (IDE) fácil de usar para rastrear y comparar experimentos de capacitación. Los usuarios también pueden aprovechar las capacidades avanzadas de capacitación distribuida en SageMaker, las mismas capacidades que durante dos años consecutivos han hecho posible un tiempo de capacitación récord para el modelo de lenguaje T5-3B en PyTorch.
“Hugging Face es un recurso para startups y otras empresas de todo el mundo. Nuestros transformadores pueden ayudarlos a construir virtualmente cualquier aplicación de procesamiento de lenguaje natural en una fracción del tiempo, costo y complejidad que podrían lograr por sí mismos, ayudando a las organizaciones a llevar sus soluciones al mercado rápidamente ”, dijo Delangue.
Numerosos clientes conjuntos de Hugging Face y AWS ya están poniendo a trabajar la PNL para mejorar la experiencia de sus clientes. Por ejemplo, Quantum Health, una empresa que hace que la navegación sanitaria sea más inteligente, más simple y más rentable para todos, utilizando inteligencia artificial para clasificar y resumir textos, y responder preguntas. “Para algunos casos de uso, solo usamos los modelos Hugging Face directamente, y para otros, los ajustamos en Amazon SageMaker”, dijo Jorge Grisman, científico de datos de PLN en Quantum Health. “Estamos entusiasmados con la integración de Hugging Face Transformers en Amazon SageMaker para utilizar la capacitación distribuida de Amazon SageMaker para acortar el tiempo de capacitación para nuestros conjuntos de datos más grandes”.
Lee también: Robots ayudarán a combatir COVID-19 en Jalisco