| Contenidos de Wikipedia en español bajo licencia CC BY-SA 4.0 ⇔ Mapas de OpenStreetMap bajo licencia ODbL |
BETO (modelo de lenguaje)
De Hispanopedia
BETO es un modelo de lenguaje en español basado en la arquitectura BERT, desarrollado por investigadores de la Universidad de Chile y publicado en 2019-2020. Fue uno de los primeros modelos BERT monolingües del español y se convirtió en una referencia habitual para las tareas de procesamiento del lenguaje natural en esta lengua.[1]
Características
BETO se entrenó con un gran corpus de texto en español no anotado (Spanish Unannotated Corpora) de unos tres mil millones de palabras, y se distribuye en abierto en variantes cased y uncased. En numerosos bancos de pruebas superó a los modelos multilingües de su época en tareas en español, lo que impulsó el desarrollo de modelos monolingües para la lengua.
Referencias
- ↑ Cañete, José; et al. (2020). «Spanish Pre-Trained BERT Model and Evaluation Data». PML4DC (ICLR 2020).
