Geoparsing en español de México

Geoparsing es un proceso de análisis automático del lenguaje para detectar menciones de entidades geográficas y codificarlas en sus coordenadas. Dicho, grosso modo, se analiza el lenguaje y se obtienen mapas. Con miras al desarrollo del primer geoparser para español de México se han desarrollado simultáneamente varias líneas de investigación con metas parciales pero gracias a las cuales se ha podido integrar finalmente el software. Las secciones siguientes ofrecen un panorama muy somero de las líneas de investigación que desarrollamos.

El Reconocimiento de entidades nombradas (NER por sus siglas en inglés) es una tarea de extracción de información que busca localizar y clasificar entidades mencionadas en un texto en categorías predefinidas: personas, organizaciones, lugares, expresiones de tiempo, entre otras. Así, un módulo de NER debe procesar bloques de texto libre, como el siguiente:

Jim, originario de Seúl, compró 300 acciones de Acmé Corp. en 2006.

Y producir un bloque de texto anotado con las entidades detectadas:

<PERSON>Jim</PERSON>, originario de <LOC>Seúl</LOC>, compró 300 acciones de <ORG>Acmé Corp.</ORG> en <TIME>2006</TIME>.

En el ejemplo anterior, han sido detectados y clasificados el nombre de una persona, un nombre de ciudad, un nombre de compañía de (dos tokens o unidades léxicas) y una expresión temporal. Actualmente, los sistemas de reconocimiento de entidades para el inglés tienen un rendimiento cercano al humano pero cabe mencionar que para el español hay cierto rezago debido en parte a que hay menos corpora disponibles y los analizadores léxicos suelen ser menos sofisticados.

En esta investigación abordamos especificamente la tarea conocida como Geographic Entity Recognition (GER), también llamado reconocimiento de expresiones locativas (LER) o reconocimiento de expresiones espaciales, la cual busca detectar lugares y su posición o su relación geográfica con otros objetos o lugares georreferenciables. En GER existen dos complejidades adicionales al NER clásico: la primera complejidad es que existe una cantidad enorme de topónimos, lo que resulta en un alto grado de ambigüedad; la segunda complejidad es que el objetivo final es atribuir referencias geográficas a las entidades, lo que resulta en una dificultad adicional pues se resuelve a través de un módulo adicional que consulta recursos externos.

El siguiente es un ejemplo de un texto que contiene varias entidades georeferenciables, las cuales han sido detectadas mediante las técnicas que desarrollamos en esta investigación:

Con su gira Huevos Revueltos , Hombres G y Enanitos Verdes , agrupaciones que han dejado huella en el rock en español , llegarán a <LOC> Puebla </LOC> el viernes 16 de marzo. El escenario será el <LOC> Centro Expositor </LOC> de la zona de Los <LOC> Fuertes de Loreto y Guadalupe </LOC> en esta ciudad , donde las agrupaciones deleitarán al público con las canciones y ritmos que las hicieron legendarias, de acuerdo con un comunicado . Al concierto se esperan seguidores provenientes de <LOC> Tlaxcala </LOC> , <LOC> Estado de México </LOC> , <LOC> Veracruz </LOC> y <LOC> Oaxaca </LOC> , quienes gozarán de esta fiesta del rock en español .

La detección de entidades geográficas recae en un modelo de reconocimiento generado con técnicas de aprendizaje supervisado.

Para usar el Geoparser como un servicio web utilice la URL:

http://geoparsing.geoint.mx/ws/

mediante petición HTTP POST Request enviando, en el cuerpo de la petición, un parámetro "text" con el texto a procesar.

Por ejemplo:

{ "text": "Un grupo de presidentes municipales del país inicia hoy en Mérida la creación de una red de ciudades con buenas prácticas policiales con el fin de mantener o mejorar la seguridad pública en sus comunidades. Por iniciativa del alcalde Renán Barrera Concha y el liderazgo de la asociación civil Causa en Común, que dirige la activista ciudadana María Elena Morera Mitre, los alcaldes mexicanos invitados realizarán la mesa de diálogo “Trabajo Sociedad más Gobierno, la Construcción de Ciudades Seguras”. Será una reunión privada en un salón del Centro Cultural Olimpo. }

generará como salida:

{ "labeled": "Un grupo de presidentes municipales del país inicia hoy en <LOC>Mérida</LOC> la creación de una red de ciudades con buenas prácticas policiales con el fin de mantener o mejorar la seguridad pública en sus comunidades .\nPor iniciativa del alcalde Renán Barrera Concha y el liderazgo de la asociación civil Causa en Común , que dirige la activista ciudadana María Elena Morera Mitre , los alcaldes mexicanos invitados realizarán la mesa de diálogo “ Trabajo Sociedad más Gobierno , la Construcción de Ciudades Seguras ”. Será una reunión privada en un salón del <LOC>Centro Cultural Olimpo</LOC>.\n", "entities": [ { "index": 1, "entity": "Mérida", "context": "Un grupo de presidentes municipales del país inicia hoy en Mérida la creación de una red de ciudades con buenas prácticas", "nonimatim": [ { "boundingbox": [ "20.8733088", "21.0867259", "-89.7261963", "-89.5301684" ], "class": "place", "display_name": "Mérida, Yucatán, México", "icon": "/nominatim/images/mapicons/poi_place_city.p.20.png", "importance": 0.57816344305869, "lat": "20.9670759", "licence": "Data ...

El Corpus de Entidades Georreferenciadas de México, CEGEOMEX propuesto por (Molina-Villegas et al., 2021) fue creado para desarrollar algoritmos de detección de entidades geográficas. CEGEOMEX fue anotado manualmente gracias al apoyo de la Red Temática en Tecnologías del Lenguaje y al Consorcio en Inteligencia Artificial CONACyT. CEGEOMEX cuenta actualmente con un total de 5,870 entidades nombradas georeferenciables etiquetadas a partir de un corpus con 361,946 palabras distribuidas en 1,233 documentos de noticias de los principales medios digitales de México. Los criterios de la anotación de CEGEOMEX así como su uso en un modelo de reconocimiento de entidades están descritos detalladamente en Aldana-Bobadilla et al., 2020.

Para el reconocimiento de Entidades Geográficas desarrollamos nuestro propio módulo de Geographic Entity Tagging basado en un clasificador de red neuronal entrenado con vectores densos obtenidos a partir del Corpus de Entidades Georreferenciadas de México. La red neuronal de clasificación evalúa los embeddings (vectores densos) del texto a etiquetar para determinar si un token es Geographic Entity o no lo es.

Los embeddings se obtuvieron a partir de tokens procesados utilizando el módulo word2vec (Mikolov et al., 2013). Además de los word embeddings se ha utilizado un Context Encoder (ConEc). El entrenamiento del ConEc es idéntico al del word2vec, con la diferencia en el cálculo del word embedding después de que el entrenamiento se completó. En el caso de word2vec, el embedding es la fila de la matriz \(W_0\) mientras que en el caso de ConEc se crea la representación de la palabra multiplicando \(W_0\) con el vector de contexto promedio \(x_W\) de la palabra. Se hace la distinción entre el vector de contexto local y global de una palabra. El vector global se calcula como el promedio de todos los vectores binarios de contexto \(x_{w_i}\) correspondientes a las \(M_w\) ocurrencias de \(w\) en el corpus de entrenamiento, de acuerdo a la ecuación \ref{eq413}.

\begin{equation} x_{w_{global}} = \frac{1}{M_w} \sum_{i=1}^{M_w} x_{w_i} \label{eq413} \end{equation} Mientras que el vector de contexto local se calcula como se muestra en la ecuación \ref{eq414}. \begin{equation} x_{w_{local}} = \frac{1}{m_w} \sum_{i=1}^{m_w}x_{w_i} \label{eq414} \end{equation} donde \(m_w\) corresponde a las ocurrencias de \(w\) en un solo documento. Así, el embedding de una palabra se calcula como se muestra en la ecuación \ref{eq415}. \begin{equation} y_w = (\alpha \cdot x_{w_global} + (1 - \alpha) \cdot x_{w_local})^T W_0 \label{eq415} \end{equation} con \(\alpha \in [0,1]\).

La elección de \(\alpha\) determina qué tanto énfasis se le da al contexto local de la palabra, lo que ayuda a distinguir entre múltiples significados de una misma palabra. Como una palabra fuera de vocabulario no tiene un vector de contexto global (ya que no pertenece al corpus de entrenamiento), su embedding se calcula tomando en cuenta únicamente el contexto local, es decir, tomando \(\alpha = 0\).

Finalmente, para usar el modelo clasificador de entidades geográficas, el texto es codificado vectorialmente, evaluado por el clasificador y reconstruido. Todo el proceso de Geographic Named Entity Recognition es detallado en (Aldana-Bobadilla et al., 2020).

Hemos presentado las ideas principales subyacentes a los métodos avanzados de Geoparsing en discurso libre para español de México, principalmente enfocándonos en el reconocimiento de entidades con word embeddings. Los resultados de la propuesta implementada son de calidad comparable al de las bibliotecas más importantes en el estado del arte de Procesamiento de Lenguaje Natural y superior en el caso de noticias en español de México.

Un aspecto muy interesante del modelo de reconocimiento de entidades geográficas basado en word embeddings es que parece relacionar de manera coherente las entidades con sus correspondientes vecinos de nivel geográfico. Como puede apreciarse en la Figura 1 y Figura 2, los embeddings de "Mérida" y "calle Madero" proyectados en el espacio generado por sus dos primeros componentes principales tienen vecinos asociados a ciudades y a vialidades respectivamente. Este efecto lo hemos estudiado únicamente a nivel meramente exploratorio pero parece prometedor puesto que de confirmarse dicha hipótesis, se podría explotar para determinar niveles geográficos además de reconocer entidades quedando así varias líneas de investigación.