José Manuel Fradejas Rueda
Universidad de Valladolid

Desde el año 2020 se ha popularizado en los ámbitos de la filología española el uso de la plataforma Transkribus (Khale et al. 2017, Colutto et al. 2019), un sistema HTR (Handwritten Text Recognition) que permite, tras el entrenamiento adecuado, crear un modelo que facilita transcribir con rapidez y alto grado de acierto textos manuscritos e impresos antiguos.

El sistema, para el usuario, es muy sencillo una vez que se ha dado de alta y ha creado una cuenta¹. Crear un modelo consiste en seleccionar una serie de páginas (folios) de un manuscrito o un impreso antiguo, identificar las áreas de impaginación que interesan (layout analysis) en el cual se determinas las zonas que se leerán y se marcarán las líneas, lo cual es un proceso automático, y transcribirlas manualmente, con lo que se obtiene, tras la correcciones pertinentes, el conjunto de datos (dataset) ground truth (o golden set). Con este conjunto de datos se entrena el modelo y, una vez que los resultados son satisfactorios se puede acelerar el proceso de transcripción de cualquier texto manuscrito o impreso antiguo².

La experiencia de 7PartidasDigital es de que se pueden obtener excelentes modelos si se transcriben entre 15.000 y 30.000 palabras³ para establecer el ground truth set. Los creados, tras lo entramientos pertinentes, han ofrecido modelos cuya tasa de error, CER (Character Error Rate), oscila entre el 2.40 % y el 4.90 %⁴. En los modelos para letra impresa gótica (entre 1491 y 1542) la tasa de error ha oscilado entre el 0.80 % y el 1.60 %. En el modelo híbrido para impresos góticos, al ser por acumulación de varios juegos de datos anteriores, se han empleado 70.600 palabras y en este caso el CER obtenido ha sido del 1.30 %.

Son unos resultados más que buenos. Es evidente que tras el proceso de transcripción automática (o asistida) hay que revisar y corregir, pero la tasa de error es altamente aceptable si tenemos en cuenta los errores que se comenten al transcribir a mano cualquier texto. No hay estudios comparativos, lo que sería muy interesante abordar.

En el primer intento, ayudados por Stefano Bazzaco, creamos un modelo para la edición impresa en diciembre de 1491 (model ID 32139). Nos basamos en el modelo que en el proyecto Mambrino habían entrenado para impresos góticos de los siglos XV y XVI (Bazzaco 2021). Sin embargo, para nosotros presentaba una carencia: se diseñó para que desarrollara silenciosamente las abreviaturas y en 7PartidasDigital nos habíamos planteado la necesidad de marcarlas, pues muchas veces una abreviatura puede explicar ciertas lecciones, tanto en manuscritos como en impresos.

Es cierto que Transkribus permite entrenar la transcripción de los textos embebiendo etiquetas del sistema TEI, pero las pruebas que se hicieron no fueron satisfactorias y surgió la idea de emplear el sistema de transcripción semipaleográfico que el Hispanic Seminary of Medieval Studies (HSMS en adelante) diseñó en los años 1970 con el objetivo de crear un corpus para la redacción de un diccionario del español medieval (Old Spanish). El sistema que propuso el HSMS era muy simple puesto que el juego de caracteres disponibles en aquella época, ASCII, tan solo comprendía las letras mayúsculas, minúsculas, números y los signos de puntuación básicos del inglés, no tenía en consideración ningún carácter con diacríticos. Con ello lograron obtener unas transcripciones semipaleográficas que aún hoy día siguen siendo legibles y reutilizables. De aquel sistema lo básico que se ha tomado a la hora de preparar estos modelos ha sido marcar el desarrollo de las abreviaturas encerrándolas entre los signos de menor que < y mayor que >.

Así, el pasaje de las Siete Partidas (tomado del ms. KRB IV 944 5; KBR en el proyecto) de la imagen anterior se transcribe de la siguiente manera:

Atreue<n>çia & osada muy grande ffaze<n> los ju-
dios q<ue> jaze<n> co<n> las x<rist>i`anas. ¶ E por ende ma<n>-
damos q<ue> todos los judios cont<r>a` q<u>i`en ffuere p<ro>ua-
do daq<u>i` adelant<e> q<ue> tal cosa aya ffech<o> q<ue> mu-
erra por ello ¶ Ca ssi los x<rist>i`anos q<ue> jaze<n> co<n> las

Las abreviaturas están todas encerradas entre los signos < >. Las tildes graves ` indican que la letra precedente está volada⁵. Las ç en el modelo clásico se representan con una c seguida de un apóstrofo c', pero para evitar problemas a la hora de entrenar, se ha preferido usar la letra ç. Asimismo, en el modelo original los calderones se representan con el signo de porcentaje %, pero debido a la facilidad de acceso al símbolo de párrafo —¶— se ha preferido el uso de este signo.

Por medio de este sistema estamos transcribiendo varios manuscritos de las Siete Partidas. Comenzamos con el ms. VITR/4/6 (MN0 en nuestra clasificación). El modelo, al que designamos Gótica Libraria XIII, PyLaia v2 (model ID 50562), se entrenó con tan solo 34 folios de los 465 que conforman el códice, los cuales suponen 26.199 palabras, el 3.5 % del total del texto de las Siete Partidas⁶. Al final, el entrenamiento ofreció una tasa de error del 3.20 %. Es decir, de cada cien caracteres, y esto incluye espacios en blanco y división de palabras y los signos <>`¶ , 3.2 están equivocados.

No era la primera versión, que tuvimos que desechar porque en noviembre de 2022 la máquina CTILab que se venía usando dejó de estar operativa y hubo que reentrenar el modelo original (model ID 41247).

Un ejemplo del éxito de este modelo se puede ver en el recorte anterior, que ofrece la transcripción de las 13 primeras líneas de la columna de la derecha del folio 109r. Solo se ha detectado un error en la línea 4.10 (la que está en azul), en el que la palabra al final de la línea debería ser lib<r>o` y no lib<r>a`. Ha sido capaz de desarrollar las abreviaturas y marcarlas adecuadamente, según el sistema diseñado.

Aunque el resultado no es siempre tan bueno. El mayor problema proviene de las abreviaturas y el sistema de marcado de las mismas, pues a veces se quedan sin abrir o sin cerrar los signos. Por otra parte, si en los folios que se van a transcribir hay alguna forma abreviada que no se ha contemplado en el entrenamiento, y siempre las hay, no ha de sorprender que el resultado sea erróneo. Así, al preparar los primeros modelos impresos, se vio que la abreviaturas mrs (marauedis) la transcribía sistemáticamente por mes. En un entrenamiento posterior se introdujeron un par de folios en los que aparecía varias veces esta forma abreviada.

Uno de los objetivos que nos hemos propuesto en 7PartidasDigital es crear un macromodelo para manuscritos medievales del iberorrománico central. Es un modelo ambicioso porque la lengua medieval de ese ámbito peninsular incluye las variedades leonesa (con rasgos gallego-portugueses), castellana (en su amplio abanico), riojana, navarra y aragonesa (con influencia catalana); el espacio temporal abarca desde el reinado de Fernando III (1199-1252) hasta los Reyes Católicos (fines del siglo XV) y hay un amplio catálogo de tipos escriturarios. Es algo factible, la base es tener buenos modelos parciales creados con el mismo criterio y después, uniéndolos, entrenar ese macromodelo o supramodelo.

Eso es lo que desde hace unas semanas ofrece Transkribus con un modelo que han bautizado como Coloso español con la increíble tasa CER de tan solo el 4.80 %

designed to transcribe a wide array of Spanish texts, from medieval manuscripts to 20th-century documents.
Developed in collaboration with the Transkribus community and supported by a multitude of researchers, it excels in handling various scripts and spellings across multiple periods.

Coloso Español – Public Transkribus AI Model (readcoop.eu)

Este modelo, del que no hay especificaciones técnicas, tan solo se sabe quién lo ha coordinado (Álvaro Cuéllar) y quienes han entrenado los modelos con los que se ha creado⁷. De algunos de ellos tenemos algunas informaciones porque son públicos, como son los desarrollados para el proyecto ETSO, con un modelo para los manuscritos del Teatro del Siglo de Oro (model ID 49462) con una tasa de error del 9.20 %; y otro para impresos (model ID 46145) con una tasa de error excelente, tan solo el 0.91 %, pero que desarrollan las abreviaturas silenciosamente y moderniza y regulariza la ortografía de los textos (Cuéllar 2023). El proyecto CLARA-HD, de la UNED, ha desarrollado otro modelo para transcribir automáticamente el Diario de Madrid (model ID 91640), una publicación periódica publicada entre 1788 y 1825 y han obtenido una tasa CER de tan solo el 1 %. A estos se pueden añadir los desarrollados por Stefano Bazzaco y colaboradores para impresos góticos de los siglos XV y XVI (model ID 45941), con la excelente tasa CER del 0.91 % y para impresos con letra redonda del mismo período (model ID 48394) con un CER del 1.30. También están los de 7PartidasDigital y los de Francisco Gago Jover, en los que utilizamos el sistema de transcripción del HSMS.

He probado este Coloso español con varios folios de varios manuscritos castellanos y lo resultados han sido muy pobres, cuando no directamente desastrosos. El primer caso ha sido un privilegio rodado expedido por el rey Alfonso X el Sabio el 15.6.1255 y que se conserva en el Archivo Histórico Nacional (OM,Car.1068,N.6).

En la columna de la izquierda presento la transcripción que ha ofrecido para la línea 4 del pergamino y en la derecha se puede ver lo que realmente dice.

El siguiente ensayo se hizo con el folio 6r, col. 1 del ms. 9 de la Real Academia Española, datado a mediados del siglo XIV. El resultado también es malo, como puede observarse al comparar lo que ha ofrecido el Coloso y lo que he transcrito a mano⁸.

En las nauas E en los tremedales E
en las aguas estantjas todas son
pesadas E malas p<er>o la carrne del
cueruo faze les pro a las ynchaduras
de los ojos q<ue>les acaesçe por el mal
del yeso Esto es q<u>a`ndo enduresçe
lo q<ue> tuellen q<ue> no<n> pueden echar
E lo q<ue> echan es blaco & duro E
q<u>a`ndo g<e>lo diere<n> co<n> las melezinas q<ue>
fazen pro aq<ue>l mal E q<u>a`ndo g<e>lo ouiere<n>

El tercer ensayo se ejecutó sobre el fol. 8v del ms. 5486 de Real Academia de la Historia (AH2 en 7PartidasDigital) que ofrece una copia datada en 1325 de la Séptima Partida. El resultado tampoco es bueno.

delante non<n> sse at<r>eua a ffazer yerro. Ley xj de
q<u>ales yerros pueden sseer acusados los offiçiales del
Rey mient<r>a estudieren en los offiçios.
os9 offiçiales q<ue> an poderio del Rey p<ar>a ffazer justi-
çia de los om<ne>s comdempna<n>deolos en muerte o e<n> p<er>dj-
mjento de mjemb<r>o` por q<ue>los yerros q<ue> ffaze<n> no<n> puede<n>
sseer acusados por ot<r>i` en q<u>a`nto durare<n> en ssu offiçio ssaluo

Una cuarta prueba se ha hecho con el folio 12r del ms. V.II.19 de El Escorial, datable a principios del siglo XIV y que es la fuente del ms. 9 de la RAE, visto más atrás. El resultado es deplorable.

Una última experiencia se ha hecho pidiéndole al Coloso que transcribiera el mismo folio que se utilizó para la prueba que se presenta al comienzo este artículo.

El resultado es ligeramente mejor, pero presenta errores en once de las 13 líneas (los marcados en amarillo).

Los resultados que ha ofrecido el Coloso en todos los casos me hacen ver que entremezcla sistemas de transcripción. Por una parte, es fácil ver que al enfrentarse con textos medievales ha aprendido las normas de transcripción HSMS (uso como ejemplo el folio del ms. AH2 de las Partidas), lo que se puede comprobar en que las letras voladas están encerradas entre <<>> (q<u><<a>>nto línea 7), y que con la ç ofrece dos resultados: una vez c' (offic'ios línea 3), que es el sistema, y otras tres ç (líneas 2, 5 y 7). En el caso de la transcripción del mismo folio de MN0, muestra que entremezcla los criterios HSMS estrictos (p<r><<i>>m<er>a línea 10) y los simplificados de 7PartidasDigital (uso de ¶ en vez de % en las líneas 2, 5, 9 y 13)¹⁰.

En el recorte del manuscrito escurialense V.II.19, en las líneas 24 y 25, hay dos casos en los que aparece una q con lineta de abreviación supralinear —q̅—; en la ocurrencia de la línea 25 está en el lugar de un q<ue> mientras que en la línea 24 parece que está en la posición de q<u>a`l. Este hecho, me hace pensar que algún modelo de los que se ha utilizado para entrenar al Coloso ha seguido una norma de transcripción muy conservadora en la que no se desarrollan las abreviaturas, puesto que se han decantado por una transcripción alográfica.

En definitiva, la creación de macromodelos es una idea muy interesante, y considero que debemos generarlos, pero no se pueden llevar a cabo por acumulación de grouth truth sets diseñados para un arco temporal tan amplio como son los 700 años que median entre el siglo XIII y el final del XX ni con criterios de transcripción absolutamente antagónicos como son la transcripción modernizada y la semipaleográfica (incluso alográfica), puesto que los resultados serán, como se ha mostrado, inservibles.

bibliografía

Bazzaco, Stefano (coord. 2021), Federica Zoppi, Giada Blasut, Nuria Aranda García, Ángela Torralba Ruberte, Ana Milagros Jiménez Ruiz, & Pedro Monteiro. »HTR model SpanishGothic_XV-XVI_extended DATASET (1.0.0)» [Data set]. Zenodo.DOI: https://doi.org/10.5281/zenodo.4888927

Colutto, Sebastian, Philip Khale, Günter Hackl & Günter Mühlberger (2019), «Transkribus. A Platform for Automated Text Recognition and Searching of Historical Documents» 15th International Conference on eScience (eScience), San Diego, pp. 463-466, 10.1109/eScience.2019.00060.

Cuéllar, Álvaro (2023), «La Inteligencia Artificial al rescate del Siglo de Oro. Transcripción y modernización automática de mil trescientos impresos y manuscritos teatrales», Hipogrifo. Revista de literatura y cultura del Siglo de Oro, 11/1: 101-115, https://doi.org/10.13035/

Kahle, Philip, Sebastian Colutto, Günter Hackl & Günter Mühlberger (2017), «Transkribus – A Service Platform for Transcription, Recognition and Retrieval of Historical Documents», 2017 14th IAPR International Conference on Document Analysis and Recognition (ICDAR), Kyoto, 2017, pp. 19-24, 10.1109/ICDAR.2017.307.

CITA

Fradejas Rueda, José Manuel (2023.12.19), «El Coloso Español», en José Manuel Fradejas Rueda (ed.) 7PartidasDigital. Edición crítica digital de las «Siete Partidas», DOI: https://doi.org/10.58079/vemr

notas

1. Hay otros sistemas como eScriptorium o ocr4all, pero no son fáciles instalar y requieren ciertas habilidades informáticas. La ventaja de estos dos sistemas es que son totalmente gratituos. [↩]
2. Los sistemas OCR son muy buenos con libros impresos desde el último cuarto del siglo XX, los libros anteriores son muy problemáticos por las condiciones de conservación, tipografía, tintas, anotaciones, etc.. [↩]
3. Es evidente que cuantas más palabras se se incluyan en el entrenamiento, los resultados serán mejores, pero tampoco ha de creerse que por alimentar el sistema con millones de palabras los resultados mejorarán espectacularmente si los datos no están depurados. Hay que recordar, aquí, el adagio informático de garbage in, garbage out. [↩]
4. Los que superan el 4 % de error no los consideramos aptos en 7PartidasDigitales. En estos casos ampliamos el número de folios —palabras— y se reentrenan desde cero; nunca se utiliza un modelo anterior porque hemos visto que eso introduce errores en el aprendizaje. [↩]
5. En el modelo actual del HSMS se emplean los signos de mayor y menor dobles << >>, pero eso supone introducir una mayor probabilidad de error en el entrenamiento de los modelos. [↩]
6. En realidad solo se entrenó con folios que se encontraran entre el 105 y el 465, pues los 104 primeros, que corresponden a la Primera Partida, son una copia del siglo XV y no de finales del XIII o principios del XIV; en cualquier caso, con solo el 4.2 % del texto de un manuscrito se obtuvo un modelo altamente fiable. [↩]
7. Aperecen citados expresamente: Stefano Bazzaco, Alba Comino, Andrés Echavarria Peláez, José Manuel Fradejas Rueda, Francisco Gago Jover, Ana García Serrano, Raquel Liceras-Garrido, Patricia Murrieta-Flores, Humberto Olea Montero, Rocío Ortuño Casanova, Fernando J. Pancorbo, Milena Peralta Friedburg, Eva Sánchez-Salido, Rodrigo Vega Sánchez, Juan Carlos Vallejo Velásquez y Ezequiel Villani. [↩]
8. La letras voladas las marco con un acento grave ` y no con dobles <<>>. [↩]
9. Esta palabra se representaría en el sistema del HSMS {IN3.} Los, donde el número indica la altura de la inicial medida en unidades de pautados. En los entrenamientos no se han considerado las iniciales decoradas. [↩]
10. La transcripción <santa> en el pasaje de MN0 no es un error, es la forma que Gago Jover ha propuesto en sus modelos y que Cossío también emplea. [↩]