Akademie der Wissenschaften und der Literatur | Digitale Akademie

DTA-Texte in der Graphenwelt

Andreas Kuczera | https://studiengang-digitale-methodik.pages.gitlab.rlp.net/modul-5/5c/slides/graphentechnologien/
Beispielprojekte: NeG | RI | DTA
CC-BY 4.0

Gliederung

1. Das DTA
2. Import von TCF-XML-Texten des DTA
3. Import von TEI-P5-Daten des DTA
4. Graph-Refactoring
5. Modellierungsansätze

01a

Das DTA

• Das Deutsche Textarchiv (DTA) stellt einen Disziplinen übergreifenden Grundbestand deutscher Werke aus dem Zeitraum von ca. 1600 bis 1900 im Volltext und als digitale Faksimiles frei zur Verfügung.
• Das Material ist so aufbereitet, dass es über das Internet in vielfältiger Weise nutzbar ist.
• Downloadformate sind beispielsweise:
• TEI-P5
• TCF
• Plain-Text

01b

Die Datenbank neo4j

• Gemeinsame Arbeitsdatenbank: https://neo4j.adwmainz.net/browser/

  Host: bolt://neo4j.adwmainz.net

  Login: digme

  Passwort: |Rpmx18YvM6Zn-

• Datenbank leeren:

  MATCH (n) DETACH DELETE n;
  

02a

Import von TCF

• Für den Import von TCF werden zunächst Trigger erstellt, mit denen sichergestellt wird, dass jedes Token eine eindeutige ID erhält

  create constraint on (t:Token) assert t.id is unique;
  create constraint on (s:Sentence) assert s.id is unique;
  create constraint on (l:Lemma) assert l.text is unique;
  

• Mit dem folgenden Befehl werden die einzelnen Token als Textkette in den Graph importiert

  call
  apoc.load.xmlSimple('http://deutschestextarchiv.de/book/download_fulltcf/16181')
  yield value as doc
  unwind doc._TextCorpus._tokens._token as token
  create (t:Token{id:token.ID, text:token._text})
  with collect(t) as tokens
  unwind apoc.coll.pairs(tokens)[0..-1] as value
  with value[0] as a, value[1] as b
  create (a)-[:NEXT_TOKEN]->(b);
  

02b

Import von TCF

• Im nächsten Schritt werden die sentence-Einteilungen importiert

  call
  apoc.load.xmlSimple('http://deutschestextarchiv.de/book/download_fulltcf/16181')
  yield value as doc
  unwind doc._TextCorpus._sentences._sentence as sentence
  match (t1:Token{id:head(split(sentence.tokenIDs, ' '))})
  match (t2:Token{id:last(split(sentence.tokenIDs, ' '))})
  create (s:Sentence{id:sentence.ID})
  create (s)-[:SENTENCE_STARTS]->(t1)
  create (s)-[:SENTENCE_ENDS]->(t2)
  with collect(s) as sentences
  unwind apoc.coll.pairs(sentences)[0..-1] as value
  with value[0] as a, value[1] as b
  create (a)-[:NEXT_SENTENCE]->(b);
  

02c

Import von TCF

• Import der Lemmata und Verknüpfung mit den Token

  call
  apoc.load.xmlSimple('http://deutschestextarchiv.de/book/download_fulltcf/16181')
  yield value as doc
  unwind doc._TextCorpus._lemmas._lemma as lemma
  match (t:Token{id:lemma.tokenIDs})
  merge (l:Lemma{text:lemma._text})
  create (t)-[:LEMMATISIERT]->(l);
  

• Für bessere Auswertungsmöglichkeiten werden die Lemma-Informationen auch noch als Property der Token-Knoten gespeichert

  call
  apoc.load.xmlSimple('http://deutschestextarchiv.de/book/download_fulltcf/16181')
  yield value as doc
  unwind doc._TextCorpus._lemmas._lemma as lemma
  match (t:Token{id:lemma.tokenIDs}) set t.Lemma = lemma._text;
  

02d

Import von TCF

• Beispielabfrage: Zeige mir alle Stellen mit dem Lemma Gestalt

  match
  w=()-[:NEXT_TOKEN*5]->(a:Token{Lemma:'Gestalt'})-[:NEXT_TOKEN*5]->()
  return *;
  

• Vergleich von Textketten

03

Import von TEI-P5-Strukturen in den Graphen

• Beispielhaft wird eine Mitschrift der Kosmos-Vorlesung von Alexander von Humboldt importiert.
• Hier der Link zu einer Beispielseite.

• call apoc.import.xml('https://seafile.rlp.net/f/6282a26504cc4f079ab9/?dl=1',
  {connectCharacters: true, charactersForTag:{lb:' '}, filterLeadingWhitespace: true}) yield node
  return node;
  

04a

Graph-Refactoring

• Ein Beispiel mit subst-add-del-Elementen

  MATCH
  (n0:XmlCharacters)-[r0:NE]->
  (n1:XmlCharacters{text:'rotiren'})-[r1:NE]->
  (n2:XmlCharacters{text:'bewegen'})-[r2:NE]->
  (n3:XmlCharacters)-[r3:NE]->
  (n4:XmlCharacters{text:'ſich'})-[r4:NE]->
  (n5:XmlCharacters)
  RETURN *;
  

04b

Graph-Refactoring

• Umbau des Graphen (Graph-Refactoring)

  MATCH
  (n0:XmlCharacters)-[r0:NE]->
  (n1:XmlCharacters{text:'rotiren'})-[r1:NE]->
  (n2:XmlCharacters{text:'bewegen'})-[r2:NE]->
  (n3:XmlCharacters)-[r3:NE]->
  (n4:XmlCharacters{text:'ſich'})-[r4:NE]->
  (n5:XmlCharacters)
  DELETE r0, r1
  CREATE (n0)-[:NE]->(n2)
  CREATE (n0)-[:VARIANT{variant_type:'del'}]->(n1)
  CREATE (n1)-[:VARIANT{variant_type:'del'}]->(n5);
  

04c

Graph-Refactoring

• Ergebnis ansehen

  MATCH
  (n0:XmlCharacters)-[r0:NE]->
  (n2:XmlCharacters{text:'bewegen'})-[r2:NE]->
  (n3:XmlCharacters)-[r3:NE]->
  (n4:XmlCharacters{text:'ſich'})-[r4:NE]->
  (n5:XmlCharacters),
  (n1:XmlCharacters{text:'rotiren'})-[r1:VARIANT]->(n5)
  RETURN *;
  

05

Modellierungsansätze

Einfaches Bild - komplexe Modellierung (Quelle: Patzig (DTA)

Akademie der Wissenschaften und der Literatur | Digitale Akademie

Vielen Dank für Ihre Aufmerksamkeit

Andreas Kuczera | https://studiengang-digitale-methodik.pages.gitlab.rlp.net/modul-5/5c/slides/graphentechnologien/
Beispielprojekte: NeG | RI | DTA
CC-BY 4.0