Verfahren

PAS

Einführungsbeitrag

Diese DIN DKE SPEC legt Anforderungen fest für das Labelling von Trainingsdaten für QA-Systeme und legt die Merkmale von Labells fest. Darüber hinaus werden Begriffe im Zusammenhang mit NLP und Labelling definiert. Während einige der Leitlinien auch für andere Arten von NLP- oder machine learning Anwendungen gelten, liegt der Schwerpunkt dieses Dokuments speziell auf Question-Answering-Systemen. Die in diesem Dokument vorgestellten Leitlinien decken die Anforderungen an den Labelling-Prozess, das Onboarding, das Tooling und die Ergonomie sowie die QCA für Open-Domain-QA ab. Es werden drei verschiedene Methoden für Qualitätskontrollmechanismen vorgestellt und bewertet. Dieses Dokument ist auf alle Branchen, Themen, Sprachen, Dokumenttypen und Anwendungsfälle anwendbar. Das Labelling wird verwendet, um NLP-Modelle auf bestimmte Domänen zuzuschneiden. Dementsprechend sind die Prozessanforderungen unabhängig von der Domäne gültig. Darüber hinaus enthält dieses Dokument Richtlinien für die Einrichtung eines Labelling-Prozesses. Darüber hinaus gibt es keine Einschränkung der Anwendbarkeit in Bezug auf die zugrunde liegenden technischen Grundlagen. Dieses Dokument gilt für alle Sprachmodelle und Modellparameter. Die Implikationen dieses Dokuments gelten unabhängig von Programmiersprachen, gewählten IT-Umgebungen, Benutzerschnittstellen oder Bereitstellungsmethoden. Dieses Dokument konzentriert sich auf Open-Domain (textbasierte) QA und deckt nicht die QA für Wissensgraphen oder relationale Datenbanken ab. Dieses Dokument enthält keine Definition eines Modells für Labels. Es legt auch kein System für die Kennzeichnung fest.