Refine
H-BRS Bibliography
- yes (2)
Document Type
- Master's Thesis (2) (remove)
Year of publication
- 2023 (2) (remove)
Has Fulltext
- yes (2) (remove)
Keywords
- ASAG (1)
- Active Learning (1)
- Correlation (1)
- Query method (1)
- Random forest (1)
- Rubrics (1)
- Short answer grading (1)
Auf der einen Seite wird audiovisuellen Medien die Möglichkeit zugeschrieben, ein Abbild der Wirklichkeit zu schaffen – ein Grund dafür, dass sie im Journalismus von zentraler Bedeutung sind. Auf der anderen Seite ermöglichen die technologischen Entwicklungen der letzten Jahre immer einfacher, kostengünstiger und schneller authentisch wirkende Manipulationen zu erstellen. Noch vor zehn Jahren war die Manipulation von Videomaterial, abgesehen von trivialen Operationen auf Bildebene, nur im Rahmen von Filmproduktionen möglich. Das ist inzwischen anders – synthetische Medien, auch als Deepfakes bekannt, sind in aller Munde. So stellen audiovisuelle Manipulationen Redaktionen vor eine zunehmend größere Herausforderung und schaffen es mitunter bereits als vermeintlich authentischer Inhalt in die Berichterstattung. Es stellt sich die Frage: Inwiefern ist und bleibt es möglich, die Authentizität audiovisuellen Materials in Redaktionen sicherzustellen?
Auf der Grundlage von sieben geführten Experteninterviews mit Akteur:innen aus Wissenschaft und Praxis liefert die Arbeit zusätzlich zu einer aktuellen Beschreibung des technischen Sachstandes in Bezug auf Manipulations- und Verifikationsmöglichkeiten eine Beschreibung und Bewertung der existierenden Probleme und potenzieller Lösungen für Redaktionen, sowie eine Einschätzung der zukünftigen Entwicklung relevanter Technologien und den damit verbundenen Auswirkungen. Im Ergebnis zeigt sich, dass technische Hilfsmittel für Verifikationsprozesse in Redaktionen gebraucht werden, es aber kaum möglich ist, allein auf technologischer Ebene die Authentizität audiovisuellen Materials sicherzustellen. Damit einhergehend seien zurzeit nicht fehlende technische Hilfsmittel die größte Herausforderung für Redaktionen bei der Verifikation, sondern vielmehr der Mangel an Zeit.
Interviewt wurden: Dr. Dominique Dresen – Bundesamt für Sicherheit in der Informationstechnik (BSI), Dr. Jutta Jahnel – Karlsruher Institut für Technologie (KIT), Dr. Christian Riess – FAU Erlangen-Nürnberg, Andrea Sauerbier – SPIEGEL, Jochen Spangenberg – u. a. DW Innovation, Johanna Wild – Bellingcat und Dr. Sascha Zmudzinski – Fraunhofer-Institut für Sichere Informationstechnologie (SIT).
This thesis investigates the benefit of rubrics for grading short answers using an active learning mechanism. Automating short answer grading using Natural Language Processing (NLP) is one of the active research areas in the education domain. This could save time for the evaluator and invest more time in preparing for the lecture. Most of the research on short answer grading was treated as a similarity task between reference and student answers. However, grading based on reference answers does not account for partial grades and does not provide feedback. Also, the grading is automatic that tries to replace the evaluator. Hence, using rubrics for short answer grading with active learning eliminates the drawbacks mentioned earlier.
Initially, the proposed approach is evaluated on the Mohler dataset, popularly used to benchmark the methodology. This phase is used to determine the parameters for the proposed approach. Therefore, the approach with the selected parameter exceeds the performance of current State-Of-The-Art (SOTA) methods resulting in the Pearson correlation value of 0.63 and Root Mean Square Error (RMSE) of 0.85. The proposed approach has surpassed the SOTA methods by almost 4%.
Finally, the benchmarked approach is used to grade the short answer based on rubrics instead of reference answers. The proposed approach evaluates short answers from Autonomous Mobile Robot (AMR) dataset to provide scores and feedback (formative assessment) based on the rubrics. The average performance of the dataset results in the Pearson correlation value of 0.61 and RMSE of 0.83. Thus, this research has proven that rubrics-based grading achieves formative assessment without compromising performance. In addition, the rubrics have the advantage of generalizability to all answers.