Refine
Document Type
- Report (6)
- Bachelor Thesis (1)
- Conference Proceeding (1)
Has Fulltext
- yes (8)
Is part of the Bibliography
- no (8)
Keywords
- E-Assessment (8) (remove)
Institute
- Fakultät IV - Wirtschaft und Informatik (8) (remove)
At University of Applied Sciences and Arts Hannover, LON-CAPA is used as a learning management system beside Moodle. LON-CAPA has a strong focus on e-assessment in mathematics and sciences. We used LON-CAPA in Hannover mainly in mathematics courses.
Since theoretical computer science needs a lot of mathematics, this course is also well-suited for e-assessment in LON-CAPA. Beside this, we already used JFLAP as an interactive tool to deal with automata, machines and grammars in theoretical computer science. In LON-CAPA, there exists a possibility of using external graders to grade problems.
We decided to write a grading engine (with JFLAP inside) to grade automata, machines and grammars handed in by students and to couple this with LON-CAPA. This report describes the types of questions that are now possible with this grader and how they can be authored in LON-CAPA.
Automatisiert bewertbare Programmieraufgaben dienen Studierenden zum Einüben von Programmierfertigkeiten. Die Verfügbarkeit von mehreren verschiedenen Aufgaben, die denselben Stoff abdecken, ist für verschiedene Zwecke hilfreich. Eine Programmieraufgabe lässt sich durch Einführung von Variationspunkten variabel gestalten. Die hierbei entstehende Aufgabenschablone ist Ausgangsbasis der sogenannten Materialisierung, der automatischen Generierung konkreter Aufgaben. Der vorliegende Beitrag stellt ein Datenmodell mit dem Ziel vor, sowohl die Auswahl von Variationspunktwerten als auch die automatische Materialisierung auf verschiedenen Systemen in verschiedenen Programmiersprachen zu unterstützen. Das vorgeschlagene Datenformat ermöglicht Lernmanagementsystemen die Unterstützung variabler Programmieraufgaben bei gleichzeitiger Unkenntnis des eingesetzten Autobewerters.
Automatisiert bewertbare Programmieraufgaben definieren Tests, die auf Einreichungen angewendet werden. Da Testergebnisse nicht mit Bewertungsergebnissen gleichzusetzen sind, schlagen wir ein Beschreibungsformat vor, das Testergebnisse auf Bewertungsergebnisse abbildet. Lehrkräfte können die Abbildungsvorschrift an ihren Lehrkontext anpassen. Der Vorschlag ist unabhängig von den beteiligten Autobewertern, von den eingesetzten Benutzungsschnittstellen und von der zu lernenden Programmiersprache einsetzbar. Das Format basiert auf verschachtelten Bewertungskategorien, welche um ein Nullifikationen-Konzept ergänzt werden. Letzteres sucht einen Ausgleich im Spannungsfeld zwischen einem für Studierende einfach verständlichen Bewertungsergebnis und den Eigenarten der eigentlich nicht für Bewertungszwecke erfundenen, nichtsdestotrotz regelmäßig und sinnvollerweise für Bewertungszwecke eingesetzten Softwarewerkzeuge.
Ein Schnittstellen-Datenmodell der Variabilität in automatisch bewerteten Programmieraufgaben
(2018)
Automatisch bewertete, variable Programmieraufgaben stellen besondere Schnittstellenanforderungen an Autobewerter (Grader) und Lernmanagementsysteme (LMS). Um Wiederverwendung von Aufgaben über Systemgrenzen hinweg zu begünstigen, schlagen wir vor, Aufgabenschablonen durch eine von allen beteiligten Systemen genutzte Middleware zu instanziieren und dabei Variabilitätsinformationen in einem Schnittstellen-Datenmodell zu transportieren. Wir stellen ein solches Datenmodell vor, welches für die Grader-unabhängige Kommunikation mit LMS ausgelegt ist und beispielhaft im Autobewerter Graja implementiert wurde. Zudem wird eine Dialogkomponente für die manuelle Werteauswahl vorgestellt, die auch bei großen Wertemengen effizient und Grader-unabhängig einsetzbar ist. Die Eignung des Dialogs und des Datenmodells wird anhand eines typischen Bewertungsszenarios diskutiert.
Wir führen schrittweise in den Einsatz einer Java-Bibliothek ein, um Variationspunkte und deren Wertemengen in automatisiert bewerteten Programmieraufgaben zu spezifizieren und als XML-Datei zu exportieren. Solche Variationspunkte kommen bei individualisierbaren Programmieraufgaben zum Einsatz, bei denen jede Studentin und jeder Student eine eigene Variante einer Programmieraufgabe erhält.
Automatische Bewertungssysteme für Programmieraufgaben (Grader) sind komplexe Softwaresysteme. Automatisch ausführbare Regressionstests können kostengünstig potenzielle Fehler im Grader aufdecken. Im vorliegenden Beitrag soll beschrieben werden, wie Musterlösungen als Eingabedaten für automatische Regressionstests fungieren können. Es geht also um die Vorstellung einer Lösung eines Software Engineering Problems für E-Learning-Systeme. Wir betrachten, welche Eigenschaften des ProFormA-Aufgabenformats für automatische Regressionstests genutzt werden können und schlagen Erweiterungen des Formats vor. Der Beitrag beschreibt die beispielhafte Implementierung eines automatischen Black Box Systemtests für den Autobewerter Graja und geht dabei u. a. auf die Gestaltung eines Record-Playback-Vorgehens, auf einen unscharfen Soll-Ist-Vergleich sowie auf die Frage der Lokalisierbarkeit von entdeckten Regressionen ein.
Diese Bachelorarbeit befasst sich mit der Entwicklung eines generischen XML-Editors für das ProFormA-Aufgabenformat. ProFormA ermöglicht einen Aufgabenaustausch zwischen Hochschulen, Lernmanagementsystemen und Gradern. Aufgaben werden von Lehrkräften genutzt und für ihren individuellen Lehrkontext angepasst. Weil das manuelle Editieren von ProFormA-Aufgaben durch XML, Erweiterbarkeit und Komplexität des Formats erschwert wird, muss ein XML-Editor entwickelt werden, der generische Mechanismen implementiert, die das Anzeigen, Editieren, Hinzufügen und Entfernen von ProFormA- und Fremdformatelementen ermöglichen.
Wir beschreiben eine Möglichkeit, Variationspunkte und deren Varianten in automatisiert bewerteten Programmieraufgaben zu spezifizieren. Solche Variationspunkte kommen bei individualisierbaren Programmieraufgaben zum Einsatz, bei denen jede Studentin und jeder Student eine eigene Variante einer Programmieraufgabe erhält. Die Varianten werden automatisch gebildet, indem an definierten Variationspunkten immer wieder andere, konkrete Werte eingesetzt werden. Schon bei sehr einfachen Aufgaben bestehen Abhängigkeiten zwischen den einzelnen Variationspunkten, die bei der Wahl der konkreten Werte zu berücksichtigen sind. Zudem kann die Menge der gültigen Werte auch bei einfachen Aufgaben so groß werden, dass die vollständige Auflistung aller Wertkombinationen an Ressourcengrenzen scheitert. Die vorgestellte Spezifikation verwendet eine kompakte und für Aufgabenautoren verständliche Sprache, die eine automatische Auswahl von korrekten, den Abhängigkeiten gehorchenden Wertekombinationen ermöglicht. Die Sprache ist unabhängig von den Erfordernissen eines bestimmten Autobewerters und versetzt Frontend- und Backendsysteme in verschiedenen technischen Ökosystemen in die Lage, ausgewählte Werte einer sehr großen Wertemenge zu generieren, deren Abhängigkeiten zu prüfen, sowie ggf. bestimmte Wertbelegungen in einem benutzerfreundlichen Dialog auszuwählen. Wir unterstützen Variationspunkte mit endlichen Mengen vorzugebender diskreter Werte sowie kontinuierliche Wertebereiche, die durch eine vorzugebende Anzahl von Samples diskretisiert werden. Wir beschäftigen uns insbesondere mit der Frage, wie lange Auflistungen gültiger Wertkombinationen durch die Angabe von Ableitungsvorschriften ersetzt werden können. Ein besonderes Augenmerk legen wir auf eine redundanzfreie Beschreibung der Variantenmenge. Die Notation setzt auf XML und Javascript in der Annahme, dass diese Technologien in allen beteiligten Systemen zur Verfügung stehen können.