Konfiguration der Begutachtungsfunktionen

Inhaltsverzeichnis
1. Fragestellungen als Hilfe zur Vorbereitung
2. Ablauf aus Gutachtersicht
3. Übersicht über Schritte und Optionen
4. Haupteinstellungen
5. Auswahl thematischer Prioritäten
6. Gebotsphase für Gutachter
7. Erwiderungen von Autoren
8. Bewertung von Gutachten durch Autoren
9. Online Forum für Programmkomitee
10. Ergebnisse für Autoren sichtbar machen
11. Konfiguration des Begutachtungsformulars
12. Annahmestatus

Ein entscheidender Faktor für den Erfolg und die Akzeptanz einer jeden wissenschaftlichen Konferenz ist die Qualität der Vorträge und Präsentationen. Aus diesem Grund sollten Sie sicherstellen, dass der von Ihnen vorgesehene Einreichungs- und Begutachtungsprozess korrekt in ConfTool Pro konfiguriert wird.

Jeder Konferenzorganisator hat eigene Vorstellungen vom Ablauf des Begutachtungsprozesses. Einige hierbei auftretende Fragen lauten: Wie viele Gutachter werden pro Einreichung benötigt? Soll die Begutachtung offen, einfachblind oder doppelblind erfolgen? Sollen nur die eingereichten Zusammenfassungen/Abstracts begutachtet werden, nur die Full Paper Einreichungen oder beides? Welche Kriterien sollen für die Begutachtung herangezogen werden, und soll die Bewertung mittels Punktevergabe, schriftlicher Kommentare oder einer Kombination aus beidem erfolgen?

Diese Anleitung erläutert Ihnen im Folgenden ausführlich die Konfigurationsmöglichkeiten für den Begutachtungsprozess, die Ihnen das entsprechende Modul in ConfTool Pro bietet. Sollten Sie zum ersten Mal eine Konferenz organisieren, so folgen Sie der Anleitung einfach Schritt für Schritt. Organisatoren, die bereits mit ConfTool Pro vertraut sind, können die Anleitung nutzen, um sich gezielt und detailliert über einzelne Punkte zu informieren.

Bitte beachten Sie, dass einige der Einstellungen des Begutachtungsmoduls eng mit denen des Einreichungsmoduls verknüpft sind. Sie sollten deshalb zunächst die Konfiguration des Einreichungsprozesses verstanden und erfolgreich abgeschlossen haben. Alle hierfür relevanten Informationen finden Sie unter folgendem Link: Konfiguration der Beitragseinreichung.

Die Anleitung beginnt mit einer Reihe von Fragen, die Ihnen helfen sollen, die Strategie hinter Ihrem Begutachtungsprozess festzulegen. Anschließend folgt ein kurzer Überblick über den Ablauf des Begutachtungsprozesses aus Sicht eines Gutachters, um die Konzepte von ConfTool Pro zu veranschaulichen. Dann folgen in einer Übersicht Erläuterungen zu den wichtigsten Optionen und Einstellungsmöglichkeiten des Begutachtungsmoduls und zur Konfiguration des Begutachtungsformulars. Schließlich haben wir noch einige Hinweise zum letzten Schritt des Begutachtungsprozesses zusammengestellt, bei dem jedem Beitrag ein Annahmestatus zugewiesen wird. Erläuterungen zu allen Optionen und Einstellungsmöglichkeiten finden Sie auch online auf den jeweiligen Konfigurationsseiten des Systems sowie in unserem Online-Forum. Hier werden auch Fragen zu weniger häufig genutzten Optionen beantwortet.

1. Fragestellungen als Hilfe zur Vorbereitung der Konfiguration

  • Wie sollen Gutachter für Ihre Veranstaltung rekrutiert werden? Haben die Gutachter bereits zugesagt oder sollen sie zunächst eingeladen werden?
  • Wie viele Gutachter werden pro Einreichung mindestens benötigt?
  • Welche Phasen hat Ihr Begutachtungsprozess und wie lange dauern diese jeweils?
  • Soll ein Einfachblind- oder Doppelblind-Begutachtungsprozess erfolgen?
  • Ist ein offener Begutachtungsprozess ohne Anonymisierung vorgesehen?
  • Wie viele Einreichungen wollen Sie für Ihre Veranstaltung annehmen?
  • Welche Begutachtungskriterien sollen Anwendung finden?
  • Wie sollen die einzelnen Kriterien gewichtet werden?
  • Welche Gründe sollen eine Ablehnung eines Beitrages rechtfertigen?
  • Welche Kriterien sollen einen Interessenkonflikt (Conflict of Interest, COI) begründen?
  • Sollen Gutachter die Möglichkeit erhalten, die Beurteilung eines Beitrages zu verweigern?
  • Sollen nur Abstracts oder hochgeladene Full-Paper Manuskripte begutachtet werden?
  • Benötigen Sie einen zweiphasigen Begutachtungsprozess? (Weitere Informationen hierzu finden Sie im Support Forum.).
  • Welche Details der Begutachtungsergebnisse sollen den Autoren mitgeteilt werden? Sollen schriftliche Kommentare und/oder Punktebewertungen mitgeteilt werden?
  • Soll es eine Erwiderungsphase (Rebuttal) für Autoren geben, in der diese die von Gutachtern vorgenommenen Bewertungen kommentieren können (entweder nur textlich oder mit einer eigenen Bewertung jedes Gutachtens)?
  • Gibt es eine Phase für das Einreichen der Endversion, in der Autoren eine überarbeitete finale Version ihres angenommenen Beitrages unter Berücksichtigung der Gutachterkommentare hochladen können?
  • Soll Autoren die Möglichkeit gegeben werden, die erhaltenen Gutachten einzeln zu bewerten?
Abbildung 1: Beispiel-Einreichungsformular | Zum Vergrößern bitte anklicken

2. Der Ablauf des Begutachtungsprozesses aus Gutachtersicht

Kurzer Überblick

Die Durchführung des Begutachtungsprozesses in ConfTool ist für die Gutachter einfach.

Zunächst benötigen alle Gutachter ein Benutzerkonto, damit sie am Begutachtungsprozess teilnehmen können. Die Organisatoren können damit die Einreichungen den Gutachtern zuweisen und die Gutachter haben über ihr Benutzerkonto Zugriff auf die ihnen zur Beurteilung zugewiesenen Einreichungen.

Die Benutzerkonten mit der Benutzerrolle “Gutachter” können manuell im Backend erstellt werden. Eine weitere Möglichkeit ist der Import von Benutzern mit Hilfe der ConfTool Import-Funktion. Hierzu erstellen Sie einfach in Excel eine Liste mit Vor- und Zunamen sowie E-Mail-Anschriften aller Gutachter und folgen dann den Anweisungen zum Import von Benutzern. Falls die Gutachter ihre Teilnahme noch nicht bestätigt haben, können Sie auch zunächst Einladungen mit Hilfe der Einladungsfunktion von ConfTool Pro versenden.

Als nächstes erfolgt die Beitragszuweisung an die Gutachter. Dieses kann entweder automatisch oder manuell erfolgen.

Anschließend können Sie die Begutachtungsphase aktivieren.

Informieren Sie nun die Gutachter mit Hilfe der Serien-E-Mail Funktion darüber, dass der Begutachtungsprozess beginnen kann.

Das Benutzerkonto für Gutachter

Wenn sich Gutachter in ihr Benutzerkonto einloggen, sehen sie auf der dargestellten Übersichtsseite mindestens zwei Abschnitte. Alle Optionen, die für den Begutachtungsprozess benötigt werden, finden sie im Abschnitt „Sie wurden als Gutachter nominiert. Sie haben momentan folgende Möglichkeiten:“ (siehe Abbildung 2).

Abbildung 2: Benutzerkonto Gutachter mit Optionen | Zum Vergrößern bitte anklicken

3. Übersicht über die einzelnen Schritte und Optionen

Der Begutachtungsprozess kann weitere Schritte für Gutachter beinhalten. All diese Schritte werden online via ConfTool Pro durchgeführt:

  • Gutachter können Angaben zu ihren thematischen Prioritäten machen. Diese Informationen erleichtern dann den Vorsitzenden des Programmkomitees die Zuordnung von thematisch passenden Beiträgen und liefern von daher einen wichtigen Beitrag zur Qualitätssicherung des Begutachtungsprozesses (siehe Abbildungen 1 und 2).
  • Während dieser Phase können Gutachter zudem eingeben, wie viele Gutachten sie maximal erstellen möchten (siehe Abbildungen 1 und 3).
  • Nach Ablauf der Frist zur Einreichung von Beiträgen können Gutachter während einer “Gebotsphase” Gebote für bevorzugte Beiträge abgeben. Sie finden hierfür eine Liste aller eingereichten Konferenzbeiträge in ihrem Benutzerkonto. Die Beiträge werden nach der Anzahl der übereinstimmenden Themen aufgeführt und die Gutachter können ihre Präferenzen angeben (bevorzugt, gerne, keine Angabe, ungerne) oder einen Interessenkonflikt anzeigen (siehe Abbildungen 1 und 4).
  • Nach Abschluss dieser Phasen nehmen die Vorsitzenden des Programmkomitees eine Zuweisung der Beiträge an die Gutachter, basierend auf deren Angaben zu thematischen Prioritäten und den Geboten, vor.
  • Nach Aktivierung der Begutachtungsphase finden die Gutachter die ihnen zugewiesenen Beiträge in ihren Benutzerkonten. Nun können sie mit der Eingabe und Bearbeitung der Gutachten beginnen. Sie finden in ihrem Benutzerkonto alle Details zu den Beiträgen (inklusive der hochgeladenen Dateien, falls vorhanden). Diese können sie entweder online lesen oder herunterladen. Die Gutachter können dann ihre Bewertungen online eingeben. Abhängig vom Begutachtungsformular basieren die Gutachten auf vorgegebenen Begutachtungskriterien und/oder Kommentaren in Schriftform.
  • Es ist möglich, Gutachtern Zugriff auf die Begutachtungsergebnisse von anderen Gutachtern zu gewähren. Sie können auch Zugriff auf das Onlineforum erhalten, nachdem sie ihre Gutachten fertiggestellt haben, um dort weitere Kommentare abzugeben bzw. über die Beiträge zu diskutieren.
  • Es ist darüber hinaus möglich, Meta-Gutachter und Experten-Gutachter zu definieren, die immer Zugriff auf alle Gutachten der Beiträge haben, denen sie zugewiesen wurden. Zudem können sie an die anderen Gutachter Nachrichten über das ConfTool-System senden.
  • Mitgliedern des Programmkomitees (PK-Mitgliedern) steht das Onlineforum zu Diskussionszwecken zur Verfügung. Hier können sie die Annahme oder Ablehnung aller Beiträge diskutieren.
  • Organisatoren können Autoren eine Erwiderungsmöglichkeit (Rebuttal) geben. Wenn diese Funktion aktiviert ist, können die Autoren gesammelt auf alle Gutachten antworten, die ihr Beitrag erhalten hat.
  • Als Konsequenz dieser Erwiderungsmöglichkeit für Autoren können Gutachter gegebenenfalls aufgefordert werden, ihre Gutachten noch einmal zu überarbeiten, bzw. ihre Bewertungen unter Berücksichtigung der Autorenkommentare noch einmal zu differenzieren.
  • Autoren können außerdem die Möglichkeit bekommen, die erhaltenen Gutachten einzeln auf einer Punkteskala zu bewerten (Review Ratings) und damit die Qualität der Gutachten bzw. der Arbeit ihrer Gutachter zu beurteilen.
  • Abschließend entscheiden die Vorsitzenden des Programmkomitees unter Berücksichtigung aller für diesen Beitrag vorliegenden Gutachten, Hinweise und Kommentare aus den Onlinediskussionen sowie Autorenerwiderungen bzw. Autorenbewertungen über die Annahme der Beiträge.
  • Wenn die Ergebnisse der Begutachtung veröffentlicht sind, können Autoren von akzeptierten Beiträge aufgefordert werden, eine Endversion (Camera-ready Copy) ihres Beitrages hochzuladen, die die Gutachterkommentare sowie die endgültigen Ergebnisse des Programmkomitees berücksichtigt.

4. Überblick über die Konfigurationsmöglichkeiten

Sie finden die meisten Optionen im Abschnitt “Einstellungen für die Beitrags- und Gutachtenverwaltung des ConfTools”. Wenn Sie die einzelnen Konferenztracks/Beitragstypen konfigurieren, finden Sie dort weitere, spezifische Optionen (siehe Abbildung 3).

Abbildung 3: Überblick über die Review-Konfigurationsmöglichkeiten | Zum Vergrößern bitte anklicken

Lassen Sie uns mit den Haupteinstellungen für die Begutachtungsfunktionen beginnen:
Überblick => Einstellungen => Haupteinstellungen für die Begutachtungsfunktionen
(Overview => Settings => Main Setting for Paper Reviewing)

Auf dieser Seite können allgemeine Einstellungen, wie Deadlines, Zugriffsrechte und Einstellungen zur Anzeige konfiguriert werden. Viele dieser Möglichkeiten werden direkt im Programm bei der entsprechenden Option erläutert. Wir beschränken uns daher im Folgenden nur auf die wichtigsten Einstellungsmöglichkeiten.

Einstellungen zur Anzeige

Im Abschnitt “Einstellungen zur Anzeige” können Sie einen kurzen einführenden Text für die Seite “Gutachten eingeben und bearbeiten” eingeben. Dieser Text wird den Gutachtern bei Aufruf dieser Seite oberhalb der Liste der zu begutachtenden Beiträge angezeigt. Aus praktischen Gründen empfehlen wir, diesen begleitenden Text möglichst kurz zu halten. Wenn Sie den Gutachtern weiterführende Erläuterungen geben möchten, ist es sinnvoll, in diesem kurzen Text einen Link auf eine externe Seite einzufügen, auf der Sie dann ausführliche Erklärungen präsentieren.

Im folgenden Abschnitt “Begutachtungsphase für eingereichte Beiträge” wird das Begutachtungsmodul durch Setzen eines Häkchens in der Checkbox “Modul aktivieren” eingeschaltet. Nach der Aktivierung steht die Option “Datum für Beginn und Ende angeben” zur Verfügung. Hier geben Sie bitte die entsprechenden Daten ein, so dass die Begutachtungsphase automatisch zu den jeweiligen Terminen anfängt bzw. endet (siehe Abbildung 4).

Abbildung 4: Anzeigemöglichkeiten und Begutachtungsphase | Zum Vergrößern bitte anklicken

Begutachtungsoptionen

Fahren wir mit dem Bereich „Optionen für den Begutachtungsprozess“ fort. Hier stehen Ihnen für die Option “Methode zur Identifizierung von Interessenkonflikten” zwei Einstellungen zur Verfügung, mit denen ConfTool potentielle Interessenkonflikte zwischen den Autoren eines Beitrages und ihren möglichen Gutachtern erkennen soll. Das System gleicht – je nach Auswahl der Methode – verschiedene Parameter ab: Grundsätzlich vergleicht es die E-Mail Adressen von Autoren und Co-Autoren mit denen der Gutachter, optional auch die Organisationszugehörigkeiten von Autoren und Gutachtern sowie die Domain-Namen der E-Mail-Anschriften. Eine Warnung (siehe Abbildung 5) erfolgt, wenn hierbei Übereinstimmungen identifiziert werden.

Abbildung 5: Warnung vor einem Interessenkonflikt | Zum Vergrößern bitte anklicken

Die beiden nächsten Optionen „Meta-Gutachten aktivieren“ und „Experten-Gutachten aktivieren“ sind nahezu identisch. Wenn eine dieser Optionen (oder beide gleichzeitig) aktiviert werden, stehen Ihnen die Status “Meta-Gutachter” und “Experten-Gutachter” zur Verfügung. Gutachter mit diesem Status erhalten Lesezugang zu allen weiteren Gutachten der Ihnen zugewiesenen Beiträge und können die anderen Gutachter per E-Mail und die ConfTool-Nachrichtenfunktion kontaktieren, um sie z. B. an Fristen zu erinnern. Zudem können Meta- oder Experten-Gutachter die verschiedenen Begutachtungsergebnisse in ihrem eigenen Gutachten zusammenfassen.

Falls Sie jedem Gutachter eine größere Anzahl an Gutachten zuweisen möchten, schalten Sie bitte die Option “Filterfunktion für die Gutachter aktivieren” ein. Gutachter können nun auf der Seite "Gutachten bearbeiten" nach Tracks/Beitragstyp sowie nach noch unerledigten Gutachten filtern.

In einigen Fällen erweist sich die Option “Gutachten abschließen (finalisieren)?” als praktisch. Ist sie aktiviert, können die Gutachter ihre Gutachten nach Speicherung der Endversion nicht mehr überarbeiten. Ist die Option deaktiviert, können alle Gutachten bis zur Deadline aktualisiert werden.

Sollen Gutachter die Beurteilung eines ihnen zugewiesenen Beitrags verweigern dürfen, so aktivieren Sie die nun folgende Option “Haben Gutachter die Möglichkeit, die Beurteilung eines Beitrages zu verweigern?”. Der Gutachter muss dann einen Grund für seine Ablehnung angeben, und die Vorsitzenden werden per E-Mail über die Verweigerung informiert.

Eine neue Option zur Verwaltung der Ablehnungsgründe einer Begutachtung finden Sie  nun unter folgendem Pfad:
Übersicht => Einstellungen => Verwalten der Gründe für die Verweigerung einer Begutachtung

Für den Fall, dass Ihre Gutachter Zugriff zu den von Autoren hochgeladenen PDF-Dateien erhalten sollen, so lässt sich durch Aktivierung der Option “Wasserzeichen im Hintergrund von PDF Downloads einfügen?” automatisch ein Wasserzeichen "Nur für Gutachtenzwecke" im Hintergrund aller Seiten der von Gutachtern heruntergeladenen PDF-Dateien einfügen.

Im Unterabschnitt “Auswahl der Review-Anzahl” können Sie Ihren Gutachtern / PK-Mitgliedern die Möglichkeit geben, eine maximale Anzahl an Gutachten anzugeben, die sie durchführen wollen. Definieren Sie hierzu bitte einen Auswahlbereich (mindestens/maximal) und geben Sie unter “Anzahl der Gutachten pro Person” die vorgegebene Maximalzahl ein. Diese Anzahl wird während des automatischen Zuweisungsprozesses (wenn möglich) berücksichtigt und den Chairs für den manuellen Zuweisungsprozess angezeigt. Bitte aktivieren Sie die Phase im nächsten Menüpunkt “Gutachter können ihre thematischen Prioritäten auswählen” und geben Sie dort einen Start- sowie einen Endtermin für diese Phase ein, damit Gutachter die maximale Anzahl an Gutachten angeben können (siehe Abbildung 6).

Abbildung 6: Begutachtungsoptionen | Zum Vergrößern bitte anklicken

5. Gutachter können ihre thematischen Prioritäten auswählen

Im nächsten Bereich “Gutachter können ihre thematischen Prioritäten auswählen” können Sie festlegen, ob Gutachter / PK-Mitglieder oder auch alle Benutzer ihre bevorzugten Themen auswählen können. Die Angabe von thematischen Prioritäten erleichtert die Zuweisung geeigneter Beiträge zu den Gutachtern. Bitte aktivieren Sie die Phase und definieren Sie ein Start- und Enddatum. Mit der Option „Auswahl der thematischen Prioritäten“ können Sie festlegen, welche Benutzergruppen die thematischen Prioritäten wählen können. Wird die Option “Überprüfe die Auswahl der Themen beim Login” aktiviert, erfolgt eine automatische Weiterleitung beim Login von Gutachtern / PK-Mitgliedern direkt zur Auswahl der thematischen Prioritäten immer dann, wenn diese ihre Fachgebiete noch nicht ausgewählt haben (siehe Abbildung 7).

Abbildung 7: Auswahl thematischer Prioritäten für Gutachter | Zum Vergrößern bitte anklicken

6. Gebotsphase: Gutachter können ihre Gebote für bevorzugte Beiträge abgeben

Bei der Organisation von Konferenzen kann es sinnvoll sein, eine Phase einzufügen, während der Gutachter die von ihnen bevorzugten Einreichungen auswählen und potentiellen Interessenkonflikte angeben können (Diese Auswahl steht zur Verfügung: bevorzugt - gerne - keine Angabe - ungerne – Konflikt). Die Einstellungen hierfür werden im Abschnitt “Gebotsphase: Gutachter können ihre Gebote für bevorzugte Beiträge abgeben” vorgenommen. Wiederum muss dieses Modul aktiviert und ein Datum für Beginn und Ende der Phase eingegeben werden. Wählen Sie anschließend unter “Anzahl der möglichen Gebote für "gewünschte" Beiträge” die maximale Anzahl an Beiträgen aus, die ein Gutachter als “bevorzugt” auswählen kann (siehe Abbildung 8). Die Gebotsphase kann außerdem für jeden Beitragstypen / Track separat aktiviert werden. Gebote vereinfachen auf diese Weise weiter die Zuweisung von Einreichungen an geeignete Gutachter unter Berücksichtigung eventueller Interessenkonflikte.

Abbildung 8: Gebotsfunktion | Zum Vergrößern bitte Anklicken

7. Erwiderungen für Autoren (“Rebuttal”)

Bei einigen Konferenzen wird es den Autoren ermöglicht, eine Erwiderung auf die von Gutachtern abgegebenen Bewertungen zu geben. Die Erwiderung erfolgt pro Einreichung und gesammelt für alle Gutachten zu der Einreichung, d. h. Autoren können keine individuellen Erwiderungen auf einzelne Gutachten erstellen. Eine Erwiderung wird daher auch allen Gutachtern ihrer Einreichung angezeigt. Die Gutachter können bzw. sollen dann gegebenenfalls ihr Originalgutachten noch einmal unter Berücksichtigung der Autorenkommentare überarbeiten. Schalten Sie die Option „Erwiderungen für Autoren (‚Rebuttal‘) aktivieren“ ein. Unter „Maximale Länge der Erwiderungen“ können Sie die Anzahl an Wörtern festlegen, aus der eine Erwiderung maximal bestehen darf. Vergessen Sie nicht, diese Phase zu aktivieren und bestimmen Sie auch hier wieder ein Datum für Beginn und ein Ende. (siehe Abbildung 9). Gutachter und PK-Mitglieder können die Autorenerwiderungen im Online-Forum (sofern es aktiviert ist, siehe unten) und auf der Seite „Details zum Beitrag“ einer jeden Einreichung einsehen; Administratoren haben zusätzlich die Möglichkeit, alle Beiträge inklusive Gutachten und Autorenerwiderungen als Excel-Datei zu exportieren.

Abbildung 9: Erwiderungen für Autoren | Zum Vergrößern bitte anklicken

8. Aktiviere die Bewertung von Gutachten durch die Autoren

Eine ähnliche Funktion können Sie mit der Option “Aktiviere die Bewertung von Gutachten durch die Autoren” einstellen. Sie ermöglicht es Autoren, jedes Gutachten einzeln zu bewerten. Aktivieren Sie das Modul und legen Sie ein Datum für Beginn und Ende dieser Phase fest. Gutachter / PK-Mitglieder können die von den Autoren vergebenen Bewertungen im Online-Forum (hierfür muss es aktiviert sein, siehe unten) und auf den Detailseiten zu den einzelnen Beiträgen einsehen. Die Angaben der Autoren können helfen, die Qualität von Gutachten bzw. die Arbeit der Gutachter besser einzuschätzen (siehe Abbildung 10).

Bitte konfigurieren Sie die einzelnen Elemente Ihrer Seite zur Gutachtenbewertung unter:
Übersicht => Einstellungen => Verwalte Elemente des Formulars für die Bewertung von Gutachten durch die Autoren
(Overview => Settings => Manage Elements of the Review Rating Form for Authors)

Sie können nun Kategorien für das Formular zur Bewertung von Gutachtern erstellen und die vorgegebenen Kategorien aktivieren oder deaktivieren. Für die Option “Punkteschema für alle Bewertungen” bestimmen Sie die Punktzahl, die ein Gutachten mindestens bzw. maximal erreichen kann. Im nächsten Abschnitt “Textfelder des Formulars für die Bewertung von Gutachten” können Sie festlegen, ob ein Teil der Kommentare an die Gutachter weitergeleitet werden und ein anderer Teil nur an die Mitglieder des Programmkomitees (nicht sichtbar für die Gutachter) gehen soll. Schließlich wählen Sie bitte noch eine geeignete Einstellung für “Sichtbarkeit der Ergebnisse der Bewertung von Gutachten” und legen Sie damit fest, welche Teile der Bewertung durch die Autoren den Gutachtern angezeigt werden sollen.

Abbildung 10: Gutachten-Bewertungen für Autoren | Zum Vergrößern bitte anklicken

9. Einstellungen für die Diskussion im Online-Forum

Im Abschnitt “Einstellungen für die Diskussion im Online-Forum” finden Sie die Optionen einer Online-Diskussionsplattform, auf der die Mitglieder des Programmkomitees alle Einreichungen und die Gutachten anderer Experten einsehen und anderen Mitgliedern ihre Einschätzung zu einzelnen Beiträgen als Bewertungsempfehlung schriftlich mitteilen können. Um dieses Modul zu nutzen, aktivieren Sie es bitte und setzen Sie wieder ein Datum für Beginn und Ende dieser Phase. Sie können pro Beitragstyp/Track separat festlegen, ob eine Diskussion über die Beiträge im Online-Forum möglich sein soll. Mit der Option “Zugriff der Gutachter zu den Gutachten von Co-Rezensenten? / Zugriff der Gutachter auf das Online-Forum?” können Sie auch Gutachtern den Zugriff zu den anderen Gutachten desselben Beitrages und darüber hinaus zum Online-Forum erlauben, allerdings beschränkt auf die Beiträge, die sie selbst begutachten. Mit der Option “Zeige die Namen der Verfasser der Nachrichten an.” können Sie festlegen, welche Benutzergruppen Zugriff auf die Namen der Verfasser von Nachrichten im Forum haben sollen. Falls die von den Autoren hochgeladenen Dateien wichtig für die Diskussionen im Online-Forum sind, dann aktivieren Sie bitte die Option „Zugriff auf die eingereichten Dateien im Online-Forum?“. Wenn die PK-Mitglieder außerdem über das Online-Formular Zugriff auf die Erwiderungen (Rebuttals) und die Bewertung der Gutachten durch die Autoren haben sollen, dann aktivieren Sie bitte die Option „Erwiderungen und/oder Bewertungen von Gutachten im Online-Forum des Programmkomitees verfügbar?“. Diese zusätzlichen Informationen können den PK-Mitgliedern dabei helfen, die bestmögliche Entscheidung zu treffen (siehe Abbildung 11).

Das Online-Forum lässt sich auch für einen anderen Zweck einsetzen: Als Diskussionsplattform über die angenommenen Vorträge, die bereits Sitzungen des Konferenzprogramms im ConfTool zugewiesen wurden. PK-Mitglieder können dann im Forum interne Kommentare über die Präsentationen verfassen und diese allen anderen PK-Mitgliedern zur Verfügung stellen. Aktivieren Sie für diese Funktion die Option „Verknüpfe das Konferenzprogramm mit dem Online-Forum“. Bitte beachten Sie: Es ist ratsam, die Optionen "Eine Bewertungen mit jeder Nachricht im Forum abgeben" und "Diskussion beenden, sobald eine Entscheidung gefällt wurde" zu deaktivieren wenn Sie diese Funktion einsetzen.

Sofern die Option “Eine Bewertungen mit jeder Nachricht im Forum abgeben” aktiviert ist, müssen die PK-Mitglieder begleitend zu jeder von ihnen verfassten Nachricht auch eine Bewertung zum Beitrag ("Annehmen!", "Eher annehmen", "Keine Wertung", "Eher ablehnen", "Ablehnen!") abgeben (siehe Abbildung 12). Die gemittelten Bewertungsergebnisse dienen als Entscheidungshilfe und sind auf der folgenden Seite einsehbar (siehe Abbildung 13):
Übersicht => Beiträge und Gutachten verwalten => Ergebnisse des Begutachtungsprozesses und Entscheidung über die Annahme
(Overview => Submissions & Reviews => Results of the Reviewing Procedure & Decision About Acceptance)

Die Option “Diskussion beenden, sobald eine Entscheidung gefällt wurde” beendet die Online-Diskussion über einen Beitrag, sobald der Annahmestatus von “Offen” auf einen anderen Annahmestatus geändert wurde, für den die Einstellung "Zeige Ergebnis" aktiviert ist.

Abbildung 11: Einstellungen für das Online-Forum | Zum Vergrößern bitte anklicken
Abbildung 12: Eingabe einer Forumsnachricht für PK-Mitglieder | Zum Vergrößern bitte anklicken
Abbildung 13: Übersicht der Forumsnachrichten bei den Review-Ergebnissen | Zum Vergrößern bitte anklicken

10. Die Ergebnisse des Begutachtungsprozesses sind für die Autoren einsehbar

Im letzten Abschnitt “Die Ergebnisse des Begutachtungsprozesses sind für die Autoren einsehbar” legen Sie fest, ab wann die Autoren Zugriff zu den Begutachtungsergebnissen Ihrer Einreichungen haben sollen. Hierbei muss zuvor der Annahmestatus von “Offen” auf einen anderen Status gesetzt werden, für den die Option "Zeige Ergebnis" aktiviert ist. Aktivieren Sie dann die Phase und legen Sie ein Datum für Beginn und Ende fest (siehe Abbildung 14).

Abbildung 14: Zugriff auf die Review-Ergebnisse | Zum Vergrößern bitte anklicken

11. Konfiguration des Begutachtungsformulars in ConfTool Pro

Sie können pro Konferenztrack / Beitragstyp weitere Begutachtungsoptionen und das für diesen Track verwendete Review-Formular festlegen. Öffnen Sie dazu diese Seite:
Übersicht => Einstellungen => Konferenztracks/Beitragstypen bearbeiten
(Overview => Settings => Manage Submission Types and Conference Tracks)
Wählen Sie einen Beitragstyp aus und klicken Sie auf „Bearbeiten“.

Im vorletzten Abschnitt “Optionen für den Begutachtungsprozess” finden Sie die Option „Doppelblind-Begutachtungen“ („Double Blind Reviews“)”. Falls Sie sich für diese Art der Begutachtung entscheiden, werden die Autorennamen vor den Gutachtern verborgen. Allerdings bedeutet das nicht, dass Autoreninformationen aus den von den Autoren hochgeladenen Dateien automatisch entfernt werden. Nur die Dateinamen werden automatisch anonymisiert.

Die Option “Gebote für bevorzugte Gutachten abgeben” kann ebenfalls für jeden Konferenztrack/Beitragstypen separat ein- und ausgeschaltet werden.
Um die Funktion insgesamt zu aktivieren, gehen Sie bitte zu:                  
Übersicht => Einstellungen => Haupteinstellungen für die Begutachtungsfunktionen
(Overview => Settings => Main Setting for Paper Reviewing)

Mit der Option “Gutachten eingeben und bearbeiten” können die Begutachtungsfunktionen für einzelne Konferenztracks/Beitragstypen deaktivieren werden. In diesem Fall ist für die entsprechenden Konferenztracks/Beitragstypen weder die Zuweisung von Gutachtern noch die Eingabe von Gutachten möglich. Diese Option bietet sich an, wenn der Begutachtungsprozess übersprungen werden soll und die Annahme eines Beitrages auf anderen Kriterien beruht, z.B. wenn nur überprüft werden soll, ob der Beitrag insgesamt dem Gesamtthema der Konferenz entspricht oder wenn es sich um eingeladene Beiträge handelt.

Auch die folgende Option “Online-Forum des Programmkomitees” lässt sich für jeden Konferenztrack/Beitragstypen separat ein- und ausschalten. Das Modul muss ebenfalls aktiviert und die Daten für Beginn und Ende definiert sein (wie bereits weiter oben beschrieben). Gehen Sie hierzu auf:
Übersicht => Einstellungen => Haupteinstellungen für die Begutachtungsfunktionen
(Overview => Settings => Main Setting for Paper Reviewing)

Mit der Option “Review-Ergebnis” können Sie für jeden Konferenztrack/Beitragstypen einzeln festlegen, ob den Autoren die kompletten Begutachtungsergebnisse, inklusive Bewertungen und Kommentaren der Gutachter, zur Verfügung gestellt werden (die entsprechende Phase muss zudem ebenfalls aktiviert und ein Datum für Beginn und Ende eingegeben werden). Ist die Option ausgeschaltet, wird den Autoren lediglich der Annahmestatus (für Status bei denen die Option “Zeige Ergebnis” aktiviert ist) ohne die Gutachterkommentare in ihrem Benutzerkonto angezeigt.

Im Abschnitt “Weitere Einstellungen” stehen für die Option “Name der Klasse für Einreichungen” vier verschiedene Standard-Begutachtungsformulare zur Auswahl, die für die einzelnen Konferenztracks / Beitragstypen ausgewählt werden können. Sie finden eine Vorschau der Formulare in der folgenden Liste:

Sollten wir für Ihre Konferenz ein angepasstes Begutachtungsformular programmiert haben, so finden Sie diese spezifische Formularklasse ebenfalls im Dropdown-Menü dieser Option (siehe Abbildung 15).

Abbildung 15: Klassenname des Review-Formulars | Zum Vergrößern bitte anklicken

Eine einfache Möglichkeit, die verschiedenen Formulare anzusehen und zu testen besteht, wenn Sie auf der Seite:

Übersicht => Einstellungen => Konferenztracks / Beitragstypen bearbeiten
(Overview => Settings => Manage Submission Types / Conference Tracks)

einen Konferenztrack / Beitragstypen auswählen und dann im Menü rechts auf „Weitere Funktionen“ und hier auf “Zeige Begutachtungsformular für Track „Name des Tracks““ gehen (siehe Abbildung 16).

Abbildung 16: Vorschau des Begutachtungsformulars | Zum Vergrößern bitte anklicken

Für die Review-Formulare vom Typ „Default“ und „Simple“ können Sie für jedes Kriterium (jede Bewertungskategorie) die Gewichtungsfaktoren festlegen. Gehen Sie hierzu auf diese Seite:

Übersicht => Einstellungen => Gewichtungsfaktoren für die Gutachten
(Overview => Settings => Factors for Reviews)

Nehmen Sie dort die Einstellungen für die einzelnen Kategorien vor. Sie können auf dieser Seite auch einzelne Kriterien deaktivieren. Wir raten dazu, die Option “Empfehlung: Gesamtempfehlung” nicht auf “0%” zu setzen, da diese Einstellung für Gutachter verwirrend sein oder dies zu logisch inkonsistenten Gutachtenergebnissen führen kann. Klicken Sie auf „Text bearbeiten“ wenn Sie die sprachliche Beschreibung der Kategorie anpassen wollen (siehe Abbildung 17). Bitte testen Sie Ihre Anpassungen!

Abbildung 17: Faktoren des Begutachtungsformulars | Zum Vergrößern bitte anklicken

Auf der Seite “Gewichtungsfaktoren für die Gutachten” finden Sie weitere Optionen, die primär für das Begutachtungsformular “Default” Anwendung finden. Wenn Sie die Option “Punktewerte den Autoren anzeigen” deaktivieren, werden den Autoren die einzelnen Begutachtungskriterien (inklusive der Punktewerte) nicht angezeigt. Der Autor bekommt lediglich den Annahmestatus sowie die Kommentare der Gutachter (falls dieses Feld aktiviert war) mitgeteilt.

Sie können für die Option “Wertebereich für die Gesamtpunktzahl“ zwischen zwei Einstellungsmöglichkeiten wählen: Die durchschnittliche Gesamtpunktzahl kann entweder basierend auf den einzelnen zu vergebenden Punkten (0-10) oder der Gesamtpunktzahl der Gutachten (0-100, dies ist der Standard) berechnet werden.

Wenn die Option “Die Vertrautheit des Gutachters” aktiviert ist, müssen Gutachter auf einer Skala zwischen 0 („ein komplett neues Thema für mich“) bis 10 („mein Fachgebiet“) angeben, wie vertraut sie mit dem Themengebiet des zu begutachtenden Beitrags sind. Diese Werte können anschließend auch als Gewichtung in die Gesamtbewertung des Gutachtens einfließen.

Die Option “Kommentare für die Autoren” ist im Normalfall als Pflichtfeld aktiviert. Damit steht den Gutachtern ein Eingabefeld zur Verfügung, in das diese ihre Gutachtenkommentare an die Autoren schreiben können. Diese Kommentare können den Autoren nach der Entscheidung über die Annahme angezeigt werden. In den meisten Fällen ist diese Option empfehlenswert, da diese Kommentare das direkte Feedback von den Gutachtern an die Autoren darstellen und ihnen mit Erläuterungen, Begründungen zur Bewertung, konstruktiver Kritik und Lob hilfreiche Informationen für ihre weitere Arbeit bieten können.

Wenn die nächste Option “Beitrag der Einreichung” aktiviert ist, werden Gutachter aufgefordert, in einem zusätzlichen Eingabefeld die Bedeutung des Beitrags für die weitere wissenschaftliche Forschungsarbeit zu skizzieren. Diesen Kommentar können die Autoren später ebenfalls einsehen.

Wenn Sie einer der nächsten vier Optionen “Best Paper Award”, “Empfehlung als Poster”, “Wesentliche Überarbeitung notwendig” oder “Veto gegen die Annahme” aktivieren, können Gutachter über Checkboxen angeben, ob Sie die jeweilige Aussage der Option als zutreffend erachten. Sobald ein Gutachter eine Checkbox ausgewählt hat, erscheint auf der Liste „Ergebnisse des Begutachtungsprozesses & Entscheidung über die Annahme“ für den Beitrag ein entsprechendes Icon (siehe Abbildung 18):

Abbildung 18: Symbole in der Review-Ergebnisliste | Zum Vergrößern bitte anklicken

Bitte beachten Sie, dass Sie das allgemeine Schema für die Begutachtung anpassen und für jeden einzelnen Konferenztrack/Beitragstyp die Bezeichnungen, Faktoren und Gewichtungen der Gutachtenkategorien verändern können. Denken Sie zunächst daran, dass Sie für die einzelnen Konferenztracks/Beitragstypen verschiedene Begutachtungsformulare wählen können – in vielen Fällen reicht dies bereits aus, um einfachen Anforderungen gerecht zu werden. Sie können darüber hinaus – jeweils abweichend von den Haupteinstellungen für die Gewichtungsfaktoren für die Gutachten – für jeden Konferenztrack/Beitragstyp auch alternative textliche Bezeichnungen für Gutachtenkategorien erstellen, neue Faktoren erstellen (und andere deaktivieren) oder die Gewichtung der einzelnen Faktoren anpassen.

12. Annahmestatus

Die Vergabe eines Annahmestatus ist der letzte Schritt im Begutachtungsprozess. Der Status wird üblicherweise von den Konferenzvorsitzenden (Chairs) basierend auf den Empfehlungen der Gutachter vergeben. Mit ihm wird festgelegt, ob ein Beitrag abgelehnt oder akzeptiert wurde, oder ob eine Überarbeitung notwendig ist.

Wenn eine Veranstaltung mehrere Begutachtungsphasen hat, kann der Status auch definieren, dass ein Beitrag z.B. als Abstract angenommen wurde (“Akzeptiert als Abstract”), aber danach als Full Paper abgelehnt wurde (“Abgelehnt als Full Paper”). Jeder Annahmestatus kann sich zudem auf den Beitragstyp beziehen (“Akzeptiert als mündlicher Vortrag” oder “Akzeptiert als Poster Präsentation”). Außerdem kann der Annahmestatus dafür genutzt werden, einzelne Beiträge zu markieren: Er kann z.B. die Information enthalten, ob die Konferenzgebühr des Autoren bereits entrichtet wurde oder noch nicht (“Akzeptiert – Konferenzgebühr unbezahlt”).

Bitte gehen Sie auf: 
Übersicht => Einstellungen => Annahmestatus verwalten
(Overview => Settings => Manage Acceptance Status)

Hier können Sie Annahmestatus neu anlegen und die Einstellungen für jeden Status einzeln festlegen. Häufig genutzte Annahmestatus, wie “Akzeptiert”, “Abgelehnt” oder “Vorbehalt” sind bereits vordefiniert. Weitere Status können von Ihnen neu angelegt werden, wie z.B. “Akzeptiert als mündlicher Vortrag” oder “Abstract akzeptiert – Full Paper hochladen”. Wenn Sie einen neuen Status anlegen möchten, empfehlen wir, dass Sie einen bereits existierenden Status mit ähnlichen Parametern kopieren und dabei den Namen, die Beschreibungen und die weiteren Parameter entsprechend Ihren Erfordernissen anpassen.

Hinweise:

  • Offen: Es wurde noch nicht endgültig über den Beitrag entschieden” ist die Voreinstellung für jeden eingereichten Beitrag und wird als Status den Autoren nicht angezeigt. Wählen Sie deshalb bitte für jeden Beitrag einen anderen Annahmestatus aus, bei dem die Option “Zeige Ergebnis” aktiviert ist, damit den Autoren die Ergebnisse der Begutachtung in ihrem Konto angezeigt werden.
  • Weitere Optionen finden Sie jeweils in den Experteneinstellungen der Konfigurationsseiten (zur Aktivierung klicken Sie auf das Zahnradsymbol unten rechts in der unteren Navigationsleiste).
  • Weitere Informationen dazu, wie Sie den Annahmestatus für die einzelnen Beiträge setzen, finden Sie auf dieser Seite: Auswertung der Gutachterergebnisse und Setzen des Akzeptanzstatus der Beiträge