Inhaltsverzeichnis
1. Fragestellungen als Hilfe zur Vorbereitung
2. Ablauf aus Gutachtersicht
3. Übersicht über Schritte und Optionen
4. Haupteinstellungen
5. Auswahl thematischer Prioritäten
6. Gebotsphase für Gutachter
7. Erwiderungen von Autoren
8. Bewertung von Gutachten durch Autoren
9. Online Forum für Programmkomitee
10. Ergebnisse für Autoren sichtbar machen
11. Konfiguration der Begutachtungsoptionen
12. Konfiguration der Begutachtungsformulare
13. Annahmestatus

Konfiguration der Begutachtungsfunktionen

Ein entscheidender Faktor für den Erfolg und die Akzeptanz einer jeden wissenschaftlichen Konferenz ist die Qualität der Vorträge und Präsentationen. Aus diesem Grund sollten Sie sicherstellen, dass der von Ihnen vorgesehene Einreichungs- und Begutachtungsprozess korrekt in ConfTool Pro konfiguriert wird.

Jeder Konferenzorganisator hat eigene Vorstellungen vom Ablauf des Begutachtungsprozesses. Einige hierbei auftretende Fragen lauten: Wie viele Gutachter werden pro Einreichung benötigt? Soll die Begutachtung offen, einfachblind oder doppelblind erfolgen? Sollen nur die eingereichten Zusammenfassungen/Abstracts begutachtet werden, nur die Full Paper Einreichungen oder beides? Welche Kriterien sollen für die Begutachtung herangezogen werden, und soll die Bewertung mittels Punktevergabe, schriftlicher Kommentare oder einer Kombination aus beidem erfolgen?

Diese Anleitung erläutert Ihnen im Folgenden ausführlich die Konfigurationsmöglichkeiten für den Begutachtungsprozess, die Ihnen das entsprechende Modul in ConfTool Pro bietet. Sollten Sie zum ersten Mal eine Konferenz organisieren, so folgen Sie der Anleitung einfach Schritt für Schritt. Organisatoren, die bereits mit ConfTool Pro vertraut sind, können die Anleitung nutzen, um sich gezielt und detailliert über einzelne Punkte zu informieren.

Bitte beachten Sie, dass einige der Einstellungen des Begutachtungsmoduls eng mit denen des Einreichungsmoduls verknüpft sind. Sie sollten deshalb zunächst die Konfiguration des Einreichungsprozesses verstanden und erfolgreich abgeschlossen haben. Alle hierfür relevanten Informationen finden Sie unter folgendem Link: Konfiguration der Beitragseinreichung.

Die Anleitung beginnt mit einer Reihe von Fragen, die Ihnen helfen sollen, die Strategie hinter Ihrem Begutachtungsprozess festzulegen. Anschließend folgt ein kurzer Überblick über den Ablauf des Begutachtungsprozesses aus Sicht eines Gutachters, um die Konzepte von ConfTool Pro zu veranschaulichen. Dann folgen in einer Übersicht Erläuterungen zu den wichtigsten Optionen und Einstellungsmöglichkeiten des Begutachtungsmoduls und zur Konfiguration des Begutachtungsformulars. Schließlich haben wir noch einige Hinweise zum letzten Schritt des Begutachtungsprozesses zusammengestellt, bei dem jedem Beitrag ein Annahmestatus zugewiesen wird. Erläuterungen zu allen Optionen und Einstellungsmöglichkeiten finden Sie auch online auf den jeweiligen Konfigurationsseiten des Systems sowie in unserem Online-Forum. Hier werden auch Fragen zu weniger häufig genutzten Optionen beantwortet.

1. Fragestellungen als Hilfe zur Vorbereitung der Konfiguration

  • Wie sollen Gutachter für Ihre Veranstaltung rekrutiert werden? Haben die Gutachter bereits zugesagt oder sollen sie zunächst eingeladen werden?
  • Wie viele Gutachter werden pro Einreichung mindestens benötigt?
  • Welche Phasen hat Ihr Begutachtungsprozess und wie lange dauern diese jeweils?
  • Soll ein Einfachblind- oder Doppelblind-Begutachtungsprozess erfolgen?
  • Ist ein offener Begutachtungsprozess ohne Anonymisierung vorgesehen?
  • Wie viele Einreichungen wollen Sie für Ihre Veranstaltung annehmen?
  • Welche Begutachtungskriterien sollen Anwendung finden?
  • Wie sollen die einzelnen Kriterien gewichtet werden?
  • Welche Gründe sollen eine Ablehnung eines Beitrages rechtfertigen?
  • Welche Kriterien sollen einen Interessenkonflikt (Conflict of Interest, COI) begründen?
  • Sollen Gutachter die Möglichkeit erhalten, die Beurteilung eines Beitrages zu verweigern?
  • Sollen nur Abstracts oder hochgeladene Full-Paper Manuskripte begutachtet werden?
  • Benötigen Sie einen zweiphasigen Begutachtungsprozess? (Weitere Informationen hierzu finden Sie im Support Forum.).
  • Welche Details der Begutachtungsergebnisse sollen den Autoren mitgeteilt werden? Sollen schriftliche Kommentare und/oder Punktebewertungen mitgeteilt werden?
  • Soll es eine Erwiderungsphase (Rebuttal) für Autoren geben, in der diese die von Gutachtern vorgenommenen Bewertungen kommentieren können (entweder nur textlich oder mit einer eigenen Bewertung jedes Gutachtens)?
  • Gibt es eine Phase für das Einreichen der Endversion, in der Autoren eine überarbeitete finale Version ihres angenommenen Beitrages unter Berücksichtigung der Gutachterkommentare hochladen können?
  • Soll Autoren die Möglichkeit gegeben werden, die erhaltenen Gutachten einzeln zu bewerten?

2. Der Ablauf des Begutachtungsprozesses aus Gutachtersicht

Kurzer Überblick

Die Durchführung des Begutachtungsprozesses in ConfTool ist für die Gutachter einfach.

Zunächst benötigen alle Gutachter ein Benutzerkonto, damit sie am Begutachtungsprozess teilnehmen können. Die Organisatoren können damit die Einreichungen den Gutachtern zuweisen und die Gutachter haben über ihr Benutzerkonto Zugriff auf die ihnen zur Beurteilung zugewiesenen Einreichungen.

Die Benutzerkonten mit der Benutzerrolle “Gutachter” können manuell im Backend erstellt werden. Eine weitere Möglichkeit ist der Import von Benutzern mit Hilfe der ConfTool Import-Funktion. Hierzu erstellen Sie einfach in Excel eine Liste mit Vor- und Zunamen sowie E-Mail-Anschriften aller Gutachter und folgen dann den Anweisungen zum Import von Benutzern. Falls die Gutachter ihre Teilnahme noch nicht bestätigt haben, können Sie auch zunächst Einladungen mit Hilfe der Einladungsfunktion von ConfTool Pro versenden.

Als nächstes erfolgt die Beitragszuweisung an die Gutachter. Dieses kann entweder automatisch oder manuell erfolgen.

Anschließend können Sie die Begutachtungsphase aktivieren.

Informieren Sie nun die Gutachter mit Hilfe der Serien-E-Mail Funktion darüber, dass der Begutachtungsprozess beginnen kann.

Das Benutzerkonto für Gutachter

Wenn sich Gutachter in ihr Benutzerkonto einloggen, sehen sie auf der dargestellten Übersichtsseite mindestens zwei Abschnitte. Alle Optionen, die für den Begutachtungsprozess benötigt werden, finden sie im Abschnitt „Sie wurden als Gutachter nominiert. Sie haben momentan folgende Möglichkeiten:“ (siehe Abbildung 2).

3. Übersicht über die einzelnen Schritte und Optionen

Der Begutachtungsprozess kann weitere Schritte für Gutachter beinhalten. All diese Schritte werden online via ConfTool Pro durchgeführt:

  • Gutachter können Angaben zu ihren thematischen Prioritäten machen. Diese Informationen erleichtern dann den Vorsitzenden des Programmkomitees die Zuordnung von thematisch passenden Beiträgen und liefern von daher einen wichtigen Beitrag zur Qualitätssicherung des Begutachtungsprozesses (siehe Abbildungen 1 und 2).
  • Während dieser Phase können Gutachter zudem eingeben, wie viele Gutachten sie maximal erstellen möchten (siehe Abbildungen 1 und 3).
  • Nach Ablauf der Frist zur Einreichung von Beiträgen können Gutachter während einer “Gebotsphase” Gebote für bevorzugte Beiträge abgeben. Sie finden hierfür eine Liste aller eingereichten Konferenzbeiträge in ihrem Benutzerkonto. Die Beiträge werden nach der Anzahl der übereinstimmenden Themen aufgeführt und die Gutachter können ihre Präferenzen angeben (bevorzugt, gerne, keine Angabe, ungerne) oder einen Interessenkonflikt anzeigen (siehe Abbildungen 1 und 4).
  • Nach Abschluss dieser Phasen nehmen die Vorsitzenden des Programmkomitees eine Zuweisung der Beiträge an die Gutachter, basierend auf deren Angaben zu thematischen Prioritäten und den Geboten, vor.
  • Nach Aktivierung der Begutachtungsphase finden die Gutachter die ihnen zugewiesenen Beiträge in ihren Benutzerkonten. Nun können sie mit der Eingabe und Bearbeitung der Gutachten beginnen. Sie finden in ihrem Benutzerkonto alle Details zu den Beiträgen (inklusive der hochgeladenen Dateien, falls vorhanden). Diese können sie entweder online lesen oder herunterladen. Die Gutachter können dann ihre Bewertungen online eingeben. Abhängig vom Begutachtungsformular basieren die Gutachten auf vorgegebenen Begutachtungskriterien und/oder Kommentaren in Schriftform.
  • Es ist möglich, Gutachtern Zugriff auf die Begutachtungsergebnisse von anderen Gutachtern zu gewähren. Sie können auch Zugriff auf das Onlineforum erhalten, nachdem sie ihre Gutachten fertiggestellt haben, um dort weitere Kommentare abzugeben bzw. über die Beiträge zu diskutieren.
  • Es ist darüber hinaus möglich, Meta-Gutachter und Experten-Gutachter zu definieren, die immer Zugriff auf alle Gutachten der Beiträge haben, denen sie zugewiesen wurden. Zudem können sie an die anderen Gutachter Nachrichten über das ConfTool-System senden.
  • Mitgliedern des Programmkomitees (PK-Mitgliedern) steht das Onlineforum zu Diskussionszwecken zur Verfügung. Hier können sie die Annahme oder Ablehnung aller Beiträge diskutieren.
  • Organisatoren können Autoren eine Erwiderungsmöglichkeit (Rebuttal) geben. Wenn diese Funktion aktiviert ist, können die Autoren gesammelt auf alle Gutachten antworten, die ihr Beitrag erhalten hat.
  • Als Konsequenz dieser Erwiderungsmöglichkeit für Autoren können Gutachter gegebenenfalls aufgefordert werden, ihre Gutachten noch einmal zu überarbeiten, bzw. ihre Bewertungen unter Berücksichtigung der Autorenkommentare noch einmal zu differenzieren.
  • Autoren können außerdem die Möglichkeit bekommen, die erhaltenen Gutachten einzeln auf einer Punkteskala zu bewerten (Review Ratings) und damit die Qualität der Gutachten bzw. der Arbeit ihrer Gutachter zu beurteilen.
  • Abschließend entscheiden die Vorsitzenden des Programmkomitees unter Berücksichtigung aller für diesen Beitrag vorliegenden Gutachten, Hinweise und Kommentare aus den Onlinediskussionen sowie Autorenerwiderungen bzw. Autorenbewertungen über die Annahme der Beiträge.
  • Wenn die Ergebnisse der Begutachtung veröffentlicht sind, können Autoren von akzeptierten Beiträge aufgefordert werden, eine Endversion (Camera-ready Copy) ihres Beitrages hochzuladen, die die Gutachterkommentare sowie die endgültigen Ergebnisse des Programmkomitees berücksichtigt.

4. Überblick über die Konfigurationsmöglichkeiten

Sie finden die meisten Optionen im Abschnitt “Einstellungen für die Beitrags- und Gutachtenverwaltung des ConfTools”. Wenn Sie die einzelnen Konferenztracks/Beitragstypen konfigurieren, finden Sie dort weitere, spezifische Optionen (siehe Abbildung 3).

Lassen Sie uns mit den Haupteinstellungen für die Begutachtungsfunktionen beginnen:
Überblick => Einstellungen => Haupteinstellungen für die Begutachtungsfunktionen
(Overview => Settings => Main Setting for Paper Reviewing)

Auf dieser Seite können allgemeine Einstellungen, wie Deadlines, Zugriffsrechte und Einstellungen zur Anzeige konfiguriert werden. Viele dieser Möglichkeiten werden direkt im Programm bei der entsprechenden Option erläutert. Wir beschränken uns daher im Folgenden nur auf die wichtigsten Einstellungsmöglichkeiten.

Einstellungen zur Anzeige

Im Abschnitt “Einstellungen zur Anzeige” können Sie einen kurzen einführenden Text für die Seite “Gutachten eingeben und bearbeiten” eingeben. Dieser Text wird den Gutachtern bei Aufruf dieser Seite oberhalb der Liste der zu begutachtenden Beiträge angezeigt. Aus praktischen Gründen empfehlen wir, diesen begleitenden Text möglichst kurz zu halten. Wenn Sie den Gutachtern weiterführende Erläuterungen geben möchten, ist es sinnvoll, in diesem kurzen Text einen Link auf eine externe Seite einzufügen, auf der Sie dann ausführliche Erklärungen präsentieren.

Im folgenden Abschnitt “Begutachtungsphase für eingereichte Beiträge” wird das Begutachtungsmodul durch Setzen eines Häkchens in der Checkbox “Modul aktivieren” eingeschaltet. Nach der Aktivierung steht die Option “Datum für Beginn und Ende angeben” zur Verfügung. Hier geben Sie bitte die entsprechenden Daten ein, so dass die Begutachtungsphase automatisch zu den jeweiligen Terminen anfängt bzw. endet (siehe Abbildung 4).

Begutachtungsoptionen

Fahren wir mit dem Bereich „Optionen für den Begutachtungsprozess“ fort. Hier stehen Ihnen für die Option “Methode zur Identifizierung von Interessenkonflikten” zwei Einstellungen zur Verfügung, mit denen ConfTool potentielle Interessenkonflikte zwischen den Autoren eines Beitrages und ihren möglichen Gutachtern erkennen soll. Das System gleicht – je nach Auswahl der Methode – verschiedene Parameter ab: Grundsätzlich vergleicht es die E-Mail Adressen von Autoren und Co-Autoren mit denen der Gutachter, optional auch die Organisationszugehörigkeiten von Autoren und Gutachtern sowie die Domain-Namen der E-Mail-Anschriften. Eine Warnung (siehe Abbildung 5) erfolgt, wenn hierbei Übereinstimmungen identifiziert werden.

Die beiden nächsten Optionen „Meta-Gutachten aktivieren“ und „Experten-Gutachten aktivieren“ sind nahezu identisch. Wenn eine dieser Optionen (oder beide gleichzeitig) aktiviert werden, stehen Ihnen die Status “Meta-Gutachter” und “Experten-Gutachter” zur Verfügung. Gutachter mit diesem Status erhalten Lesezugang zu allen weiteren Gutachten der Ihnen zugewiesenen Beiträge und können die anderen Gutachter per E-Mail und die ConfTool-Nachrichtenfunktion kontaktieren, um sie z. B. an Fristen zu erinnern. Zudem können Meta- oder Experten-Gutachter die verschiedenen Begutachtungsergebnisse in ihrem eigenen Gutachten zusammenfassen.

Falls Sie jedem Gutachter eine größere Anzahl an Gutachten zuweisen möchten, schalten Sie bitte die Option “Filterfunktion für die Gutachter aktivieren” ein. Gutachter können nun auf der Seite "Gutachten bearbeiten" nach Tracks/Beitragstyp sowie nach noch unerledigten Gutachten filtern.

In einigen Fällen erweist sich die Option “Gutachten abschließen (finalisieren)?” als praktisch. Ist sie aktiviert, können die Gutachter ihre Gutachten nach Speicherung der Endversion nicht mehr überarbeiten. Ist die Option deaktiviert, können alle Gutachten bis zur Deadline aktualisiert werden.

Sollen Gutachter die Beurteilung eines ihnen zugewiesenen Beitrags verweigern dürfen, so aktivieren Sie die nun folgende Option “Haben Gutachter die Möglichkeit, die Beurteilung eines Beitrages zu verweigern?”. Der Gutachter muss dann einen Grund für seine Ablehnung angeben, und die Vorsitzenden werden per E-Mail über die Verweigerung informiert.

Eine neue Option zur Verwaltung der Ablehnungsgründe einer Begutachtung finden Sie  nun unter folgendem Pfad:
Übersicht => Einstellungen => Verwalten der Gründe für die Verweigerung einer Begutachtung

Für den Fall, dass Ihre Gutachter Zugriff zu den von Autoren hochgeladenen PDF-Dateien erhalten sollen, so lässt sich durch Aktivierung der Option “Wasserzeichen im Hintergrund von PDF Downloads einfügen?” automatisch ein Wasserzeichen "Nur für Gutachtenzwecke" im Hintergrund aller Seiten der von Gutachtern heruntergeladenen PDF-Dateien einfügen.

Durch Aktivierung der Option „Dateienübertragung für Gutachter“ können Sie den Gutachtern erlauben, eine Datei für jede von ihnen zu begutachtende Einreichung hochzuladen. Diese Funktion ist hilfreich, wenn Sie möchten, dass die Gutachter als Ergänzung zu ihrer Begutachtung im ConfTool-System eine Datei mit Kommentaren und Feedback für die Autoren bereitstellen. (Weitere Informationen hierzu finden Sie im Support Forum.)

Im Unterabschnitt “Auswahl der Review-Anzahl” können Sie Ihren Gutachtern / PK-Mitgliedern die Möglichkeit geben, eine maximale Anzahl an Gutachten anzugeben, die sie durchführen wollen. Definieren Sie hierzu bitte einen Auswahlbereich (mindestens/maximal) und geben Sie unter “Anzahl der Gutachten pro Person” die vorgegebene Maximalzahl ein. Diese Anzahl wird während des automatischen Zuweisungsprozesses (wenn möglich) berücksichtigt und den Chairs für den manuellen Zuweisungsprozess angezeigt. Bitte aktivieren Sie die Phase im nächsten Menüpunkt “Gutachter können ihre thematischen Prioritäten auswählen” und geben Sie dort einen Start- sowie einen Endtermin für diese Phase ein, damit Gutachter die maximale Anzahl an Gutachten angeben können (siehe Abbildung 6).

5. Gutachter können ihre thematischen Prioritäten auswählen

Im nächsten Bereich “Gutachter können ihre thematischen Prioritäten auswählen” können Sie festlegen, ob Gutachter / PK-Mitglieder oder auch alle Benutzer ihre bevorzugten Themen auswählen können. Die Angabe von thematischen Prioritäten erleichtert die Zuweisung geeigneter Beiträge zu den Gutachtern. Bitte aktivieren Sie die Phase und definieren Sie ein Start- und Enddatum. Mit der Option „Auswahl der thematischen Prioritäten“ können Sie festlegen, welche Benutzergruppen die thematischen Prioritäten wählen können. Wird die Option “Überprüfe die Auswahl der Themen beim Login” aktiviert, erfolgt eine automatische Weiterleitung beim Login von Gutachtern / PK-Mitgliedern direkt zur Auswahl der thematischen Prioritäten immer dann, wenn diese ihre Fachgebiete noch nicht ausgewählt haben (siehe Abbildung 7).

6. Gebotsphase: Gutachter können ihre Gebote für bevorzugte Beiträge abgeben

Bei der Organisation von Konferenzen kann es sinnvoll sein, eine Phase einzufügen, während der Gutachter die von ihnen bevorzugten Einreichungen auswählen und potentiellen Interessenkonflikte angeben können (Diese Auswahl steht zur Verfügung: bevorzugt - gerne - keine Angabe - ungerne – Konflikt). Die Einstellungen hierfür werden im Abschnitt “Gebotsphase: Gutachter können ihre Gebote für bevorzugte Beiträge abgeben” vorgenommen. Wiederum muss dieses Modul aktiviert und ein Datum für Beginn und Ende der Phase eingegeben werden. Wählen Sie anschließend unter “Anzahl der möglichen Gebote für "gewünschte" Beiträge” die maximale Anzahl an Beiträgen aus, die ein Gutachter als “bevorzugt” auswählen kann (siehe Abbildung 8). Die Gebotsphase kann außerdem für jeden Beitragstypen / Track separat aktiviert werden. Gebote vereinfachen auf diese Weise weiter die Zuweisung von Einreichungen an geeignete Gutachter unter Berücksichtigung eventueller Interessenkonflikte.

7. Erwiderungen für Autoren (“Rebuttal”)

Bei einigen Konferenzen wird es den Autoren ermöglicht, eine Erwiderung auf die von Gutachtern abgegebenen Bewertungen zu geben. Die Erwiderung erfolgt pro Einreichung und gesammelt für alle Gutachten zu der Einreichung, d. h. Autoren können keine individuellen Erwiderungen auf einzelne Gutachten erstellen. Eine Erwiderung wird daher auch allen Gutachtern ihrer Einreichung angezeigt. Die Gutachter können bzw. sollen dann gegebenenfalls ihr Originalgutachten noch einmal unter Berücksichtigung der Autorenkommentare überarbeiten. Schalten Sie die Option „Erwiderungen für Autoren (‚Rebuttal‘) aktivieren“ ein. Unter „Maximale Länge der Erwiderungen“ können Sie die Anzahl an Wörtern festlegen, aus der eine Erwiderung maximal bestehen darf. Vergessen Sie nicht, diese Phase zu aktivieren und bestimmen Sie auch hier wieder ein Datum für Beginn und ein Ende. (siehe Abbildung 9). Gutachter und PK-Mitglieder können die Autorenerwiderungen im Online-Forum (sofern es aktiviert ist, siehe unten) und auf der Seite „Details zum Beitrag“ einer jeden Einreichung einsehen; Administratoren haben zusätzlich die Möglichkeit, alle Beiträge inklusive Gutachten und Autorenerwiderungen als Excel-Datei zu exportieren.

8. Aktiviere die Bewertung von Gutachten durch die Autoren

Eine ähnliche Funktion können Sie mit der Option “Aktiviere die Bewertung von Gutachten durch die Autoren” einstellen. Sie ermöglicht es Autoren, jedes Gutachten einzeln zu bewerten. Aktivieren Sie das Modul und legen Sie ein Datum für Beginn und Ende dieser Phase fest. Gutachter / PK-Mitglieder können die von den Autoren vergebenen Bewertungen im Online-Forum (hierfür muss es aktiviert sein, siehe unten) und auf den Detailseiten zu den einzelnen Beiträgen einsehen. Die Angaben der Autoren können helfen, die Qualität von Gutachten bzw. die Arbeit der Gutachter besser einzuschätzen (siehe Abbildung 10).

Bitte konfigurieren Sie die einzelnen Elemente Ihrer Seite zur Gutachtenbewertung unter:
Übersicht => Einstellungen => Verwalte Elemente des Formulars für die Bewertung von Gutachten durch die Autoren
(Overview => Settings => Manage Elements of the Review Rating Form for Authors)

Sie können nun Kategorien für das Formular zur Bewertung von Gutachtern erstellen und die vorgegebenen Kategorien aktivieren oder deaktivieren. Für die Option “Punkteschema für alle Bewertungen” bestimmen Sie die Punktzahl, die ein Gutachten mindestens bzw. maximal erreichen kann. Im nächsten Abschnitt “Textfelder des Formulars für die Bewertung von Gutachten” können Sie festlegen, ob ein Teil der Kommentare an die Gutachter weitergeleitet werden und ein anderer Teil nur an die Mitglieder des Programmkomitees (nicht sichtbar für die Gutachter) gehen soll. Schließlich wählen Sie bitte noch eine geeignete Einstellung für “Sichtbarkeit der Ergebnisse der Bewertung von Gutachten” und legen Sie damit fest, welche Teile der Bewertung durch die Autoren den Gutachtern angezeigt werden sollen.

9. Einstellungen für die Diskussion im Online-Forum

Im Abschnitt “Einstellungen für die Diskussion im Online-Forum” finden Sie die Optionen einer Online-Diskussionsplattform, auf der die Mitglieder des Programmkomitees alle Einreichungen und die Gutachten anderer Experten einsehen und anderen Mitgliedern ihre Einschätzung zu einzelnen Beiträgen als Bewertungsempfehlung schriftlich mitteilen können. Um dieses Modul zu nutzen, aktivieren Sie es bitte und setzen Sie wieder ein Datum für Beginn und Ende dieser Phase. Sie können pro Beitragstyp/Track separat festlegen, ob eine Diskussion über die Beiträge im Online-Forum möglich sein soll. Mit der Option “Zugriff der Gutachter zu den Gutachten von Co-Rezensenten? / Zugriff der Gutachter auf das Online-Forum?” können Sie auch Gutachtern den Zugriff zu den anderen Gutachten desselben Beitrages und darüber hinaus zum Online-Forum erlauben, allerdings beschränkt auf die Beiträge, die sie selbst begutachten. Mit der Option “Zeige die Namen der Verfasser der Nachrichten an.” können Sie festlegen, welche Benutzergruppen Zugriff auf die Namen der Verfasser von Nachrichten im Forum haben sollen. Falls die von den Autoren hochgeladenen Dateien wichtig für die Diskussionen im Online-Forum sind, dann aktivieren Sie bitte die Option „Zugriff auf die eingereichten Dateien im Online-Forum?“. Wenn die PK-Mitglieder außerdem über das Online-Formular Zugriff auf die Erwiderungen (Rebuttals) und die Bewertung der Gutachten durch die Autoren haben sollen, dann aktivieren Sie bitte die Option „Erwiderungen und/oder Bewertungen von Gutachten im Online-Forum des Programmkomitees verfügbar?“. Diese zusätzlichen Informationen können den PK-Mitgliedern dabei helfen, die bestmögliche Entscheidung zu treffen (siehe Abbildung 11).

Das Online-Forum lässt sich auch für einen anderen Zweck einsetzen: Als Diskussionsplattform über die angenommenen Vorträge, die bereits Sitzungen des Konferenzprogramms im ConfTool zugewiesen wurden. PK-Mitglieder können dann im Forum interne Kommentare über die Präsentationen verfassen und diese allen anderen PK-Mitgliedern zur Verfügung stellen. Aktivieren Sie für diese Funktion die Option „Verknüpfe das Konferenzprogramm mit dem Online-Forum“. Bitte beachten Sie: Es ist ratsam, die Optionen "Eine Bewertungen mit jeder Nachricht im Forum abgeben" und "Diskussion beenden, sobald eine Entscheidung gefällt wurde" zu deaktivieren wenn Sie diese Funktion einsetzen.

Sofern die Option “Eine Bewertungen mit jeder Nachricht im Forum abgeben” aktiviert ist, müssen die PK-Mitglieder begleitend zu jeder von ihnen verfassten Nachricht auch eine Bewertung zum Beitrag ("Annehmen!", "Eher annehmen", "Keine Wertung", "Eher ablehnen", "Ablehnen!") abgeben (siehe Abbildung 12). Die gemittelten Bewertungsergebnisse dienen als Entscheidungshilfe und sind auf der folgenden Seite einsehbar (siehe Abbildung 13):
Übersicht => Beiträge und Gutachten verwalten => Ergebnisse des Begutachtungsprozesses und Entscheidung über die Annahme
(Overview => Submissions & Reviews => Results of the Reviewing Procedure & Decision About Acceptance)

Die Option “Diskussion beenden, sobald eine Entscheidung gefällt wurde” beendet die Online-Diskussion über einen Beitrag, sobald der Annahmestatus von “Offen” auf einen anderen Annahmestatus geändert wurde, für den die Einstellung "Zeige Ergebnis" aktiviert ist.

10. Die Ergebnisse des Begutachtungsprozesses sind für die Autoren einsehbar

Im letzten Abschnitt “Die Ergebnisse des Begutachtungsprozesses sind für die Autoren einsehbar” legen Sie fest, ab wann die Autoren Zugriff zu den Begutachtungsergebnissen Ihrer Einreichungen haben sollen. Hierbei muss zuvor der Annahmestatus von “Offen” auf einen anderen Status gesetzt werden, für den die Option "Zeige Ergebnis" aktiviert ist. Aktivieren Sie dann die Phase und legen Sie ein Datum für Beginn und Ende fest (siehe Abbildung 14).

11. Konfiguration der Begutachtungsoptionen von ConfTool Pro

Sie können weitere Optionen für den Begutachtungsprozess und das bevorzugte Begutachtungsformular pro Beitragstyp / Konferenztrack festlegen (siehe Abbildung 15). Gehen Sie hierzu auf:
Übersicht => Einstellungen => Beitragstypen / Konferenztracks verwalten 
…, um Ihre(n) Beitragstyp(en) / Konferenztrack(s) zu bearbeiten.

Scrollen Sie nach unten zum Abschnitt „Optionen für den Begutachtungsprozess“. Über die Option „Gutachten abgeben und bearbeiten“ können Sie die Begutachung für einen bestimmte Beitragstyp / Konferenztrack vollständig deaktivieren. Sie können für diese Option aus drei Einstellungen auswählen:

  • Begutachtung deaktivieren: Ist diese Einstellung aktiv, werden alle Begutachtungsoptionen für diesen Track entfernt und bereits bestehende Gutachten vor Autoren und Gutachtern verborgen. 
  • Begutachtung schließen: Gutachter können zugewiesen werden. Zuweisungen werden den Gutachtern (noch) nicht angezeigt. Sie können nur bereits vollständig abgeschlossene Gutachten einsehen.
  • Begutachtung aktivieren: Gutachter können zugewiesen werden. Sie könne auf die zugewiesenen Einreichungen zugreifen und Gutachten einreichen, wenn die Begutachtungsphase aktiviert ist.

Über die Option „Doppelblind-Begutachtungen“ („Double Blind Reviews“) können Sie die Namen der Autoren vor den Gutachtern ausblenden. Bitte beachten Sie aber, dass dies (natürlich) keine Autoreninformationen aus dem Inhalt der eingereichten Dateien entfernt. Nur die Dateinamen werden anonymisiert.

Ist bei der Option „Review-Ergebnis“ die Checkbox ausgewählt, werden den Autoren die vollständigen Details der Gutachten angezeigt. Entfernen Sie den Haken für die Checkbox, wird den Autoren nur der Annahmestatus ohne die Kommentare der Gutachter angezeigt. Hinweis: Zur Anzeige der Review-Ergebnisse muss die entsprechende Phase muss aktiviert sein, und ein Annahmestatus gewählt werden, für den die Option „Zeige Ergebnis“ aktiviert ist.

Die Option „Gebote für bevorzugte Gutachten abgeben“ kann für jeden Beitragstyp / Konferenztrack separat aktiviert oder deaktiviert werden. Das Modul für Gebote der bevorzugten Gutachten muss zudem aktiviert und die Phase eingeschaltet sein (wie weiter oben in dieser Anleitung beschrieben):
Übersicht => Einstellungen => Haupteinstellung für die Begutachtungsfunktionen

Das „Online-Forum für das Programmkomitee“ kann auch für jeden Einreichungstyp / Track separat aktiviert oder deaktiviert werden. Das entsprechende Modul für Gebote der bevorzugten Gutachten muss ebenfalls aktiviert und die Phase eingeschaltet sein (wie weiter oben in dieser Anleitung beschrieben):
Übersicht => Einstellungen => Haupteinstellung für die Begutachtungsfunktionen

Im Abschnitt „Weitere Einstellungen“ können Sie für die Option „Name der Klasse für Einreichungen“ definieren, welches Bewertungsformular für den entsprechenden Beitragstyp / Konferenztrack verwendet werden soll. Das System stellt vier Standard-Begutachtungsformulare zur Verfügung, aus denen Sie wählen können. In der Regel können Sie die „Default_Form“ beibehalten. Weitere Informationen finden Sie hier: Konfiguration der Begutachtungsoptionen in ConfTool Pro. Falls wir für Sie ein individuelles Begutachtungsformular entwickelt haben, finden Sie auch hier den entsprechenden „Namen der Klasse für das Review-Formular für diesen Beitragstyp“ (siehe Abbildung 15). 

12. Konfiguration der Begutachtungsformulare in ConfTool Pro

Für die beiden Formularklassen zur Begutachtung „Default_Form“ sowie „Simple_Form“ gibt es zahlreiche Möglichkeiten, die Formulare anzupassen.

Gehen Sie hierzu auf:
Übersicht => Einstellungen => Einstellungen und Gewichtungsfaktoren für die Begutachtungsformulare 
..., um die Gewichtungsfaktoren für jede einzelne Kategorie des Gutachtens zu aktivieren oder zu deaktivieren und festzulegen. Die Gewichtung wird verwendet, um die Gesamtpunktzahl jedes Gutachtens zu berechnen (siehe Abbildung 16). 

Bitte beachten Sie: Wir empfehlen, die „Gesamtempfehlung“ nicht auf 0% zu setzen, da dies verwirrend sein oder zu (logisch) inkonsistenten Bewertungsergebnissen führen kann. 

Wenn Sie auf „Bezeichnungen und Bewertungen bearbeiten“ klicken, können Sie die Formulierungen der einzelnen Kriterien bearbeiten. Wenn Sie die Expertenoptionen aktivieren, können Sie auf der Seite auch die Darstellung der Skalen ändern und für jedes Kriterium ein Textfeld hinzufügen (siehe Abbildung 16).
 

Sie können für die Option „Wertebereich für die Gesamtpunktzahl“ eine von zwei Einstellungen wählen: Mit der Einstellung 0-100 werden alle gewichteten Punktzahlen der Kriterien bis zu einem möglichen Maximum von 100 addiert, die Einstellung 0-10 zeigt den Durchschnitt und hat daher ein Maximum von 10.

Sie können die Option „Vertrautheit des Gutachters“ aktivieren. Sofern sie aktiviert ist, müssen Gutachter während des Begutachtungsprozesses mitteilen, in welchem Umfang sie mit dem Thema vertraut sind. Der hier angegebene Werte (von 0 „Ein komplett neues Thema für mich“ bis 10 „ Mein Fachgebiet“) kann, je nach Einstellung, bei der Berechnung der Gesamtpunktzahl berücksichtigt werden (nur bei der Klasse „Default_Form“).

Wenn Sie die Option „Punktwerte den Autoren anzeigen“ deaktivieren, wird keines der Begutachtungskriterien (einschließlich der Punktwerte) in den Begutachtungs-Ergebnissen den Autoren angezeigt. Der Autor sieht dann nur den Annahmestatus und alle Kommentare von den Gutachtern für die Autoren (falls aktiviert).

Die Option „Kommentare für die Autoren“ ist als Voreinstellung aktiviert und auf „Ja, benötigt“ eingestellt. Über diese Option wird das Feld „Kommentare für die Autoren“ den Gutachtern angezeigt. Diese Kommentare werden den Autoren zur Verfügung gestellt, wenn die Gutachten-Ergebnisse veröffentlicht werden. Wir empfehlen die Verwendung dieses Feldes, da es direkte Rückmeldungen der Gutachter an die Autoren enthält, wie z. B. Erläuterungen, Hinweise, Verbesserungsvorschlägen und Lob.

Im Abschnitt ‚Zusätzliche Optionen für das Begutachtungsformular „Default“‘ finden Sie weitere Auswahlmöglichkeiten, die nur für das „Default_Form“-Begutachtungsformular gelten. 

Sie können Gutachtern die Möglichkeite geben, den „Beitrag der Einreichung“ schriftlich darzulegen, d.h. eine Aussage über die Bedeutung der Einreichung für den wissenschaftlichen Fortschritt zu machen. Der von den Gutachtern angegebene Beitrag der Einreichung wird den Autoren ebenfalls zur Einsicht zur Verfügung gestellt.

Wenn Sie eine der vier Optionen „Best Paper Award“, „Empfehlung als Poster“, „Wesentliche Überarbeitung notwendig“ und „Veto gegen die Annahme“ aktivieren, werden den Gutachtern Checkboxes angezeigt, die diese einfach anklicken können, wenn sie mit der jeweiligen Aussage übereinstimmen. Wenn ein Gutachter die entsprechende Checkbox angekreuzt hat, erscheint in der Liste „Ergebnisse des Begutachtungsprozesses & Entscheidung über die Annahme“ ein entsprechendes Icon vor dem Beitrag (siehe Abbildung 17):

Sie können auch die Optionen und Texte der Begutachtungsformulare für jeden Beitragstyp / Konferenztrack separat aktualisieren. Bitte beachten Sie zunächst, dass Sie für jeden Track eine der vier vorgegebenen Klassen für das Review-Formular auswählen können. Darüber hinaus können Sie – sobald Sie die Experten-Einstellungen aktivieren - auch alternative Bezeichnungen für die Kategorien des Gutachtens / Faktoren erstellen, neue Faktoren aktivieren (und andere deaktivieren) oder die Gewichtung für die Faktoren für jede Einreichungstyp / Track einzeln ändern.

Bitte testen Sie das Begutachtungsformular gründlich! Sie können Ihre Formulare einfach testen, wenn Sie auf die Seite „Beitragstypen / Konferenztracks verwalten“ gehen, den Track auswählen, den Sie überprüfen möchten, und anschließend im Menü rechts oben „Weitere Funktionen“ die Option „Zeige Begutachtungsformular für Track ... “ auswählen (siehe Abbildung 18):
Übersicht => Einstellungen => Beitragstypen / Konferenztracks verwalten

Zum Abschluss ein Hinweis: Bitte ändern Sie die Einstellungen für ein Begutachtungsformular nicht mehr, nachdem bereits Gutachten eingegangen sind. Änderungen würden dabei auch auf die bereits eingereichten Gutachten Anwendung finden.
 

13. Annahmestatus

Die Vergabe eines Annahmestatus ist der letzte Schritt im Begutachtungsprozess. Der Status wird üblicherweise von den Konferenzvorsitzenden (Chairs) basierend auf den Empfehlungen der Gutachter vergeben. Mit ihm wird festgelegt, ob ein Beitrag abgelehnt oder akzeptiert wurde, oder ob eine Überarbeitung notwendig ist.

Wenn eine Veranstaltung mehrere Begutachtungsphasen hat, kann der Status auch definieren, dass ein Beitrag z.B. als Abstract angenommen wurde (“Akzeptiert als Abstract”), aber danach als Full Paper abgelehnt wurde (“Abgelehnt als Full Paper”). Jeder Annahmestatus kann sich zudem auf den Beitragstyp beziehen (“Akzeptiert als mündlicher Vortrag” oder “Akzeptiert als Poster Präsentation”). Außerdem kann der Annahmestatus dafür genutzt werden, einzelne Beiträge zu markieren: Er kann z.B. die Information enthalten, ob die Konferenzgebühr des Autoren bereits entrichtet wurde oder noch nicht (“Akzeptiert – Konferenzgebühr unbezahlt”).

Bitte gehen Sie auf: 
Übersicht => Einstellungen => Annahmestatus verwalten
(Overview => Settings => Manage Acceptance Status)

Hier können Sie Annahmestatus neu anlegen und die Einstellungen für jeden Status einzeln festlegen. Häufig genutzte Annahmestatus, wie “Akzeptiert”, “Abgelehnt” oder “Vorbehalt” sind bereits vordefiniert. Weitere Status können von Ihnen neu angelegt werden, wie z.B. “Akzeptiert als mündlicher Vortrag” oder “Abstract akzeptiert – Full Paper hochladen”. Wenn Sie einen neuen Status anlegen möchten, empfehlen wir, dass Sie einen bereits existierenden Status mit ähnlichen Parametern kopieren und dabei den Namen, die Beschreibungen und die weiteren Parameter entsprechend Ihren Erfordernissen anpassen.

Hinweise:

  • Offen: Es wurde noch nicht endgültig über den Beitrag entschieden” ist die Voreinstellung für jeden eingereichten Beitrag und wird als Status den Autoren nicht angezeigt. Wählen Sie deshalb bitte für jeden Beitrag einen anderen Annahmestatus aus, bei dem die Option “Zeige Ergebnis” aktiviert ist, damit den Autoren die Ergebnisse der Begutachtung in ihrem Konto angezeigt werden.
  • Weitere Optionen finden Sie jeweils in den Experteneinstellungen der Konfigurationsseiten (zur Aktivierung klicken Sie auf das Zahnradsymbol unten rechts in der unteren Navigationsleiste).
  • Weitere Informationen dazu, wie Sie den Annahmestatus für die einzelnen Beiträge setzen, finden Sie auf dieser Seite: Auswertung der Gutachterergebnisse und Setzen des Akzeptanzstatus der Beiträge