Terminologi & Konsep

Direviu

Direviu merupakan sistem dapat digunakan untuk memeriksa submission atau tugas yang dikirimkan oleh siswa secara otomatis. Sistem ini bertujuan untuk membantu reviewer dalam mengevaluasi hasil kerja siswa dengan lebih cepat dan akurat. Di dalam Direviu terdapat 3 kelompok services, yaitu Runner, Autograder, dan LMS.

Runner

Runners adalah salah satu service utama dalam sistem Direviu yang berperan sebagai pengelola alur submission. Runners bertugas menerima submission yang dikirimkan siswa, memilih autograder yang sesuai berdasarkan jenis submission, menjalankan autograder tersebut, dan kemudian mengirimkan hasil pengujiannya.

Runner dipecah kali menjadi 3 service kecil untuk menjalankan masing-masing tugasnya. 3 Service tersebut antara lain publisher, worker dan reporter.

Publisher

Publisher adalah komponen dalam Runners yang bertugas menerima submission dari LMS dan mengelola antrian submission tersebut. Setelah submission diterima, Publisher akan memasukkannya ke dalam antrian sehingga siap diproses oleh Worker. Dengan cara ini, Publisher memastikan setiap submission diatur dan dieksekusi dengan urutan yang benar.

Selengkapnya: Publisher

Worker

Worker adalah komponen yang berfungsi menjalankan autograder pada submission yang telah diantrikan oleh Publisher. Worker mengambil submission dari antrian, kemudian mengeksekusi autograder tertentu yang relevan dengan jenis submission tersebut. Worker bertanggung jawab dalam menjalankan proses penilaian otomatis sesuai kriteria yang ditentukan untuk menghasilkan laporan sesuai kontrak yang telah disepakati.

Selengkapnya: Worker

Reporter

Reporter adalah komponen yang mengirimkan hasil penilaian yang dihasilkan oleh Worker ke LMS. Setelah Worker menyelesaikan proses pengujian, Reporter mengambil hasil tersebut dan menyampaikannya kembali ke LMS, sehingga siswa dapat melihat hasil penilaian mereka.

Selengkapnya: Reporter

LMS

LMS (Learning Management System) adalah platform tempat siswa mengirimkan submission dan menerima hasil penilaian dari sistem Direviu. LMS berfungsi sebagai antarmuka utama bagi siswa, di mana siswa dapat mengunggah tugas atau proyek mereka, dan setelah diproses oleh Direviu, mereka dapat melihat hasil dan umpan baliknya di LMS.

Autograder

Autograder adalah aplikasi dalam Direviu yang dirancang untuk menguji submission siswa secara spesifik berdasarkan kriteria tertentu. Setiap autograder dirancang sesuai dengan jenis tugas yang dinilai, dan dapat memberikan penilaian objektif serta laporan hasil evaluasi secara otomatis.

Autograder Contract

Autograder Contract adalah kesepakatan standar dalam sistem Direviu untuk memastikan setiap autograder dapat beroperasi dengan konsisten dan terintegrasi dengan baik. Contract ini mendefinisikan bagaimana autograder harus menerima input ( Submission Info) dan menghasilkan output (Grading Report) dengan format JSON yang telah ditetapkan.

Submission Info

Submission Info merupakan JSON yang berisi detail submission yang diperlukan untuk autograder memulai proses penilaian.

Selengkapnya: Submission Info

Grading Report

Grading Report adalah JSON yang berisi informasi hasil penilaian dari autograder.

Selengkapnya: Grading Report

Grading Capability

Grading Capability adalah konfigurasi dalam sistem autograder yang menentukan bagaimana hasil penilaian (grade) untuk sebuah submission diperlakukan dan apakah hasil tersebut langsung dianggap final atau perlu ditinjau lebih lanjut. Grading capability mengontrol apakah suatu submission akan diproses lebih lanjut berdasarkan hasil penilaiannya, dengan mempertimbangkan berbagai kondisi yang telah ditentukan.

Draft

Kondisi: Jika capability = FULLY_DRAFT.

Efek: Terlepas dari hasil penilaian (apakah submission disetujui atau ditolak), is_draft akan selalu disetel ke true.

Tujuan: Untuk submission yang masih dalam status draft, sehingga tidak ada hasil yang langsung final. Submission ini mungkin memerlukan tinjauan lebih lanjut.

Auto Reject

Kondisi: Jika capability = REJECT_AUTO.

Efek:

• Jika hasil penilaian adalah "reject" (submission ditolak), maka is_draft akan disetel ke false, artinya hasil penilaian langsung dianggap final dan submission dianggap ditolak.
• Jika hasil penilaian adalah "approve" (submission disetujui), maka is_draft akan disetel ke true, sehingga hasil penilaian tetap sebagai draf dan memerlukan tinjauan.

Tujuan: Untuk submission yang diharapkan lebih ketat dalam penyaringan, di mana hanya submission yang disetujui yang memerlukan tinjauan lebih lanjut.

Auto Approve

Kondisi: Jika capability = APPROVE_AUTO.

Efek:

• Jika hasil penilaian adalah "approve" (submission disetujui), maka is_draft akan disetel ke false, artinya submission langsung dianggap final dan disetujui.
• Jika hasil penilaian adalah "reject" (submission ditolak), maka is_draft akan disetel ke true, sehingga submission yang ditolak memerlukan tinjauan lebih lanjut.

Tujuan: Untuk submission yang disetujui secara otomatis, sedangkan submission yang ditolak perlu ditinjau ulang.

Full Auto Grading

Kondisi: Jika capability = FULLY_AUTO.

Efek: Terlepas dari hasil penilaian (apakah submission disetujui atau ditolak), is_draft akan selalu disetel ke false.

Tujuan: Untuk submission yang dinilai secara otomatis penuh tanpa memerlukan tinjauan lanjutan. Hasil penilaian dianggap final dalam semua kondisi.