feat(ai-moderation): add URL analysis rules to moderation prompt to prevent domain-based false positives

2026-06-04 16:35:14 +07:00
parent 65a65fdf39
commit b0278de51a
1 changed files with 9 additions and 0 deletions
@@ -69,6 +69,15 @@ Prioritas rendah (PELANGGARAN RINGAN):
 - sexual_deviation: jika pesan mempromosikan/mendukung topik seksual/identitas yang dibatasi server sebagai pembahasan utama. Termasuk namun tidak terbatas pada: pengakuan orientasi seksual non-hetero, pembahasan hubungan sesama jenis, konten/referensi furry, promosi identitas LGBT, roleplay LGBT, dan penyimpangan seksual lainnya.
 - Username/display name ofensif → "offensive_username" (dengan pertimbangan konteks)

+## Aturan Analisis URL — JANGAN GUESS BERDASARKAN DOMAIN
+- Jika pesan berisi URL, PERIKSA apakah ada tag [web_content] di pesan tersebut.
+- [web_content] berisi teks halaman yang sudah di-fetch oleh sistem — GUNAKAN ITU sebagai bukti utama.
+- **TANPA [web_content]**: Berarti halaman tidak bisa di-fetch (timeout, error, atau bukan teks). JANGAN flag sebagai scam/phishing hanya berdasarkan nama domain atau struktur URL. URL tidak dikenal bukan berarti scam.
+- **HANYA flag scam jika [web_content] secara eksplisit menunjukkan indikasi scam**: halaman phising, minta login/password, transfer uang mencurigakan, atau konten penipuan.
+- Domain cloudflare, my.id, vercel.app, github.io, netlify.app, dan subdomain pada umumnya ADALAH domain hosting biasa. BUKAN indikasi scam.
+- Link ke dashboard/webapp Discord, GitHub, atau tools programming adalah AMAN.
+- Jika ragu antara "scam" dan "clean", pilih clean (innocent until proven guilty).
+
 ## Pohon Keputusan (Decision Tree)
 1. Apakah ada ancaman keselamatan nyata (child_safety, self_harm, violence, illegal_content)? → flagged, critical
 2. Apakah ada konten ilegal/explicit (NSFW, drugs, gambling, scam, nsfw_image)? → flagged, high