Dokumentation der Moderation API
Beta mit Perspective-ähnlichem Anfrageformat und unabhängigen Scores. Prüfen Sie Integration und Schwellenwerte vor dem Produktiveinsatz.
Schnellstart
Erstellen Sie einen Schlüssel im Dashboard. Speichern Sie ihn nur auf Ihrem Server, außerhalb der Versionsverwaltung. Die folgenden Beispiele enthalten ausschließlich Platzhalter.
curl
curl 'https://moderation.decisionmodels.io/v1alpha1/comments:analyze' \
-H "Authorization: Bearer $DM_MODERATION_KEY" \
-H 'Content-Type: application/json' \
--data '{"comment":{"text":"Thank you for the explanation."},"requestedAttributes":{"TOXICITY":{}},"doNotStore":true}'Python · requests
import os, requests
r = requests.post(
"https://moderation.decisionmodels.io/v1alpha1/comments:analyze",
headers={"Authorization": "Bearer " + os.environ["DM_MODERATION_KEY"]},
json={"comment": {"text": "Thank you for the explanation."},
"requestedAttributes": {"TOXICITY": {}}}, timeout=15)
r.raise_for_status()
print(r.json()["attributeScores"]["TOXICITY"]["summaryScore"]["value"])Python · googleapiclient
import os
from googleapiclient import discovery
client = discovery.build(
"commentanalyzer", "v1alpha1",
developerKey=os.environ["DM_MODERATION_KEY"],
discoveryServiceUrl=("https://moderation.decisionmodels.io/"
"$discovery/rest?version=v1alpha1"),
static_discovery=False)
result = client.comments().analyze(body={
"comment": {"text": "Thank you for the explanation."},
"requestedAttributes": {"TOXICITY": {}}
}).execute()
print(result)Node.js · fetch
const response = await fetch(
"https://moderation.decisionmodels.io/v1alpha1/comments:analyze", {
method: "POST",
headers: {"Content-Type": "application/json",
Authorization: `Bearer ${process.env.DM_MODERATION_KEY}`},
body: JSON.stringify({comment: {text: "Thank you for the explanation."},
requestedAttributes: {TOXICITY: {}}})
});
if (!response.ok) throw new Error(`Moderation failed: ${response.status}`);
console.log(await response.json());PHP · cURL
<?php
$ch = curl_init("https://moderation.decisionmodels.io/v1alpha1/comments:analyze");
curl_setopt_array($ch, [CURLOPT_POST => true, CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 15,
CURLOPT_HTTPHEADER => ["Content-Type: application/json",
"Authorization: Bearer " . getenv("DM_MODERATION_KEY")],
CURLOPT_POSTFIELDS => json_encode([
"comment" => ["text" => "Thank you for the explanation."],
"requestedAttributes" => ["TOXICITY" => new stdClass()]])]);
$result = curl_exec($ch);
if ($result === false || curl_getinfo($ch, CURLINFO_HTTP_CODE) >= 400) {
throw new RuntimeException("Moderation request failed");
}
curl_close($ch);
echo $result;Von Perspective wechseln
- Bei konfigurierbaren Clients ersetzen Sie
https://commentanalyzer.googleapis.comdurchhttps://moderation.decisionmodels.iound verwenden einen Decision-Models-Schlüssel. - Authentifizierung: Bearer-Header, X-Goog-Api-Key oder key-Abfrageparameter. Ein Header vermeidet Schlüssel in URLs.
- Prüfen Sie die unterstützten Anfragefelder und nutzen Sie das kostenlose Migrationstool mit repräsentativen Kommentaren, bisherigen Scores und optional menschlichen Labels.
- Stimmen Sie Schwellenwerte neu ab. Dieselbe Markierungsquote bedeutet weder dieselben Kommentare noch dieselbe Genauigkeit. Prüfen Sie Überschneidung, Präzision und Recall.
- Führen Sie Änderungen schrittweise ein und beobachten Sie Fehlentscheidungen.
Clients mit fest eingebautem Google-Host
Das Discourse-Perspective-Plugin und npm perspective-api-client v3.1.0 benötigen eine Quellcodeänderung oder einen gepflegten Fork. Eine reine Konfigurationsänderung genügt dort nicht. Erhöhen Sie bei Discourse außerdem das Lesezeitlimit für mehrere Attribute auf mindestens 15 Sekunden.
# Discourse-Fork: Zuweisung ersetzen
GOOGLE_API_DOMAIN = "https://moderation.decisionmodels.io"
# proxy_request_options: read_timeout: 3 durch read_timeout: 15 ersetzen
// perspective-api-client-Fork: Konstante ersetzen
const COMMENT_ANALYZER_URL = "https://moderation.decisionmodels.io/v1alpha1/comments:analyze";Coral erlaubt einen konfigurierbaren Endpunkt: https://moderation.decisionmodels.io/v1alpha1. Sprachhinweise wie es, fr und pt werden angenommen; daraus folgt keine gemessene Sprachqualität.
Attribute und Grenzen
Die Definitionen beschreiben unser unabhängiges Modell und versprechen keine Übereinstimmung mit Google-Scores.
- TOXICITY
- Unhöfliche, respektlose oder unangemessene Inhalte, die Menschen aus einer Diskussion vertreiben können.
- IDENTITY_ATTACK
- Angriffe auf Personen oder Gruppen aufgrund ihrer Identität.
- INSULT
- Gegen jemanden gerichtete beleidigende oder abwertende Sprache.
- PROFANITY
- Schimpfwörter, Obszönitäten und vulgäre Sprache.
- THREAT
- Sprachliche Ankündigung einer Schädigungsabsicht.
Experimentelle Attribute: SEVERE_TOXICITY, SEXUALLY_EXPLICIT, FLIRTATION, SPAM, ATTACK_ON_AUTHOR, ATTACK_ON_COMMENTER, INCOHERENT, INFLAMMATORY, LIKELY_TO_REJECT, OBSCENE, UNSUBSTANTIAL. Diese Attribute sind experimentell, nicht evaluiert und unkalibriert. Antworten kennzeichnen sie im Header X-DM-Experimental-Attributes.
Unterschiede zu Perspective
- Unabhängiges Modell und unabhängige Kalibrierung: Schwellenwerte neu abstimmen.
- Nur PLAIN_TEXT; HTML wird abgelehnt. Bei spanAnnotations gibt es einen Bereich über den gesamten Text, keine Satzbereiche.
- comments:suggestscore bestätigt die Anfrage, speichert aber keine vorgeschlagenen Scores.
- Nur PROBABILITY wird unterstützt. scoreThreshold lässt kleinere Scores aus der Antwort weg. Unbekannte Felder auf oberster Ebene werden ignoriert; unbekannte Attribute liefern 400.
- Bekannte Felder wie doNotStore, communityId und sessionId werden akzeptiert; API-Texte werden unabhängig davon von der Moderation API weder gespeichert noch protokolliert; unser Gateway speichert keine Anfrageinhalte (AVV-Anlage 1 §5).
Gemessene Qualität (Beta)
Getestete Sprachen: Englisch (5 Attribute) und Deutsch (nur Proxy für offensive Sprache).
Wir haben auf dem zurückgehaltenen Civil-Comments-Testsplit (CC0) gemessen, stratifiziert mit 150 positiven Beispielen pro 1.000 Kommentaren. Die isotone Kalibrierung wurde auf separaten Daten des Trainingssplits angepasst; es gab keinen Vergleich mit Perspective und die Scores sind nicht gleichwertig.
| Attribut | Modell | ROC-AUC [95% CI] | Kalibrierungsfehler (ECE) | n |
|---|---|---|---|---|
TOXICITY | s1-pro | 0.9325 [0.9129, 0.9505] | 0.0190 | 1,000 |
INSULT | s1-fast | 0.8834 [0.8540, 0.9097] | 0.0110 | 1,000 |
THREAT | s1-fast | 0.9612 [0.9457, 0.9750] | 0.0018 | 1,000 |
PROFANITY | s1-fast | 0.9604 [0.9429, 0.9741] | 0.0119 | 1,000 |
IDENTITY_ATTACK | s1-fast | 0.9521 [0.9362, 0.9647] | 0.0036 | 1,000 |
| Deutsch: offensive Sprache (nur Proxy für TOXICITY) GermEval 2018 offensive vs. other (proxy for TOXICITY) | s1-fast | 0.9090 [0.8821, 0.9333] | Nicht gemessen | 999 |
ROC-AUC auf zurückgehaltenen englischen Civil-Comments-Testdaten (CC0), stratifiziert (150 positive Beispiele pro 1.000), kalibriert mit isotoner Regression, die auf separaten Daten des Trainingssplits angepasst wurde. Kein Vergleich mit Perspective, dessen Scores wir nicht abfragen können; die Scores sind nicht gleichwertig. SEVERE_TOXICITY und alle anderen nicht aufgeführten Attribute sind experimentell und nicht evaluiert (der öffentliche Testsplit enthielt keine positiven Beispiele für schwere Toxizität). Deutsch wurde nur als Erkennung offensiver Sprache (GermEval 2018) mit dem schnellen Modell gemessen, während TOXICITY in Produktion s1-pro nutzt. Noch keine Bias-Prüfung für Identitätsuntergruppen. Gemessen am 16. November 2026.
Sprachcodes werden als Hinweise angenommen und im Feld languages zurückgegeben; Codes außerhalb der veröffentlichten getesteten Liste stehen in X-DM-Language-Untested. Das ist keine Qualitätszusage für ein bestimmtes Attribut.
Eigene Regeln
Regeln gehören zum Konto. Namen beginnen mit CUSTOM_ und haben danach 2–40 Großbuchstaben, Ziffern oder Unterstriche. Regeltext: maximal 1.000 Zeichen; optional je fünf positive und negative Beispiele mit je maximal 1.000 Zeichen.
curl https://moderation.decisionmodels.io/v1/policies \
-H "Authorization: Bearer $DM_MODERATION_KEY" \
-H "Content-Type: application/json" \
--data '{"name":"CUSTOM_SPAM","rule":"Flag unsolicited promotional links.","examples":{"positive":["Buy my course at example.com"],"negative":["Thanks for sharing your experience."]},"default_threshold":0.5}'Fragen Sie "CUSTOM_SPAM": {} unter requestedAttributes ab. Eigene Scores sind unkalibrierte Schätzungen einer Regelverletzung. Prüfen Sie eigene Beispiele. Auflisten: GET /v1/policies; ändern: PUT /v1/policies/{id}; löschen: DELETE /v1/policies/{id}. Alle Aufrufe benötigen Ihren Bearer-Schlüssel.
Native Stapelanfragen
POST /v1/moderate akzeptiert 1–100 Texte. Jeder Text zählt einzeln gegen das Kontingent. Die Antwort enthält results mit scores, flagged und language sowie scoring_version.
curl https://moderation.decisionmodels.io/v1/moderate \
-H "Authorization: Bearer $DM_MODERATION_KEY" \
-H "Content-Type: application/json" \
--data '{"texts":["Thank you for the explanation."],"attributes":["TOXICITY"],"thresholds":{"TOXICITY":0.7}}'Jeder einzelne Inferenz-HTTP-Aufruf hat nach Erhalt eines globalen Slots maximal drei Sekunden; die Wartezeit auf den Slot zählt dabei nicht mit. Alle Attribute, Texte und Fenster teilen sich standardmäßig acht Slots. Analyze hat ein Gesamtzeitlimit von zehn Sekunden für die Bewertung. Das Stapelzeitlimit einschließlich Warteschlange beträgt min(60, 3 × ceil(Textanzahl / 8) + 5) Sekunden. Bei vielen Attributen können kleinere Stapel nötig sein.
Migration: 10 Uploads je Tag und IP.
Limits und Fehler
Free: 10.000 Texte/Monat, 1 Anfrage/s, 2 eigene Regeln. Starter: 300.000 Texte/Monat, 2 Anfragen/s, 20 Regeln. Pro: 1.000.000 Texte/Monat, 2 Anfragen/s, unbegrenzt viele Regeln. Das Anfragelimit gilt pro Konto über alle Schlüssel. Höhere Raten auf Anfrage.
Maximal 20.480 UTF-8-Bytes pro Text. Bei mehr als 15.000 Bytes serialisiertem UTF-8-JSON-Zustand bewerten wir Anfang und Ende; Kontext in der Mitte kann verloren gehen. Sprachhinweise: höchstens 10 nicht leere Codes mit jeweils maximal 35 Zeichen. Playground: 1.000 Zeichen, bis zu drei Attribute, 20 Anfragen/IP/Tag. Migration: UTF-8 CSV oder JSONL, maximal 5 MB; 500 Zeilen ohne Konto, 5.000 mit Konto.
- 400 INVALID_ARGUMENT
- Text, Typ, Attribut und Werte prüfen.
- 401/403 PERMISSION_DENIED
- Schlüssel prüfen oder ersetzen.
- 429 RESOURCE_EXHAUSTED
- Anfragerate senken oder Monatsnutzung prüfen.
- 503 UNAVAILABLE
- Begrenzt mit exponentieller Pause und Zufallsversatz wiederholen; einen Moderationsersatz vorsehen. Fehlgeschlagene Bewertungen werden nicht als Texte berechnet.
Datenverarbeitung
API-Texte werden im Arbeitsspeicher in der EU verarbeitet und von der Moderation API weder gespeichert noch protokolliert; unser Gateway speichert keine Anfrageinhalte (AVV-Anlage 1 §5). Sie werden niemals zum Training verwendet. Nutzungsmetadaten enthalten Zähler, Latenz und Schlüsselkennungen. Migrationsdateien werden nach der Bewertung gelöscht; Ergebnisse einschließlich Kommentartexten nach sieben Tagen. Konto-, Zahlungs- und E-Mail-Daten werden getrennt behandelt. Siehe Datenschutz und AVV.