Trust og safety-apparat er den samlede betegnelse for de teams, regler, arbejdsgange og tekniske systemer, som digitale platforme bruger for at beskytte brugere. Det kan være sociale medier, spilplatforme, markedspladser eller beskedtjenester. Formålet er at skabe et miljø, hvor brugerne kan færdes uden unødig risiko for chikane, svindel, ulovligt indhold, misinformation eller andre former for misbrug.
Hvad dækker begrebet over?
Et trust og safety-apparat er ikke kun en afdeling med moderatorer. Det omfatter også automatiske værktøjer, rapporteringssystemer, interne politikker og medarbejdere, der vurderer konkrete sager. Når en bruger for eksempel anmelder hadefuldt indhold, en falsk profil eller et forsøg på bedrageri, er det typisk trust og safety-funktionen, der undersøger sagen og beslutter, om indhold skal fjernes, en konto begrænses, eller myndigheder skal involveres.
Arbejdet bygger ofte på signaler, altså tegn på mistænkelig aktivitet. Det kan være usædvanlige loginforsøg, mange anmeldelser på kort tid eller opslag, der matcher kendte mønstre for spam eller ulovligt materiale. Derefter vurderer systemer og medarbejdere, om der faktisk er tale om en overtrædelse.
Hvorfor er det vigtigt?
For brugerne handler trust og safety om tryghed og tillid. Hvis en platform ikke kan beskytte mod misbrug, falder tilliden hurtigt. For virksomheder handler det også om omdømme, lovgivning og ansvar. Et svagt sikkerhedsapparat kan føre til, at skadeligt indhold får lov at sprede sig, eller at sårbare grupper udsættes for overgreb.
Begrebet bruges ofte i debatter om, hvor meget ansvar techvirksomheder har for det, der foregår på deres tjenester. Det gælder især spørgsmål om moderation, ytringsfrihed, børns sikkerhed og bekæmpelse af svindel. Derfor er trust og safety-apparatet blevet et centralt begreb i aktuelle nyheder om sociale medier, digitale platforme og regulering af internettet.