内容巡查的概述

针对业务系统包括APP中的文本、图片、音频和视频等信息进行安全检测和过滤，结合***监管政策要求，提供对内容的涉政、违禁、广告等风险内容巡查。

为数据内容提供全方面敏***检测，结合***政策***，提供文本、图片、音频、视频、网页等方面，关于涉政、违禁、广告等内容风险，实现准确、全方面覆盖的内容审核过滤。

被忽视的内容安全，App领域成了重灾难区

近年来，各类互联网企业接连不断因内容违规问题被罚。企业有意自查，对内容进行把控，却处处是难题。行业到底怎么了？或者，更多想问的是我们的内容安全屏障到底怎么了？

各家互联网平台都不约而同地开始升级风险管控力度，预防网暴能力，新上线“风险提醒”“发文警示”等功能，整治不当私信和不当评论，推动形成预防网暴的合力。

在加强风险管控的背后，是网暴已达到猖狂的程度。就拿近期的案例而言，上海姑娘因打赏外卖员200元被网暴跳楼；19岁女孩***中被怂恿喝农作物***，类似事件则多次被推上热搜，而这只是互联网内容安全问题的冰山一角。

今年3月份，人民日报连发三篇评论斥责网暴。更早之前，***网信办也开展了“清朗·2022年春节网络环境整治”专项行动，其中***整治任务中，排在首位的就是“网暴、散播谣言等问题”，包括借疫情、社会热点事件等挑动，进行人肉搜索、攻击等情况。

针对此次专项行动，中国信通院与网易、博特智能等企业在2022年也完成了面向互联网信息服务类企业的《内容审核体系成熟度评估规范》，该规范将能帮助互联网信息服务类企业全方面梳理内容安全体系，及时查漏补缺，协助互联网信息服务类企业开展“自查自纠”。

就在近期，中国信通院再次牵头会同阿里、网易、中国移动、博特智能、YY***、映客***等互联网信息平台、机器审核服务商，召开了内容审核机审能力调研会，***对互联网信息平台在文本、图片、视频、音频领域的机审能力进行了深入调研，将为***有关部门开展后续规范工作提供科学依据。

这也预示着内容安全领域的相关行业标准即将出台，平台对展示用户内容的审核负责任，将被正式规范约束。

不断扩招的后顾之虑

综合各路媒体报道来看，字节跳动内容审核员已扩招超2万人，快手、B站、腾讯等各平台也分别有数千人。整体不到十万数量级的内容审核员，在面对数亿人民产生的倍量内容时，互联网秩序的维护者们也显得有些力不从心。

内容审核员就如“互联网保安”，24小时在文本、图片、音频、视频的不间断“巡逻”，拦截那些***、低俗、涉政、广告等违规内容，如果拦截不及时，随时就可能上演“全民知晓”的内容安全事故。而长期熬夜、身体紊乱、长期面对***、低俗等内容，对审核员的精神，心理，造成非常大的损伤。

国内外已有不少从业者受到类似困扰，轻则“恶心到吃不下饭”，“晚上做噩梦”，严重的心理创伤，甚至可以让人变得麻木和暴躁，越来越具有攻击性，甚至有审核员猝死。

可以说，当前依靠人工审核来控制内容合规安全，已达到较高负荷的状态。

那不断扩大审核团队规模，就可以“后顾无忧”吗？显然这已不再是较优解。眼下还是平台可以增加人力成本，扩招人工、“少赚一点”的阶段，但作为企业，都会在成本和收益之间想达到一个平衡。

如果单纯把内容风险控制当成一件纯技术性的事情，或者说只认为是企业的成本负担，不能创造收益。那企业只需要准备大量训练数据，一些判断模型就可以直接拿来用，甚至还可以拿出去做成生意。但真正经历过内容安全痛苦的企业就会知道，内容风险控制掌握着企业发展的命门。

海量的内容，在人工之外如何做好内容的合规和安全？现已成了所有内容相关企业绕不开的话题，而内容风险控制细分领域头部玩家们，也瞄准了贴近人类思维的AI内容审核机制的算法研究。