内容巡查的能力

定期巡查

对APP进行定期违规信息巡查、智能搜索对抗巡查持续内容运营支撑，根据日历和监管分析更新升级巡查库对巡查结果进行人工校验，人工拓展挖掘

专项巡查

根据监管部门的专项治理要求提供临时专项支撑巡查服务

数据清洗

对APP进行违规内容巡查评估分析，制定清洗策略对后台数据进行数据检索回查和数据焦中过滤对清洗结果进行人工校验，人工拓展挖掘

智能app内容巡查的主要功能

1. 路线管理：设置多条巡检路线，在各路线中自定义添加巡检站点，实现路线与站点的灵活配置

2. 测项管理：根据每个巡检站点的实际业务需求灵活配置观察与抄表测项，自定义观察要求、标准值、上下限

3. 异常处理：支持巡检异常上报，通过文字、图片记录异常内容，上报后实时通知巡检负责人，关联隐患排查、设备故障进行标准化处理与跟踪

4. 到位管理：通过gps、蓝牙信标、nfc标签等多种方式记录巡检人员轨迹、监督巡检人员到位

5. 人员排班管理：可根据业务实际情况建立多个巡检班组，并为每个班组巡检计划，实现到时自动提醒

6. 数据统计：从巡检路线、时间、人员等不同维度提供到位率、异常统计，自动生成巡检记录与设备运行记录

被忽视的内容安全，App领域成了重灾难区

近年来，各类互联网企业接连不断因内容违规问题被罚。企业有意自查，对内容进行把控，却处处是难题。行业到底怎么了？或者，更多想问的是我们的内容安全屏障到底怎么了？

各家互联网平台都不约而同地开始升级风险管控力度，预防网暴能力，新上线“风险提醒”“发文警示”等功能，整治不当私信和不当评论，推动形成预防网暴的合力。

在加强风险管控的背后，是网暴已达到猖狂的程度。就拿近期的案例而言，上海姑娘因打赏外卖员200元被网暴跳楼；19岁女孩***中被怂恿喝农作物***，类似事件则多次被推上热搜，而这只是互联网内容安全问题的冰山一角。

今年3月份，人民日报连发三篇评论斥责网暴。更早之前，***网信办也开展了“清朗·2022年春节网络环境整治”专项行动，其中***整治任务中，排在首位的就是“网暴、散播谣言等问题”，包括借疫情、社会热点事件等挑动，进行人肉搜索、攻击等情况。

针对此次专项行动，中国信通院与网易、博特智能等企业在2022年也完成了面向互联网信息服务类企业的《内容审核体系成熟度评估规范》，该规范将能帮助互联网信息服务类企业全方面梳理内容安全体系，及时查漏补缺，协助互联网信息服务类企业开展“自查自纠”。

就在近期，中国信通院再次牵头会同阿里、网易、中国移动、博特智能、YY***、映客***等互联网信息平台、机器审核服务商，召开了内容审核机审能力调研会，***对互联网信息平台在文本、图片、视频、音频领域的机审能力进行了深入调研，将为***有关部门开展后续规范工作提供科学依据。

这也预示着内容安全领域的相关行业标准即将出台，平台对展示用户内容的审核负责任，将被正式规范约束。

不断扩招的后顾之虑

综合各路媒体报道来看，字节跳动内容审核员已扩招超2万人，快手、B站、腾讯等各平台也分别有数千人。整体不到十万数量级的内容审核员，在面对数亿人民产生的倍量内容时，互联网秩序的维护者们也显得有些力不从心。

内容审核员就如“互联网保安”，24小时在文本、图片、音频、视频的不间断“巡逻”，拦截那些***、低俗、涉政、广告等违规内容，如果拦截不及时，随时就可能上演“全民知晓”的内容安全事故。而长期熬夜、身体紊乱、长期面对***、低俗等内容，对审核员的精神，心理，造成非常大的损伤。

国内外已有不少从业者受到类似困扰，轻则“恶心到吃不下饭”，“晚上做噩梦”，严重的心理创伤，甚至可以让人变得麻木和暴躁，越来越具有攻击性，甚至有审核员猝死。

可以说，当前依靠人工审核来控制内容合规安全，已达到较高负荷的状态。

那不断扩大审核团队规模，就可以“后顾无忧”吗？显然这已不再是较优解。眼下还是平台可以增加人力成本，扩招人工、“少赚一点”的阶段，但作为企业，都会在成本和收益之间想达到一个平衡。

如果单纯把内容风险控制当成一件纯技术性的事情，或者说只认为是企业的成本负担，不能创造收益。那企业只需要准备大量训练数据，一些判断模型就可以直接拿来用，甚至还可以拿出去做成生意。但真正经历过内容安全痛苦的企业就会知道，内容风险控制掌握着企业发展的命门。

海量的内容，在人工之外如何做好内容的合规和安全？现已成了所有内容相关企业绕不开的话题，而内容风险控制细分领域头部玩家们，也瞄准了贴近人类思维的AI内容审核机制的算法研究。