内容过滤是当前互联网信息安全的研究热点, 也是所面临的挑战之一。互联网迅速普及, 但其内容存在大量不良信息, 内容过滤就是对其进行筛选, 取其精华、去其糟粕, 是对传播的信息进行的审计行为。虽然最近几年维吾尔文信息技术得到了充足的发展空间。但是,维吾尔文不良信息过滤相关的技术未被得到重点研究,给境外不法分子利用互联网进行反动宣传留下了漏洞。本项目针对该问题,以真实网络信息作为研究对象,围绕维吾尔文不良信息过滤技术,对编码统一、被变形的单词、不良文本分类技术、利用敏感词组合过滤不良文本等基础技术进行深入研究,为研发维吾尔文不良信息过滤系统奠定基础。通过本项目构建100万次词人工校对的维吾尔文词法标注网络文本语料库,与公安部门合作构建维吾尔文不良信息语料库,研发维吾尔文不良信息检索过滤实验系统。
uyghur;language identification;filter;spell check;
本项目中,围绕维吾尔文不良信息过滤系统所需要的相关技术,对维吾尔文网页收集与争化、语种识别、编码统一、拼写检查、候选词产生、文本分类、舆情控制等相关技术开展了研究,并取得了一些成绩。通过本项目的实施,构建100万次词人工校对的维吾尔文词法标注网络文本语料库,与公安部门合作构建维吾尔文不良信息语料库,研究与实现了统计和规则相结合的维吾尔文语种识别系统、维吾尔文四种文字相互转换系统,提出维吾尔文拼写检查方法、候选词产生算法,通过开源工具对文本分类及敏感信息过滤进行实验,研发维吾尔文不良信息检索过滤实验系统。通过本项目,为维吾尔文不良信息过滤、舆情监控等奠定了基础。