微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

Java实现DFA算法对敏感词、广告词过滤功能示例

分类：Java作者：编程之家AI导航网

一、前言

开发中经常要处理用户一些文字的提交，所以涉及到了敏感词过滤的功能，参考资料中DFA有穷状态机算法的实现，创建有向图。完成了对敏感词、广告词的过滤，而且效率较好，所以分享一下。

具体实现：

 1、匹配大小写过滤
 2、匹配全角半角过滤
 3、匹配过滤停顿词过滤。
 4、敏感词重复词过滤。

例如：

支持如下类型类型过滤检测：

fuck 全小写

FuCk 大小写

ｆｕｃｋ全角半角

f!!!u&c ###k 停顿词

fffuuuucccckkk 重复词

敏感词过滤的做法有很多，我简单描述我现在理解的几种：

①查询数据库当中的敏感词，循环每一个敏感词，然后去输入的文本中从头到尾搜索一遍，看是否存在此敏感词，有则做相

应的处理，这种方式讲白了就是找到一个处理一个。

优点：so easy。用java代码实现基本没什么难度。

缺点：这效率让我心中奔过十万匹草泥马，而且匹配的是不是有些蛋疼，如果是英文时你会发现一个很无语的事情，比如英文

a是敏感词，那我如果是一篇英文文档，那程序它妹的得处理多少次敏感词？谁能告诉我？

②传说中的DFA算法（有穷自动机）,也正是我要给大家分享的，毕竟感觉比较通用，算法的原理希望大家能够自己去网上查查

资料，这里就不详细说明了。

优点：至少比上面那sb效率高点。

缺点：对于学过算法的应该不难，对于没学过算法的用起来也不难，就是理解起来有点gg疼，匹配效率也不高，比较耗费内存，

敏感词越多，内存占用的就越大。

③第三种在这里要特别说明一下，那就是你自己去写一个算法吧，或者在现有的算法的基础上去优化，这也是小Alan追求的至

高境界之一，如果哪位淫兄有自己的想法一定别忘了小Alan，可以加小Alan的QQ：810104041教小Alan两招耍耍。

二、代码实现

其目录结构如下：

其中resources资源目录中：

stopwd.txt ：停顿词，匹配时间直接过滤。

wd.txt：敏感词库。

1、WordFilter敏感词过滤类

package org.andy.sensitivewdfilter; 
 
import java.io.BufferedReader; 
import java.io.IOException; 
import java.io.InputStreamReader; 
import java.util.ArrayList; 
import java.util.HashMap; 
import java.util.HashSet; 
import java.util.List; 
import java.util.Map; 
import java.util.Set; 
 
import org.andy.sensitivewdfilter.util.BCConvert; 
 
/** 
 * 创建时间：2016年8月30日 下午3:01:12 
 * 
 * 思路： 创建一个FilterSet，枚举了0~65535的所有char是否是某个敏感词开头的状态 
 * 
 * 判断是否是 敏感词开头 | | 是 不是 获取头节点 OK--下一个字 然后逐级遍历，DFA算法 
 * 
 * @author andy 
 * @version 2.2 
 */ 
public class WordFilter { 
 
  private static final FilterSet set = new FilterSet(); // 存储首字 
  private static final Map<Integer,WordNode> nodes = new HashMap<Integer,WordNode>(1024,1); // 存储节点 
  private static final Set<Integer> stopwdSet = new HashSet<>(); // 停顿词 
  private static final char SIGN = '*'; // 敏感词过滤替换 
 
  static { 
    try { 
      long a = System.nanoTime(); 
      init(); 
      a = System.nanoTime() - a; 
      System.out.println("加载时间 : " + a + "ns"); 
      System.out.println("加载时间 : " + a / 1000000 + "ms"); 
    } catch (Exception e) { 
      throw new RuntimeException("初始化过滤器失败"); 
    } 
  } 
 
  private static void init() { 
    // 获取敏感词 
    addSensitiveWord(readWordFromFile("wd.txt")); 
    addStopWord(readWordFromFile("stopwd.txt")); 
  } 
 
  /** 
   * 增加敏感词 
   * @param path 
   * @return 
   */ 
  private static List<String> readWordFromFile(String path) { 
    List<String> words; 
    BufferedReader br = null; 
    try { 
      br = new BufferedReader(new InputStreamReader(WordFilter.class.getClassLoader().getResourceAsstream(path))); 
      words = new ArrayList<String>(1200); 
      for (String buf = ""; (buf = br.readLine()) != null;) { 
        if (buf == null || buf.trim().equals("")) 
          continue; 
        words.add(buf); 
      } 
    } catch (Exception e) { 
      throw new RuntimeException(e); 
    } finally { 
      try { 
        if (br != null) 
          br.close(); 
      } catch (IOException e) { 
      } 
    } 
    return words; 
  } 
 
  /** 
   * 增加停顿词 
   * 
   * @param words 
   */ 
  private static void addStopWord(final List<String> words) { 
    if (words != null && words.size() > 0) { 
      char[] chs; 
      for (String curr : words) { 
        chs = curr.tochararray(); 
        for (char c : chs) { 
          stopwdSet.add(charConvert(c)); 
        } 
      } 
    } 
  } 
 
  /** 
   * 添加DFA节点 
   * @param words 
   */ 
  private static void addSensitiveWord(final List<String> words) { 
    if (words != null && words.size() > 0) { 
      char[] chs; 
      int fchar; 
      int lastIndex; 
      WordNode fnode; // 首字母节点 
      for (String curr : words) { 
        chs = curr.tochararray(); 
        fchar = charConvert(chs[0]); 
        if (!set.contains(fchar)) {// 没有首字定义 
          set.add(fchar);// 首字标志位 可重复add,反正判断了，不重复了 
          fnode = new WordNode(fchar,chs.length == 1); 
          nodes.put(fchar,fnode); 
        } else { 
          fnode = nodes.get(fchar); 
          if (!fnode.isLast() && chs.length == 1) 
            fnode.setLast(true); 
        } 
        lastIndex = chs.length - 1; 
        for (int i = 1; i < chs.length; i++) { 
          fnode = fnode.addIfNoExist(charConvert(chs[i]),i == lastIndex); 
        } 
      } 
    } 
  } 
 
  /** 
   * 过滤判断 将敏感词转化为成屏蔽词 
   * @param src 
   * @return 
   */ 
  public static final String doFilter(final String src) { 
    char[] chs = src.tochararray(); 
    int length = chs.length; 
    int currc; 
    int k; 
    WordNode node; 
    for (int i = 0; i < length; i++) { 
      currc = charConvert(chs[i]); 
      if (!set.contains(currc)) { 
        continue; 
      } 
      node = nodes.get(currc);// 日 2 
      if (node == null)// 其实不会发生，习惯性写上了 
        continue; 
      boolean CouldMark = false; 
      int markNum = -1; 
      if (node.isLast()) {// 单字匹配（日） 
        CouldMark = true; 
        markNum = 0; 
      } 
      // 继续匹配（日你/日你妹），以长的优先 
      // 你-3 妹-4 夫-5 
      k = i; 
      for (; ++k < length;) { 
        int temp = charConvert(chs[k]); 
        if (stopwdSet.contains(temp)) 
          continue; 
        node = node.querySub(temp); 
        if (node == null)// 没有了 
          break; 
        if (node.isLast()) { 
          CouldMark = true; 
          markNum = k - i;// 3-2 
        } 
      } 
      if (CouldMark) { 
        for (k = 0; k <= markNum; k++) { 
          chs[k + i] = SIGN; 
        } 
        i = i + markNum; 
      } 
    } 
 
    return new String(chs); 
  } 
   
  /** 
   * 是否包含敏感词 
   * @param src 
   * @return 
   */ 
  public static final boolean isContains(final String src) { 
    char[] chs = src.tochararray(); 
    int length = chs.length; 
    int currc; 
    int k; 
    WordNode node; 
    for (int i = 0; i < length; i++) { 
      currc = charConvert(chs[i]); 
      if (!set.contains(currc)) { 
        continue; 
      } 
      node = nodes.get(currc);// 日 2 
      if (node == null)// 其实不会发生，习惯性写上了 
        continue; 
      boolean CouldMark = false; 
      if (node.isLast()) {// 单字匹配（日） 
        CouldMark = true; 
      } 
      // 继续匹配（日你/日你妹），以长的优先 
      // 你-3 妹-4 夫-5 
      k = i; 
      for (; ++k < length;) { 
        int temp = charConvert(chs[k]); 
        if (stopwdSet.contains(temp)) 
          continue; 
        node = node.querySub(temp); 
        if (node == null)// 没有了 
          break; 
        if (node.isLast()) { 
          CouldMark = true; 
        } 
      } 
      if (CouldMark) { 
        return true; 
      } 
    } 
 
    return false; 
  } 
 
  /** 
   * 大写转化为小写 全角转化为半角 
   * 
   * @param src 
   * @return 
   */ 
  private static int charConvert(char src) { 
    int r = BCConvert.qj2bj(src); 
    return (r >= 'A' && r <= 'Z') ? r + 32 : r; 
  } 
 
}

其中：

isContains ：是否包含敏感词
doFilter：过滤敏感词

2、WordNode敏感词节点

package org.andy.sensitivewdfilter; 
 
import java.util.LinkedList; 
import java.util.List; 
 
/** 
 * 创建时间：2016年8月30日 下午3:07:45 
 * 
 * @author andy 
 * @version 2.2 
 */ 
public class WordNode { 
 
  private int value; // 节点名称 
 
  private List<WordNode> subNodes; // 子节点 
 
  private boolean isLast;// 默认false 
 
  public WordNode(int value) { 
    this.value = value; 
  } 
 
  public WordNode(int value,boolean isLast) { 
    this.value = value; 
    this.isLast = isLast; 
  } 
 
  /** 
   * 
   * @param subNode 
   * @return 就是传入的subNode 
   */ 
  private WordNode addSubNode(final WordNode subNode) { 
    if (subNodes == null) 
      subNodes = new LinkedList<WordNode>(); 
    subNodes.add(subNode); 
    return subNode; 
  } 
 
  /** 
   * 有就直接返回该子节点， 没有就创建添加并返回该子节点 
   * 
   * @param value 
   * @return 
   */ 
  public WordNode addIfNoExist(final int value,final boolean isLast) { 
    if (subNodes == null) { 
      return addSubNode(new WordNode(value,isLast)); 
    } 
    for (WordNode subNode : subNodes) { 
      if (subNode.value == value) { 
        if (!subNode.isLast && isLast) 
          subNode.isLast = true; 
        return subNode; 
      } 
    } 
    return addSubNode(new WordNode(value,isLast)); 
  } 
 
  public WordNode querySub(final int value) { 
    if (subNodes == null) { 
      return null; 
    } 
    for (WordNode subNode : subNodes) { 
      if (subNode.value == value) 
        return subNode; 
    } 
    return null; 
  } 
 
  public boolean isLast() { 
    return isLast; 
  } 
 
  public void setLast(boolean isLast) { 
    this.isLast = isLast; 
  } 
 
  @Override 
  public int hashCode() { 
    return value; 
  } 
 
}

三、测试结果

项目包含敏感词库，源码，停顿词库等，只需运行maven打jar包直接可运行。

项目源码：sensitivewd-filter_jb51.rar

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持编程小技巧。

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

String真的不可变吗？
Java中的String是不可变对象 在面向对象及函数编程语言中，不可变对象（英语：Immutable object）是一种对象，在被创造之后，它的状态就不可以被改变。至于状态可以被改变的对象，则被称为可变对象（英语：mutable object）。-- 来自百度百科 Java8 String源码
String, StringBuffer 和 StringBuilder之间的区别
String, StringBuffer 和 StringBuilder 可变性 String不可变 StringBuffer 和 StringBuilder 可变 线程安全 String 不可变，因此是线程安全的 StringBuilder不是线程安全的 StringBuffer 是线程安全的，内
讲讲Java的序列化反序列化？
序列化：把对象转换为字节序列的过程称为对象的序列化. 反序列化：把字节序列恢复为对象的过程称为对象的反序列化. 什么时候会用到 当只在本地 JVM 里运行下 Java 实例，这个时候是不需要什么序列化和反序列化的，但当出现以下场景时，就需要序列化和反序列化了： 当需要将内存中的对象持久化到磁盘，数据
数组到底是不是对象
先说结论，是对象！可以继续往下看 数组是不是对象 什么是对象？对象是类的一个实例，有状态和行为 Java对象： 软件的对象也有行为和状态 软件对象的状态称之为属性 方法操作对象内部状态的改变，对象的相互调用也是通过方法来完成 而java中的数组具有java中其他对象的一些基本特点。比如封装了一些数据
金融、支付行业的开发者不得不知道的float、double计算误差问题
为什么浮点数 float 或 double 运算的时候会有精度丢失的风险呢？ 《阿里巴巴 Java 开发手册》中提到：“浮点数之间的等值判断，基本数据类型不能用 == 来比较，包装数据类型不能用 equals 来判断”。“为了避免精度丢失，可以使用 BigDecimal 来进行浮点数的运算”。 浮点
浅谈Integer缓存机制原理
面试题引入 这里引申出一个经典问题，看下面代码 Integer a = 100; Integer b = 100; System.out.println(a == b);//true Integer c = 200; Integer d = 200; System.out.println(c ==
能否自定义一个String类使用
先说下结论，可以自定义包名不为java.lang的String类，区别包名是可以正常使用的。 包名不为java.lang package com.seven.jvm; public final class String { /** The value is used for character st
一文讲清楚static关键字
static能修饰的地方 静态变量 静态变量: 又称为类变量，也就是说这个变量属于类的，类所有的实例都共享静态变量，可以直接通过类名来访问它；静态变量在内存中只存在一份。 实例变量: 每创建一个实例就会产生一个实例变量，它与该实例同生共死。 静态方法 静态方法在类加载的时候就存在了，它不依赖于任何实
String究竟能存储多少字符？
能存储多少字符，通过以下步骤来看 首先String的length方法返回是int。所以理论上长度一定不会超过int的最大值。 编译器对字符串字面量长度的限制源自Java编译器（如javac）在处理常量池时的实现。编译器源码如下，限制了字符串长度大于等于65535就会编译不通过：// src/jdk.
解决哈希冲突的三种方法
为什么会哈希冲突 我们知道，在使用Map，Set这些集合时，都会重写hashcode方法，但Java中的hashCode方法会将对象映射到一个32位的整数范围（即从-2^31 到 2^31-1）。无论输入数据多么庞大，哈希函数生成的哈希值总是落在这个有限范围内。因此是会存在hash冲突的。 无论哈希
苹果市值2025年有望达4万亿美元
pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native