解决表情包乱码

问题描述:

在 Web 应用或移动App中,我们经常需要显示表情符号。但表情符号包含许多非ASCII字符,不能直接在文本中传输,所以通常会转换为HTML实体编码进行传输和存储,如常见的微笑表情“:😊:”会编码为“😊”。但是后续读取网络返回的文本内容时,如果不对这些HTML实体进行解码,就会直接输出类似“😊”的字符串,导致表情显示为乱码的问题。
问题原因:
HTML实体编码可以避免表情和其他特殊符号在网络传输和存储中出现错误或丢失,所以通常会在文本中包含大量这种编码。但我们在拿到文本内容后,需要进行解码才能显示原始的表情符号。直接显示HTML编码字符串是因为没有进行实体解码导致的。
解决思路:
要解决这个问题,我们需要在获得文本内容后,对其中的HTML实体编码进行解码,转换回对应的Unicode字符,才能正确显示表情。主要的技术方案有:

1. 使用Jsoup等HTML解析器,在解析文档时会自动解码实体,所以可以直接获取解析后的文本。

String html = EntityUtils.toString(response.getEntity(), "UTF-8");
String text = Jsoup.parse(html).text();
1
2

2. 使用StringEscapeUtils中的unescapeHtml4方法,它能自动识别并批量解码所有HTML4实体。

String html = EntityUtils.toString(response.getEntity(), "UTF-8");
String text = StringEscapeUtils.unescapeHtml4(html);
1
2

3. 自己编写代码,根据实体编码的数字值 lookups表 来逐个替换实体。

String text = html.replace("��", "\ud83d\ude0a");
1

4. 使用正则表达式匹配所有“&#数字;”格式的实体编码,根据数字转换为字符后替换。

Pattern pattern = Pattern.compile("&#(\\d+);");
Matcher matcher = pattern.matcher(html);
while(matcher.find()){
  String ch = Character.toString((char)Integer.parseInt(matcher.group(1)));
  html = html.replace(matcher.group(), ch);
}
1
2
3
4
5
6

5. 对于包含复杂HTML标签和文本的内容,可以用Jsoup先解析出文本节点,再对文本部分解码。
6. 也可以试着从响应头的Content-Type中解析编码,并传入IO工具类。
7. 封装为函数以复用解码逻辑,避免每次使用都要重写。
   总结:
   自动批量解码HTML实体是解决表情和特殊符号乱码的最关键的一步。StringEscapeUtils提供了非常方便的工具类方法,使用正则表达式也能有效解决问题。熟练应用一些文本解码方法,可以让我们更好地处理网络内容中的编码问题。