mysql 保存微信特殊昵称报错,报非法字符异常

客官°小女子只卖身不卖艺 2022-02-16 10:09 197阅读 0赞

## 解释: ##

这些字符发现都是 emoji 表情在各个编程语言种对应的编码也不相同

## 原因和办法: ##

特殊字符一个字符有可能是一个符号由4个字节组成,但UTF-8 一个字符由3个字节组成,所有会报错

1. 在数据库中将该列的字符该为utf8mb4,

2. 存的时候,Base64 转化一下,取得时候再解密一下

### 附带代码: ###

由于前端需要 unicode 编码格式的,所有这里提供一下unicode 编码转换类

1. java 字符串转 unicode

参考:[http://www.lifengdi.com/article/10047.html][http_www.lifengdi.com_article_10047.html]

package com.util.converter;
    
    /**
     * unicode 编码转换器
     * String 字符串 和 unicode 编码互相转换
     * 参考:http://www.lifengdi.com/article/10047.html
     */
    public class UnicodeConverter {
    
    
        public static void main(String[] args) {
    
            String str = "愛游的\uD83D\uDC1F";
            System.out.println(unicode(str));
    //        System.out.println("decodeUnicode:" + decodeUnicode(unicode(str)));
    //        System.out.println("decodeUnicode2:" + decodeUnicode2(unicode(str)));
        }
    
        /**
         * 转 unicode
         * @param source
         * @return
         */
        public static String unicode(String source) {
            StringBuffer sb = new StringBuffer();
            char[] source_char = source.toCharArray();
            String unicode = null;
            for (int i = 0; i < source_char.length; i++) {
                unicode = Integer.toHexString(source_char[i]);
                if (unicode.length() <= 2) {
                    unicode = "00" + unicode;
                }
                sb.append("\\u" + unicode);
            }
    //        System.out.println(sb);
            return sb.toString();
        }
    
    
    
    
        /**
         * 还原字符串
         * @param unicode
         * @return
         */
        public static String decodeUnicode(String unicode) {
            StringBuffer sb = new StringBuffer();
    
            String[] hex = unicode.split("\\\\u");
    
            for (int i = 1; i < hex.length; i++) {
                int data = Integer.parseInt(hex[i], 16);
                sb.append((char) data);
            }
            return sb.toString();
        }
    
    
        /**
         * 还原字符串
         * @param dataStr
         * @return
         */
        public static String decodeUnicode2(String dataStr) {
            int start = 0;
            int end = 0;
            final StringBuffer buffer = new StringBuffer();
            while (start > -1) {
                end = dataStr.indexOf("\\u", start + 2);
                String charStr = null;
                if (end == -1) {
                    charStr = dataStr.substring(start + 2, dataStr.length());
                } else {
                    charStr = dataStr.substring(start + 2, end);
                }
                char letter = (char) Integer.parseInt(charStr, 16);
                buffer.append(new Character(letter).toString());
                start = end;
            }
            return buffer.toString();
        }
    
    
    
    
    
    
    }

2. 根据emoji 编码转 unicode

原创

package com.util.converter;
    
    
    /**
     * emoji 表情 代表的unicode 编码和java unicode(以UTF-16的形式) 的转换
     *
     *
     * unicode 编码和int 一一对应的关系, 相互的转换
     * emoji 表情的Unified 形式,是以 U+0000 to U+FFFF 这种形式表示的,不知道对应的编码在 java 中是什么类型
     */
    public class UnicodeParseHex {
    
    
        public static String hexToUnicode(String[] hexs) {
            StringBuffer sbf = new StringBuffer();
            for (String hex:hexs ) {
                sbf.append(intToUnicode(Integer.parseUnsignedInt(hex.replace("U+",""),16)));
            }
            return sbf.toString();
        }
    
        /**
         * 将 以16进制 形式表示的 U+0000 to U+FFFF
         * (这些编码每一个对应一个对应的int 数字表示,java 中是以UTF-16 形式的unicode 表示字符串和字符的,参见java 的 Character 类的说明文档) 转换为java 对应的unicode 编码形式
         //     * @param hex 16进制数,不要带0x 前导符号,
         * @return
         */
        public static String hexToUnicode(String hex) {
            return intToUnicode(Integer.parseUnsignedInt(hex.replace("U+",""),16));
        }
    
    
    
        public static String intToUnicode(int[] is) {
            StringBuffer sbf = new StringBuffer();
            for (int i:is ) {
                sbf.append(intToUnicode(i));
            }
            return sbf.toString();
        }
    
    
        /**
         * int 转换为对应的 unicode 编码的 java 表示形式
         *  对应关系例子:
         *  //1f41e   "\uD83D\uDC1E"   128030
         * @param i
         * @return
         */
        public static String intToUnicode(int i) {
    //        int i2 = Character.charCount(i);// 一个数字对应几个unicode 码点
            char [] uChars = Character.toChars(i);
            StringBuffer sbf = new StringBuffer();
            for (char c: uChars) {
                String str = Integer.toHexString(c);
                if (str.length() <= 2) {
                    str = "00" + str;
                }
    //            System.out.println(str);
                sbf.append("\\u"+str);
            }
            return sbf.toString();
        }
    
    
    
        /**
         *
         * 根据Unicode 字符串,反解出对应的 int
         * 将 emoji 表情的unicode 形式(java默认形式) 转换为她对应的 十六进制的Unified 形式
         * 参考: http://www.cnblogs.com/hahahjx/p/4522913.html
         * @param unicodeStr 例如: "\uD83D\uDC1E"
         * @return [0] 代表值无效不是特殊字符
         */
        public static int[] unicodeToInt(String unicodeStr) {
            int cpCount = unicodeStr.codePointCount(0,unicodeStr.length());// 查找unicodeString 字符串中包含的 unicode 码点数量
            int [] indexs = new int[2];
    //        System.out.println("字符串中unicode 码点的数量:"+cpCount);
            for (int i = 0; i < cpCount;i++ ) {
                int index = unicodeStr.offsetByCodePoints(0, i);// 从左往右依次查询出现的unicode 码点的位置
                int codepoint = unicodeStr.codePointAt(index);//根据字符串的指定的索引,找出对应的unicode 的值(int 十进制的形式)
                if(isEmojiCharacter(codepoint)) {
    //                System.out.println("unicode 码点对应的十进制数" + codepoint);
    //                System.out.println(Integer.toHexString(codepoint));
                    indexs[i] = index;
                }
            }
    //        System.out.println(UnicodeConverter.decodeUnicode(UnicodeConverter.unicode(unicodeStr)));
            return indexs;
        }
    
        /**
         * 根据Unicode 字符串,反解出对应的 16 进制的数
         * @param unicodeStr
         * @return
         */
        public static String[] unicodeToHex(String unicodeStr) {
            int [] indexs = unicodeToInt(unicodeStr);
            String [] strs = new String[indexs.length];
            for (int i = 0; i < indexs.length; i++) {
                strs[i] = Integer.toHexString(indexs[i]);
            }
            return strs;
        }
    
    
        /**
         * 判断是否是属于特殊字符
         * @param codePoint
         * @return
         */
        private static boolean isEmojiCharacter(int codePoint) {
            return (codePoint >= 0x2600 && codePoint <= 0x27BF) // 杂项符号与符号字体
                    || codePoint == 0x303D
                    || codePoint == 0x2049
                    || codePoint == 0x203C
                    || (codePoint >= 0x2000 && codePoint <= 0x200F)//
                    || (codePoint >= 0x2028 && codePoint <= 0x202F)//
                    || codePoint == 0x205F //
                    || (codePoint >= 0x2065 && codePoint <= 0x206F)//
                    /* 标点符号占用区域 */
                    || (codePoint >= 0x2100 && codePoint <= 0x214F)// 字母符号
                    || (codePoint >= 0x2300 && codePoint <= 0x23FF)// 各种技术符号
                    || (codePoint >= 0x2B00 && codePoint <= 0x2BFF)// 箭头A
                    || (codePoint >= 0x2900 && codePoint <= 0x297F)// 箭头B
                    || (codePoint >= 0x3200 && codePoint <= 0x32FF)// 中文符号
                    || (codePoint >= 0xD800 && codePoint <= 0xDFFF)// 高低位替代符保留区域
                    || (codePoint >= 0xE000 && codePoint <= 0xF8FF)// 私有保留区域
                    || (codePoint >= 0xFE00 && codePoint <= 0xFE0F)// 变异选择器
                    || codePoint >= 0x10000; // Plane在第二平面以上的，char都不可以存，全部都转
        }
    
    
    
    }

[http_www.lifengdi.com_article_10047.html]: http://www.lifengdi.com/article/10047.html