httpClient采集到的数据乱码问题完整解决

亦凉 2022-06-02 04:18 158阅读 0赞

解决乱码有如下几种方式，还有两种特殊的情况:

首先选用正确的post和get方式是必须的

如果出现乱码 可以尝试分别单独使用以下方法:

if (HttpStatus.SC\_OK == response.getStatusLine().getStatusCode()) \{  
entity = response.getEntity();  
if (entity != null) \{  
//第一种方式  
System.out.println(EntityUtils.toString(entity,"GBK"));

//第二种方式

String outstr = new String(EntityUtils.toString(entity).getBytes("ISO-8859-1"),"GBK");  
System.out.println(outstr);

//第三种方式

String responseString = new String(EntityUtils.toString(entity));  
      responseString=new String(responseString.getBytes("ISO-8859-1"),"GBK");  
      System.out.println(responseString);   
\}  
\}

这三种方式都不起作用，一直乱码。

然后又找到另一种方式，在httpclient之前设置编码

client.getParams().setParameter("http.protocol.content-charset", "UTF-8");  
this.response = client.execute(hp);

如果以上几种方式都没解决，那就可能是以下的两种特殊情况：

情况一: 编码被压缩了

在用httpclient做网页提取的过程中，通过抓包工具发现了 头部中会有 Accept-Encoding: gzip, deflate字段

如果头部有了该字段，则服务器会将内容reponse的内容进行压缩用gzip或者deflate算法，然后reponse给用户。目前我看到的仅仅有gzip算法被用到，然后返回给用户的数据也是压缩后的数据，这样往往可以减轻服务器的负担，同时也减少了网络传输

如果有了该字段，你又不处理，那么就会遇到乱码现象(这是肯定的，因为只是压缩过的数据)。下边我会利用httpclient工具对加入了Accept-Encoding: gzip, deflate 的内容进行处理，使得内容可以正常处理。

增加代码如下:

if (httpResponse.getStatusLine().getStatusCode() == 200) {
    					HttpEntity httpEntity = httpResponse.getEntity();
    					if(httpEntity.getContentEncoding()!=null){
    					if("gzip".equalsIgnoreCase(httpEntity.getContentEncoding().getValue())){
    						httpEntity = new GzipDecompressingEntity(httpEntity);				
    					} else if("deflate".equalsIgnoreCase(httpEntity.getContentEncoding().getValue())){
    						httpEntity = new DeflateDecompressingEntity(httpEntity);			
    					}}
    					result = EntityUtils.toString(httpEntity, encode);// 取出应答字符串
        //					System.out.println(result);}

第二种情况: 有时候我们使用System.out.println(EntityUtils.toString(entity,"GBK"))能解析大部分代码，但是还有小部分出现乱码

这种情况是因为 我们设置的编码没起作用

我们看httpcore-4.2.4.jar版本的EntityUtils源码

如下:

public static String toString(
                final HttpEntity entity, final String defaultCharset) throws IOException, ParseException {
            return toString(entity, defaultCharset != null ? Charset.forName(defaultCharset) : null);
        }

public static String toString(
                final HttpEntity entity, final Charset defaultCharset) throws IOException, ParseException {
            if (entity == null) {
                throw new IllegalArgumentException("HTTP entity may not be null");
            }
            InputStream instream = entity.getContent();
            if (instream == null) {
                return null;
            }
            try {
                if (entity.getContentLength() > Integer.MAX_VALUE) {
                    throw new IllegalArgumentException("HTTP entity too large to be buffered in memory");
                }
                int i = (int)entity.getContentLength();
                if (i < 0) {
                    i = 4096;
                }
                Charset charset = null;
                try {
                    ContentType contentType = ContentType.get(entity);
                    if (contentType != null) {
                        charset = contentType.getCharset();
                    }
                } catch (final UnsupportedCharsetException ex) {
                    throw new UnsupportedEncodingException(ex.getMessage());
                }
                if (charset == null) {
                    charset = defaultCharset;
                }
                if (charset == null) {
                    charset = HTTP.DEF_CONTENT_CHARSET;
                }
                Reader reader = new InputStreamReader(instream, charset);
                CharArrayBuffer buffer = new CharArrayBuffer(i);
                char[] tmp = new char[1024];
                int l;
                while((l = reader.read(tmp)) != -1) {
                    buffer.append(tmp, 0, l);
                }
                return buffer.toString();
            } finally {
                instream.close();
            }
        }

发现它会先去获取一遍 网站头文件传回来的 编码   如果有编码就不用我们的编码

但是 我们有时候会遇到 网站的头文件 传回来的编码 是 gb2312 但其实网站用的是gbk

所以  我们要把以上方法重新，把 获取 头文件编码部分注释掉

我最后用的方法如下 ：

result = enCodetoString(httpEntity, encode);// 取出应答字符串
    
     public static String enCodetoString(
    	            final HttpEntity entity, final String defaultCharset) throws IOException, ParseException {
    	        return enCodetoStringDo(entity, defaultCharset != null ? Charset.forName(defaultCharset) : null);
    	    }
    	
    	  public static String enCodetoStringDo(
    	            final HttpEntity entity, Charset defaultCharset) throws IOException, ParseException {	
    	        if (entity == null) {
    	            throw new IllegalArgumentException("HTTP entity may not be null");
    	        }
    	        InputStream instream = entity.getContent();
    	        if (instream == null) {
    	            return null;
    	        }
    	        try {
    	            if (entity.getContentLength() > Integer.MAX_VALUE) {
    	                throw new IllegalArgumentException("HTTP entity too large to be buffered in memory");
    	            }
    	            int i = (int)entity.getContentLength();
    	            if (i < 0) {
    	                i = 4096;
    	            }
    	            Charset charset = null;
    	            try {
    //	                ContentType contentType = ContentType.get(entity);
    //	                if (contentType != null) {
    //	                    charset = contentType.getCharset();
    //	                }
    	            } catch (final UnsupportedCharsetException ex) {
    	                throw new UnsupportedEncodingException(ex.getMessage());
    	            }
    	            if (charset == null) {
    	                charset = defaultCharset;
    	            }
    	            if (charset == null) {
    	                charset = HTTP.DEF_CONTENT_CHARSET;
    	            }
    	            Reader reader = new InputStreamReader(instream, charset);
    	            CharArrayBuffer buffer = new CharArrayBuffer(i);
    	            char[] tmp = new char[1024];
    	            int l;
    	            while((l = reader.read(tmp)) != -1) {
    	                buffer.append(tmp, 0, l);
    	            }
    	            return buffer.toString();
    	        } finally {
    	            instream.close();
    	        }
    	    }

下面还有一个方法 可以检测字符的解析

System.out.println(Arrays.toString("堎".getBytes(Charset.forName("gbk"))));
    		
    		System.out.println(new String(new byte[]{-120, -39},Charset.forName("gb2312")));

原文链接： [http://blog.csdn.net/zzq900503/article/details/39203331][http_blog.csdn.net_zzq900503_article_details_39203331]

[http_blog.csdn.net_zzq900503_article_details_39203331]: http://blog.csdn.net/zzq900503/article/details/39203331