java byte数组比较_Java 字节数组对比低速指针快速

快来打我* 2022-11-03 10:36 10阅读 0赞

如何才能快速比较两个字节数组呢?我将问题描述成下面的接口：

public int compareTo(byte\[\] b1, int s1, int l1, byte\[\] b2, int s2,int l2);

最直观的做法是同时遍历两个数组，两两比较。

public int compareTo(byte\[\] buffer1, int offset1, int length1,

byte\[\] buffer2, int offset2, int length2) \{

// Short circuit equal case

if (buffer1 == buffer2 && offset1 == offset2

&& length1 == length2) \{

return 0;

\}

// Bring WritableComparator code local

int end1 = offset1 + length1;

int end2 = offset2 + length2;

for (int i = offset1, j = offset2; i < end1 && j < end2; i++, j++) \{

int a = (buffer1\[i\] & 0xff);

int b = (buffer2\[j\] & 0xff);

if (a != b) \{

return a - b;

\}

\}

return length1 - length2;

\}

如果事情这么简单就结束了，就没有意思了。

如果要提升性能，可以做循环展开等等优化，但这些优化应该依赖JVM来做，新的JVM可以做的很好。那还有什么办法可以提高性能呢？

可以将字节数组合并!!上面的例子中，每个byte被迫转型成了int，再比较。其实我们可以将8个byte转换成一个long，在比较long，这样效果会不会好些？用什么方法转换才是最优的？

long sun.misc.Unsafe.getLong(Object o,int offset)

Java提供了一个本地方法，可以最快最好转换byte与long。该函数是直接访问一个对象的内存，内存地址是对象指针加偏移量，返回该地址指向的值。有人说Java很安全，不可以操作指针，所以有的时候性能也不高。其实不对，有了这个Unsafe类，Java一样也不安全。所以Unsafe类中的方法都不是public的，不过没关系，我们有反射。言归正传，下面是使用这种技术手段的实现代码。

public int compareTo(byte\[\] buffer1, int offset1, int length1,

byte\[\] buffer2, int offset2, int length2) \{

// Short circuit equal case

if (buffer1 == buffer2 && offset1 == offset2

&& length1 == length2) \{

return 0;

\}

int minLength = Math.min(length1, length2);

int minWords = minLength / Longs.BYTES;

int offset1Adj = offset1 + BYTE\_ARRAY\_BASE\_OFFSET;

int offset2Adj = offset2 + BYTE\_ARRAY\_BASE\_OFFSET;

/\*

\* Compare 8 bytes at a time. Benchmarking shows comparing 8

\* bytes at a time is no slower than comparing 4 bytes at a time

\* even on 32-bit. On the other hand, it is substantially faster

\* on 64-bit.

\*/

for (int i = 0; i < minWords \* Longs.BYTES; i += Longs.BYTES) \{

long lw = theUnsafe.getLong(buffer1, offset1Adj + (long) i);

long rw = theUnsafe.getLong(buffer2, offset2Adj + (long) i);

long diff = lw ^ rw;

if (diff != 0) \{

if (!littleEndian) \{

return (lw + Long.MIN\_VALUE) < (rw + Long.MIN\_VALUE) ? -1

: 1;

\}

// Use binary search,一下省略若干代码

.....

return (int) (((lw >>> n) & 0xFFL) - ((rw >>> n) & 0xFFL));

\}

\}

// The epilogue to cover the last (minLength % 8) elements.

for (int i = minWords \* Longs.BYTES; i < minLength; i++) \{

int result = UnsignedBytes.compare(buffer1\[offset1 + i\],

buffer2\[offset2 + i\]);

if (result != 0) \{

return result;

\}

\}

return length1 - length2;

\}

实现比原来复杂了一些。但这次一次可以比较8个字节了。这种getLong函数和系统的字节序是紧紧相关的，如果是小端序操作起来有点麻烦，代码先省略掉。这样操作实际效果如何？我们需要对比测试下。对比两个1M的字节数组，如果使用第一个版本，每次比较平均需要2.5499ms,如果使用第二个版本，需要0.8359ms,提升了3倍。对应这种CPU密集型的操作，这样的提升可是很可观的。

如果要提升性能，使用Unsafe直接访问内存也是不错的选择。

发表评论取消回复

表情：

评论列表（有 0 条评论，10人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java把一个文件转化为byte字节数组

Java把一个文件转化为byte字节数组 / 把一个文件转化为byte字节数组。 @return

绝地灬酷狼/ 2023年10月18日 09:56/ 0 赞/ 115 阅读

相关 Java –如何连接和分割字节数组byte []

在此示例中，我们将向您展示如何使用`ByteBuffer`和`System.arraycopy`连接和拆分字节数组。 `ByteBuffer` public sta

系统管理员/ 2023年02月15日 01:28/ 0 赞/ 153 阅读

相关 2020-10-17java中JSONArray转byte[]字节数组

如题所示，我们在使用json对象的时候，有的字段是一个JSONArray的情况，我们需要将其转化为byte\[\]，最简单的就是直接遍历每个JSONArray元素，依次

蔚落/ 2022年12月15日 14:06/ 0 赞/ 190 阅读

相关 solidity学习之固定长度字节数组byte

在学习solidity过程中，发现这门语言和之前学的C、C++、Java以及Python有很多不同之处，但目前我学到的来看，字节数组byte使用的很频繁，而且也有很多不一样的东

素颜马尾好姑娘i/ 2022年12月03日 08:29/ 0 赞/ 255 阅读

相关 java byte数组比较_Java 字节数组对比低速指针快速

如何才能快速比较两个字节数组呢?我将问题描述成下面的接口： public int compareTo(byte\[\] b1, int s1, int l1, byte\[\

快来打我*/ 2022年11月03日 10:36/ 0 赞/ 11 阅读

相关 PHP 数组转byte字节类似GoLang

需求 PHP实现像golang一样数组转字节,传递给go服务 go package main import ( "encoding

朴灿烈づ我的快乐病毒、/ 2022年08月30日 14:58/ 0 赞/ 236 阅读

相关 JAVA 对象 & byte数组之间转化

对象 & byte数组之间转化工具类效果图：objectToByteArray: [B@7d4991ad byteArrayToObject: W

深碍√TFBOYSˉ_/ 2022年05月24日 05:46/ 0 赞/ 282 阅读

相关 Java中字节数组byte[]变量间的比较

\\方法一：使用==比较的是两个字节数组是否为同一个字节数组，此处不是比较两个字节数组的内容是否相同。 \\方法二：使用equals方法比较，该方法也是比较是两个字节

港控/mmm°/ 2022年05月10日 10:26/ 0 赞/ 245 阅读

相关 java字节数组byte[]，16进制字符串互转，

commons-codec-\.jar里有通用方法 Hex.encodeHex(byte\[\]) 字节数组转换成16进制字符串 (可转成大写的) Hex.decod

迷南。/ 2022年04月06日 02:42/ 0 赞/ 521 阅读

相关 byte数组快速拷贝，byte数组合并，System.arraycopy详解

> 博客来源： > > 项目过程中用到byte\[\]数组相加问题，给出两个byte\[\] 需要合并成一个byte\[\]进行计算…那么需求来了……数据量达10W级，怎么合

叁歲伎倆/ 2021年09月21日 16:20/ 0 赞/ 442 阅读