用rust 写一个jar包 class冲突检测工具

绝地灬酷狼 2024-03-16 10:18 98阅读 0赞

Rust很适合写命令行工具，特别是使用`clap` crate 更加方便，这篇文章介绍使用rust写一个jar包class冲突检测的工具。项目地址: [GitHub - Aitozi/jar\_conflict\_detector][GitHub - Aitozi_jar_conflict_detector]  
首先jar包class冲突的现象是多个jar包中有同名的class，并且class的md5还不一样，那么就意味着该class存在多个版本，那么就存在冲突的可能。  
思路比较简单，就是遍历每个jar包，记录ClassName 和 对应 CRC 校验码 及 jar 包的对应关系。  
通过`clap`的derive api就可以快速定义个命令行的参数解析器。

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>#[derive(Parser, Debug)]</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>#[command(author, version, about, long_about = None)]</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>struct Args { </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>#[arg(</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>short,</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>long = "jars",</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>required = true,</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>help = "The jar list joined by semicolon"</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>)]</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>jar_list: String,</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>#[arg(long, help = "Disable the crc check", action = clap::ArgAction::SetTrue)]</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>#[arg(default_value_t = false)]</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>disable_crc: bool,</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>#[arg(short, long, action = clap::ArgAction::Append, help = "The exclude package prefix")]</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>exclude: Vec&lt;String&gt;,</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>}</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

通过`zip`读取jar包中的entry, 过滤只处理`.class`文件，并从zip\_file中读取`crc32`的元数据，这样可以避免读取原始数据生成md5，可以大大加快处理速度。

## Borrow checker的问题 ##

中间编写的时候遇到了一个常见的rust borrow checker的问题。  
以下代码为例

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>fn main() { </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>let path = "/tmp/a.jar";</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>let jar = File::open(path).unwrap();</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>let mut zip = ZipArchive::new(jar).unwrap();</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>for name in zip.file_names() { </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>let entry = zip.by_name(name);</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>println!("name: {}, size: {}", name, entry.unwrap().size());</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>}</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>}</code></td> 
  </tr> 
 </tbody> 
</table>

我是想通过遍历`ZipArchive#file_names`然后根据文件名获取`ZipFile`但是会有如下编译错误

![e90aca841faa996dcc821f114419d1e0.png][]

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>pub fn file_names(&amp;self) -&gt; impl Iterator&lt;Item = &amp;str&gt; { </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>self.shared.names_map.keys().map(|s| s.as_str())</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>}</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>/// Search for a file entry by name</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>pub fn by_name&lt;'a&gt;(&amp;'a mut self, name: &amp;str) -&gt; ZipResult&lt;ZipFile&lt;'a&gt;&gt; { </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>Ok(self.by_name_with_optional_password(name, None)?.unwrap())</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>}</code></td> 
  </tr> 
 </tbody> 
</table>

但是用以下的方式就没有问题

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>let path = "/tmp/a.jar";</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>let jar = File::open(path).unwrap();</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>let mut zip = ZipArchive::new(jar).unwrap();</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>for i in 0..zip.len() { </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>let entry = zip.by_index(i).unwrap();</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>println!("name: {}, size: {}", entry.name(), entry.size());</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>}</code></td> 
  </tr> 
 </tbody> 
</table>

这里我比较奇怪的是从方法签名上看 `len()` 和 `file_names()`都会发生immutable borrow，而后面`by_index` 和 `by_name`都会发生mutable borrow。为什么会一个可以通过检查，一个不行。

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>pub fn len(&amp;self) -&gt; usize { </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>self.shared.files.len()</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>}</code></td> 
  </tr> 
 </tbody> 
</table>

`len`函数实际的签名应该是`fn len<'a>(&'a self) -> usize` 返回值是usize，所以函数调用完成后就不再和借用有关了。所以 immutable borrow 就结束了。  
而`file_names`实际签名是`fn file_names<'a>(&'a self) -> impl Iterator<Item = &'a str> {…}`返回值的生命周期和 入参的 immutable ref周期相同，所以就要求 zip immutable borrow ref 至少要保持到iterator结束，所以后续就检测出循环中同时存在可变和不可变引用了。  
详细解释: [Borrow check understanding - \#2 by steffahn - help - The Rust Programming Language Forum][Borrow check understanding - _2 by steffahn - help - The Rust Programming Language Forum]

> 这个问题实际上和生命周期有关，阅读这篇基本就能想通这个问题 [认识生命周期 - Rust语言圣经(Rust Course)][- Rust_Rust Course]

## 命令行频繁被Killed问题 ##

问题现象是当使用`cargo build`打包出binary后，通过cp 到 `/tmp/jcd`执行 会出现 Killed的情况，不是必现，但是当出现之后后续就一直会这样，百思不得其解。

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>$ /tmp/jcd</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>[1] 16957 killed /tmp/jcd</code></td> 
  </tr> 
 </tbody> 
</table>

后通过在rust user 论坛提问找到答案，不得不说回复效率很高。  
[Rust command line tools keeps beeing killed - help - The Rust Programming Language Forum][]  
原因应该是和苹果电脑上的 Code sign机制有关，在苹果没有解决这个问题之前，建议通过`ditto`替代`cp`命令来copy程序。  
经过检查系统日志确实有出现 `Code Signature Invalid`的报错

![fb685db3b95e239ce63c98fbf226b3b8.png][]

## 相同的Class CRC和MD5却不一样 ##

问题是发现在集成这个工具到内部的插件框架中，集成过程中发现一个Jar包被另一个module依赖，经过shade插件打包(没有对相关class进行relocate) 后，生成的class crc32不同，被识别为会冲突的类。通过`javap -v` 查看两个class对比发现里面的仅仅是一些constant pool 不同。  
那么怀疑就是maven-shade-plugin 做了什么操作，翻阅了下代码，查看了shade的处理流程.  
看到以下这段，发现这不就是我遇到的问题么。

![536bd2c8ea0b294cda84a0a1ca82e577.png][]

查阅了相应的issue: [\[MSHADE-391\] Do not modify class files, if nothing was relocated - ASF JIRA][MSHADE-391_ Do not modify class files_ if nothing was relocated - ASF JIRA]  
在3.3.0 才解决，而我使用的版本正好是3.2.4。升级插件重新生成校验码一致了。  
因此如果多个包中存在有maven shade 打包的或者不同jvm打包的class可能会存在一些常量池不对之类的情况，所以这个冲突检测可能检测出并不冲突的class，因为没有真实的去比较class的signature.

## 解决冲突的Class ##

最后再回到最初的目的，当我们通过工具检测出冲突的class应该怎么解决呢。  
首先我们需要判断这个class是否是运行时所需要的。  
如果不是所需要的那么我们就应该直接排掉他，排除有两种手段(这里针对的是maven shade的打包方式)，如果在dependency tree中可以看到相应package的依赖，那么可以直接通过如下的白名单 include 或者 exclude 掉某个 artifact。

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>&lt;artifactSet combine.self="override"&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;includes&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;include&gt;commons-dbcp:commons-dbcp&lt;/include&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;include&gt;commons-pool:commons-pool&lt;/include&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;include&gt;mysql:mysql-connector-java&lt;/include&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;/includes&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;/artifactSet&gt;</code></td> 
  </tr> 
 </tbody> 
</table>

但是不排除这个依赖包本身就是fatjar，那么直接通过这种方式就排不掉这个依赖，可以通过filters 配置文件 粒度的匹配过滤

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>&lt;filters&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;filter&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;artifact&gt;*:*&lt;/artifact&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;excludes&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;exclude&gt;META-INF/*.SF&lt;/exclude&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;exclude&gt;META-INF/*.DSA&lt;/exclude&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;exclude&gt;META-INF/*.RSA&lt;/exclude&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;exclude&gt;javax/**&lt;/exclude&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;exclde&gt;org/slf4j/**&lt;/exclde&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;/excludes&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;/filter&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;/filters&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

如果这个冲突的class是运行时需要的，那么可以通过relocation的方式给各自的插件包中shade成带特殊前缀的class名，解决同名冲突。

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>&lt;relocation&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;pattern&gt;org.apache.http&lt;/pattern&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;shadedPattern&gt;com.aitozi.shaded.org.apache.http&lt;/shadedPattern&gt;</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>&lt;/relocation&gt;</code></td> 
  </tr> 
 </tbody> 
</table>

## 发布命令行工具到crates.io ##

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>cargo login ${token}</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>cargo publish </code></td> 
  </tr> 
 </tbody> 
</table>

这样发布之后其他用户就可以通过`cargo install`来下载并编译, 安装你的程序。不过这样需要安装的用户上进行编译和install的过程。

> 注意这里我第一次上传的时候有一个typo，而crates.io 上包一经发布就不可以删除了，因此发布包的时候一定要check下包名信息。

## 发布二进制文件 ##

更好的是直接发布二进制文件，rust-cli book的[教程][Link 1]上提供的一个travis-ci的 trust模板已经过时了，很久没在维护了，所以不建议参考参考 trust模板: [GitHub - japaric/trust: Travis CI and AppVeyor template to test your Rust crate on 5 architectures and publish binary releases of it for Linux, macOS and Windows][GitHub - japaric_trust_ Travis CI and AppVeyor template to test your Rust crate on 5 architectures and publish binary releases of it for Linux_ macOS and Windows] 。  
我这里参考的是 [Abandoned repo? · Issue \#136 · japaric/trust · GitHub][Abandoned repo_ _ Issue _136 _ japaric_trust _ GitHub] 中提到的一个样例，直接使用github ci来进行发布，这个模板实际上是通过cross 工具来实现编译多个平台的包。

### 权限问题 ###

![baa96869ced63092a2e8031cc337a5cd.png][]

模板中默认使用了`github.token`来鉴权采 [参考][Link 2]，这个不需要自己去创建，每一个workflow都会注入，但是默认权限好像不够，不知道原作者为啥可以跑, 可能修改了默认的`GITHUB_TOKEN`的权限。  
也有其他人report了这个问题：[HTTP 403: Resource not accessible by integration · Issue \#13 · taiki-e/create-gh-release-action · GitHub][HTTP 403_ Resource not accessible by integration _ Issue _13 _ taiki-e_create-gh-release-action _ GitHub]  
通过添加以下权限声明解决

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>permissions:</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>contents: write</code></td> 
  </tr> 
 </tbody> 
</table>

通过Github Actions，以后需要发布一个多平台的binary 就非常简单只需要push 一个tag即可

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>git tag v0.0.1 </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>git push origin v0.0.1</code></td> 
  </tr> 
 </tbody> 
</table>

自动化流程就会创建出一个release以及多平台的binary

![6e8980abd5c7371678caf68feb1cdaee.png][]

[GitHub - Aitozi_jar_conflict_detector]: https://github.com/Aitozi/jar_conflict_detector
[e90aca841faa996dcc821f114419d1e0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2ebf6a7ec5fb459aa0fcdd249bd22793.png
[Borrow check understanding - _2 by steffahn - help - The Rust Programming Language Forum]: https://users.rust-lang.org/t/borrow-check-understanding/94260/2
[- Rust_Rust Course]: https://course.rs/basic/lifetime.html
[Rust command line tools keeps beeing killed - help - The Rust Programming Language Forum]: https://users.rust-lang.org/t/rust-command-line-tools-keeps-beeing-killed/94179
[fb685db3b95e239ce63c98fbf226b3b8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f518c1cfcf5a44e7ad6aa23de8999105.png
[536bd2c8ea0b294cda84a0a1ca82e577.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/96b8a827f04242c9bc04e3d26ffff92c.png
[MSHADE-391_ Do not modify class files_ if nothing was relocated - ASF JIRA]: https://issues.apache.org/jira/browse/MSHADE-391
[Link 1]: https://suibianxiedianer.github.io/rust-cli-book-zh_CN/tutorial/packaging_zh.html
[GitHub - japaric_trust_ Travis CI and AppVeyor template to test your Rust crate on 5 architectures and publish binary releases of it for Linux_ macOS and Windows]: https://github.com/japaric/trust
[Abandoned repo_ _ Issue _136 _ japaric_trust _ GitHub]: https://github.com/japaric/trust/issues/136
[baa96869ced63092a2e8031cc337a5cd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2dcc627107af4ea0a7c852715f10afd8.png
[Link 2]: https://docs.github.com/en/actions/security-guides/automatic-token-authentication#modifying-the-permissions-for-the-github_token
[HTTP 403_ Resource not accessible by integration _ Issue _13 _ taiki-e_create-gh-release-action _ GitHub]: https://github.com/taiki-e/create-gh-release-action/issues/13
[6e8980abd5c7371678caf68feb1cdaee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/fa7aa3faa2584972908502d4f5c63955.png