Presto本地开发，plugin的设置

川长思鸟来 2024-03-26 18:40 12阅读 0赞

## 1. 新的问题 ##

*  之前搭建Presto的本地开发环境时，一直使用`config.properties`中的`plugin.bundles`配置项定义需要加载的plugin模块，详细可以参考博客[《win10基于IDEA，搭建Presto开发环境》][win10_IDEA_Presto]
 *  presto服务启动时，指定加载哪些组件，有下面两种配置方法：
    
     *  线上服务部署，一般使用`plugin.dir`配置项，默认值：安装包下的`plugin`目录。会加载plugin目录下的所有插件，比较适合线上服务
     *  本地开发，一般使用`plugin.bundles`配置项，指定需要加载的plugin以实现服务的快速启动
 *  后来更换笔记本电脑，重新搭建本地开发环境时，发现使用`plugin.bundles`，竟然无法成功加载plugin
 *  具体报错信息如下：
    
        2022-07-15T22:54:50.333+0800	ERROR	main	com.facebook.presto.server.PrestoServer	Error loading pom: D:\IdeaProjects\facebook-presto-0.223.1\presto-main\..\presto-memory\pom.xml
        java.lang.RuntimeException: Error loading pom: D:\IdeaProjects\facebook-presto-0.223.1\presto-main\..\presto-memory\pom.xml
        	at io.airlift.resolver.ArtifactResolver.resolvePom(ArtifactResolver.java:143)
        	...
        	at com.facebook.presto.server.PrestoServer.main(PrestoServer.java:77)
        Caused by: org.apache.maven.project.ProjectBuildingException: 1 problem was encountered while building the effective model for com.facebook.presto:presto-memory:0.240
        [FATAL] Non-resolvable parent POM for com.facebook.presto:presto-root:0.240: Could not transfer artifact com.facebook.airlift:airbase:pom:99 from/to central (http://repo.maven.apache.org/maven2): Failed to transfer http://repo.maven.apache.org/maven2/com/facebook/airlift/airbase/99/airbase-99.pom. Error code 501, HTTPS Required and 'parent.relativePath' points at wrong local POM @ com.facebook.presto:presto-root:0.240, D:\IdeaProjects\facebook-presto-0.223.1\pom.xml, line 5, column 13
         for project com.facebook.presto:presto-memory:0.240 at D:\IdeaProjects\facebook-presto-0.223.1\presto-main\..\presto-memory\pom.xml
        	at org.apache.maven.project.DefaultProjectBuilder.build(DefaultProjectBuilder.java:149)
        	at org.apache.maven.project.DefaultProjectBuilder.build(DefaultProjectBuilder.java:102)
        	at io.airlift.resolver.ArtifactResolver.resolvePom(ArtifactResolver.java:136)
        	... 6 more
        Caused by: org.apache.maven.model.building.ModelBuildingException: 1 problem was encountered while building the effective model for com.facebook.presto:presto-memory:0.240
        [FATAL] Non-resolvable parent POM for com.facebook.presto:presto-root:0.240: Could not transfer artifact com.facebook.airlift:airbase:pom:99 from/to central (http://repo.maven.apache.org/maven2): Failed to transfer http://repo.maven.apache.org/maven2/com/facebook/airlift/airbase/99/airbase-99.pom. Error code 501, HTTPS Required and 'parent.relativePath' points at wrong local POM @ com.facebook.presto:presto-root:0.240, D:\IdeaProjects\facebook-presto-0.223.1\pom.xml, line 5, column 13
        	at org.apache.maven.model.building.DefaultModelProblemCollector.newModelBuildingException(DefaultModelProblemCollector.java:195)
        	at org.apache.maven.model.building.DefaultModelBuilder.readParentExternally(DefaultModelBuilder.java:841)
        	at org.apache.maven.model.building.DefaultModelBuilder.readParent(DefaultModelBuilder.java:664)
        	at org.apache.maven.model.building.DefaultModelBuilder.build(DefaultModelBuilder.java:310)
        	at org.apache.maven.model.building.DefaultModelBuilder.build(DefaultModelBuilder.java:232)
        	at org.apache.maven.project.DefaultProjectBuilder.build(DefaultProjectBuilder.java:142)
        	... 8 more

分析错误日志，得到以下信息：

*  无法正确加载指定plugin的pom.xml文件，`Error loading pom ...`
 *  无法加载pom文件的原因： 无法从默认的central仓库，加载`presto-root`的父模块`com.facebook.airlift:airbase`，也就是无法加载祖父模块
 *  无法访问central仓库的原因：central仓库使用的是其http地址，现在已经要求使用https方式了  
    ![35f86a39ac854755b4717509a6603ca1.png][]

## 2. 正确的解决办法 ##

*  在config.properties中，使用`maven.repo.local`指定本地maven仓库，
    
        // 笔者自定义了本地maven仓库，而非使用默认的~/.m2/repository
        maven.repo.local=/Users/xxx/repo
 *  本地仓库已经包含事先`mvn clean install`好的plugin jar，服务启动加载plugin时，便可以直接从本地仓库获取jar
    
        2023-03-07T17:21:44.074+0800	INFO	main	com.facebook.airlift.bootstrap.LifeCycleManager	Life cycle startup complete. System ready.
        2023-03-07T17:21:44.074+0800	INFO	main	com.facebook.presto.server.PluginManager	-- Loading plugin ../presto-memory/pom.xml --
        2023-03-07T17:21:55.707+0800	DEBUG	main	com.facebook.presto.server.PluginManager	Classpath for ../presto-memory/pom.xml:
        2023-03-07T17:21:55.728+0800	DEBUG	main	com.facebook.presto.server.PluginManager	    /Users/xxx/IdeaProjects/facebook-presto-0.223.1/presto-memory/target/classes
        2023-03-07T17:21:55.730+0800	DEBUG	main	com.facebook.presto.server.PluginManager	    /Users/xxx/repo/aopalliance/aopalliance/1.0/aopalliance-1.0.jar
        ...
        2023-03-07T17:21:55.760+0800	INFO	main	com.facebook.presto.server.PluginManager	Installing com.facebook.presto.plugin.memory.MemoryPlugin
        2023-03-07T17:21:55.771+0800	INFO	main	com.facebook.presto.server.PluginManager	Registering connector memory
        2023-03-07T17:21:55.773+0800	INFO	main	com.facebook.presto.server.PluginManager	-- Finished loading plugin ../presto-memory/pom.xml --

## 3. 不完美的解决办法 ##

*  为了避免大家走弯路，还是记录一下自己最开始的不完美的解决办法
 *  从网上查阅[资料][Link 1]，发现该仓库确实已经从2020开始，改为使用https访问了
 *  全局搜索，只定位到`maven-model-builder`依赖中使用的`pom-4.0.0.xml`，配置的maven仓库地址符合要求
    
        <dependency>
            <groupId>org.apache.maven</groupId>
            <artifactId>maven-model-builder</artifactId>
            <version>3.0.4</version>
        </dependency>
    
    ![在这里插入图片描述][00a1ccc9ab6941488200a7eb31868bfe.png]
 *  通过依赖分析，发现`maven-model-builder`是`presto-main`模块因为使用`io.airlift.resolver:resolver:1.4`，传递导入的  
    ![在这里插入图片描述][d58956b355c741c8ad7a1a87cc701cb7.png]
 *  因此，就认为只要exclued掉presto-main中的`maven-model-builder`依赖就行
 *  结果仍然不行，最终只能使用`plugin.dir`配置plugin信息
    
        plugin.dir=../presto-server/target/presto-server-0.240/presto-server-0.240/plugin
 *  **使用`plugin.dir`存在的问题：** 开发过程中，模块重新编译后，需要将该模块的jar放到plugin中，否则最新的代码无法生效

## 4. 后记：关于Presto Plugin ##

*  Presto使用插件机制，符合SPI规范的Connector、Type、Function、System Access Control等可以加入到Presto中
 *  插件机制，使得组件功能可插拔、可定制化，可以满足用户的不同需求
 *  不同的插件，定义方式有所差别，但下面的一些事情是通用的：
    
    1.  pom.xml中，`packaging`方式必须为presto-plugin
        
            <packaging>presto-plugin</packaging>
    2.  pom.xml中，需要引入presto-spi模块。同时，必须实现SPI中定义的接口，或重写SPI中定义的方法
        
            <dependency>
                <groupId>com.facebook.presto</groupId>
                <artifactId>presto-spi</artifactId>
                <scope>provided</scope>
            </dependency>
    3.  配置presto-root的pom.xml，添加该插件对应的模块
        
            <module>presto-xxx-module</module>
    4.  在`presto-server/src/main/assembly/presto.xml文`件中，配置plugin的输出目录
        
            <fileSet>
                <directory>${project.build.directory}/dependency/presto-xxx-module-${project.version}</directory>
                <outputDirectory>plugin/xxx-module</outputDirectory>
            </fileSet>
    5.  配置`presto-server`的pom.xml文件，增加以下内容，以保证安装包对应的plugin目录有它的jar包
        
            <dependency>
                <groupId>com.facebook.presto</groupId>
                <artifactId>presto-xxx-module</artifactId>
                <version>${project.version}</version>
                <type>zip</type>
                <scope>provided</scope>
            </dependency>

[win10_IDEA_Presto]: https://blog.csdn.net/u014454538/article/details/125822065
[35f86a39ac854755b4717509a6603ca1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/f5d3bca3b2ba458b90d4b33ec6738d9b.png
[Link 1]: https://stackoverflow.com/questions/59763531/maven-dependencies-are-failing-with-a-501-error
[00a1ccc9ab6941488200a7eb31868bfe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/8a512f1e87f14a98a7665fc26b99abe9.png
[d58956b355c741c8ad7a1a87cc701cb7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/af6b9ec29d454b6aa8da5c35cbd2485a.png