golang 示例测试example_将pybind11示例嵌入到MLIR中

淩亂°似流年 2023-01-03 01:29 132阅读 0赞

![e5824a20589f3bbd5f5d924c834459c1.png][]

> 上一篇文章介绍了在我自己构建的简易模型中使用pybind11，在binding之后可以使用python来调用C++的类和成员函数。在简易模型上验证通过之后，自然就要在真正的MLIR环境中进行python binding，也就是把pybind11嵌入到MLIR当中去。

第一步先试试水，我打算将pybind11提供的示例程序先嵌入到MLIR中，这一试不要紧，一个坑接着一个坑，爬了好几天才终于跌跌撞撞地给实现了，本以为很简单的将两个项目通过cmake编译一下就能用了，但是这其中还是有很多值得注意的地方。

## pybind11示例 ##

首先来说说我打算放入MLIR中的pybind11的示例，由于MLIR是用CMake进行构建，因此我选择了pybind11中Building with CMake的示例（pybind11/cmake\_example），希望可以将这个示例放到MLIR中一起进行编译，最后生成动态库文件。

单说这个示例，clone到本地之后，python binding示例程序是src路径下的main.cpp，提供了一个加法的函数`add`还有一个减法的函数`subtract`。同时还有一个空的pybind11路径，这个路径的含义是提供两种构建方式：

**1 使用add\_subdirectory的方法添加pybind11**

将pybind11的源代码拷贝到cmake\_example/pybind11路径下。由于cmake\_example/CMakeLists.txt中使用add\_subdirectory添加pybind11的路径：`add_subdirectory(pybind11)`，因此在拷贝pybind11源代码之后，就可以使用CMake进行编译：

$ cd cmake_example
    $ mkdir build
    $ cd build
    $ cmake ..
    $ cmake --build .

在编译结束之后，build路径下出现动态库文件`cmake_example.cpython-37m-darwin.so` ，使用python命令行进行测试：

![b2e5ba535b529c72ea79cfe94cca7a63.png][]

**2 使用find\_package的方法添加pybind11**

使用find\_package的CMakeLists.txt:

cmake_minimum_required(VERSION 2.8.12)
    project(cmake_example)
    
    find_package(pybind11)
    pybind11_add_module(cmake_example src/main.cpp)

find\_package函数会检测系统有没有安装pybind11，pybind11的安装方法为：

$ git clone git@github.com:pybind/pybind11.git
    $ cd pybind11
    $ mkdir build
    $ cd build
    $ cmake ..
    $ make install

在安装结束后，使用和方法一同样的方法编译出动态库，然后进行测试，在此不过多赘述。

## 将pybind11示例嵌入MLIR ##

在测试完pybind11示例之后，我打算把示例放到MLIR中，也就是打算在llvm-project/mlir/examples/toy中新建一个路径Ch8，再把pybind11示例中的main.cpp拷贝在Ch8这个路径下，然后通过LLVM的CMake编译出动态库文件。

首先将main.cpp拷贝到Ch8文件夹中，编写CMakeLists.txt：

find_package(pybind11 REQUIRED)
    pybind11_add_module(pybind11_example main.cpp)

`pybind11_add_module`是pybind11提供的CMake函数，和CMake中的`add_library`作用相似*，*同时要保证main.cpp中的`PYBIND11_MODULE`中的名称和`pybind11_add_module`中的名称一致，此处我把它命名为`pybind11_example`：

PYBIND11_MODULE(pybind11_example, m) {
       ......
    }

然后，修改llvm-project/mlir/examples/toy中的CMakeLists.txt，添加`add_subdirectory(Ch8)`：

add_custom_target(Toy)
    set_target_properties(Toy PROPERTIES FOLDER Examples)
    
    macro(add_toy_chapter name)
      add_dependencies(Toy ${name})
      add_llvm_example(${name} ${ARGN})
    endmacro(add_toy_chapter name)
    
    add_subdirectory(Ch1)
    add_subdirectory(Ch2)
    add_subdirectory(Ch3)
    add_subdirectory(Ch4)
    add_subdirectory(Ch5)
    add_subdirectory(Ch6)
    add_subdirectory(Ch7)
    add_subdirectory(Ch8)

最后，修改llvm-project/mlir/test路径下的CMakeLists.txt，向`MLIR_TEST_DEPENDS`列表添加动态库名称`pybind11_example`：

......
    
    if(LLVM_BUILD_EXAMPLES)
      list(APPEND MLIR_TEST_DEPENDS
        toyc-ch1
        toyc-ch2
        toyc-ch3
        toyc-ch4
        toyc-ch5
        toyc-ch6
        toyc-ch7
        pybind11_example
        )
    endif()
    
    ......

在修改完CMakeLists.txt之后，就可以开始编译了：

$ cd llvm-project
    $ mkdir build
    $ cd build
    $ cmake -G Ninja ../llvm 
      -DLLVM_ENABLE_PROJECTS=mlir
      -DLLVM_BUILD_EXAMPLES=ON
      -DLLVM_TARGETS_TO_BUILD="host"
      -DCMAKE_BUILD_TYPE=Release
      -DLLVM_ENABLE_ASSERTIONS=ON
      -DLLVM_ENABLE_RTTI=ON
      -DLLVM_ENABLE_EH=ON
    $ cmake --build . --target check-mlir

在此对编译选项`-DLLVM_ENABLE_RTTI=ON`和`-DLLVM_ENABLE_EH=ON`进行说明，由于LLVM使用自己的RTTI机制，在编译时默认禁用了C++的RTTI，但是pybind11需要使用C++的RTTI机制，因此使用`-DLLVM_ENABLE_RTTI=ON`编译选项启用C++的RTTI机制。同时，pybind11需要进行异常处理，而LLVM的异常处理选项默认是关闭的，需要通过编译选项`-DLLVM_ENABLE_EH=ON`启用异常处理。除此之外，在编译时使用Ninja可以比使用Unix Makefiles更快一些。

在编译结束后，可以在llvm-project/build/lib路径下找到生成的动态库文件

![0490857fc2a8529f516ddfbbcd2e4e28.png][]

在python的命令行里可以进行测试

![1311482769e0a8985c207809d49ef93b.png][]

到此为止，成功的把pybind11的示例嵌入到了MLIR的路径中了。

## 未解之谜 ##

在实现上述步骤的过程中遇到了一些到现在还没有理解的问题：

1 在llvm-project中删掉build重新进行构建编译的时候报错：

LoopOps.h:34:10: fatal error: 'mlir/Dialect/LoopOps/LoopOps.h.inc' file not found
    #include "mlir/Dialect/LoopOps/LoopOps.h.inc"
             ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    1 error generated.

这个错误困扰了我一整天，但是从第二天开始，就不报错了，至今也没有再次复现出这个报错。

2 系统里有多个python环境，目前还没有学到如何在生成动态库的时候指定python版本。

3 在一开始实践的时候，困扰我的问题是，生成不出动态库文件，后来在偶然间尝试了将动态库的名称添加到`MLIR_TEST_DEPENDS`中，就用这个撞大运的方法成功地生成出来了，但是到目前为止，我还没有理解整个编译过程是怎么执行的，之后会继续进行研究。

本文中若有纰漏错误，欢迎批评指正。

[e5824a20589f3bbd5f5d924c834459c1.png]: /images/20221119/b16f6a1c15e940509a7feffc2eacdcd1.png
[b2e5ba535b529c72ea79cfe94cca7a63.png]: /images/20221119/164215aec8984d6ebfae8b345b443fac.png
[0490857fc2a8529f516ddfbbcd2e4e28.png]: /images/20221119/479fa0f1846a4197bcde00567d68f438.png
[1311482769e0a8985c207809d49ef93b.png]: /images/20221119/65fa096f6d364f6abd6759ba28cedea7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，132人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python3中使用Pybind11加速Eigen

Python3中使用Pybind11加速Eigen 在Python3中，我们时常需要使用到数学库来进行科学计算。而在数学库中，矩阵运算是必不可少的一部分。而Eigen是一个高

雨点打透心脏的1/2处/ 2024年03月25日 23:36/ 0 赞/ 77 阅读

相关 Golang channel代码示例

以下是一个简单的Go语言channel代码示例： package main import "fmt" func main() {

阳光穿透心脏的1/2处/ 2024年02月19日 10:28/ 0 赞/ 68 阅读

相关 golang连接mysql操作示例增删改查(已经测试)

golang本身没有提供连接mysql的驱动，但是定义了标准接口供第三方开发驱动。这里连接mysql可以使用第三方库，第三方库推荐使用https://github.com/Go

曾经终败给现在/ 2023年10月17日 18:21/ 0 赞/ 68 阅读

相关 golang函数入门示例

函数函数可以没有参数或接受多个参数。在本例中，add 接受两个 int 类型的参数。注意类型在变量名之后。（参考这篇关于 [Go 语法声明的文章][Go

我会带着你远行/ 2023年10月05日 18:45/ 0 赞/ 39 阅读

相关 Golang MySQL CRUD示例

在本教程中，我们将看到一个示例程序，以学习如何使用Golang和MySQL进行数据库CRUD操作。CRUD是“创建”，“读取”，“更新”和“删除”的首字母缩写。CRUD操作是数

怼烎@/ 2023年10月04日 13:58/ 0 赞/ 66 阅读

相关嵌入式Tomcat示例

嵌入式Web服务器不使用jetty，太麻烦了。配置也不熟悉。代码 [嵌入式Tomcat示例][Tomcat] [我的github][github]

我就是我/ 2023年07月08日 13:26/ 0 赞/ 4 阅读

相关 golang 示例测试example_将pybind11示例嵌入到MLIR中

![e5824a20589f3bbd5f5d924c834459c1.png][] > 上一篇文章介绍了在我自己构建的简易模型中使用pybind11，在binding之后可以

淩亂°似流年/ 2023年01月03日 01:29/ 0 赞/ 133 阅读

相关使用pybind11开发python扩展库（11）

前面学习的内容，都是面向python的扩展，现在来学习另一个方向，面向C++的扩展。比如高性能，或者框架，使用C++编程，然后灵活的代码使用python来编程，这样达到最佳组合

小鱼儿/ 2022年10月12日 01:05/ 0 赞/ 167 阅读

相关 Golang使用NSQ示例

一、下载安装包下载地址：[https://nsq.io/deployment/installing.html][https_nsq.io_deployment_inst

港控/mmm°/ 2022年05月12日 11:56/ 0 赞/ 331 阅读

相关 Golang grpc 入门示例

grpc支持多种语言，也支持Golang -------------------- 安装：由于无法直接获取对应的包，因此安装需要费点功夫折腾下 go

- 日理万妓/ 2021年10月20日 00:16/ 0 赞/ 432 阅读