关于superset邮件发送所遇到的坑

- 日理万妓 2022-12-28 14:13 578阅读 0赞

最近公司做superset二次开发，鉴于网上资料比较少，特意把开发中遇到的bug做一下记录，希望留给有用的人

1，vim config.py

ENABLE_SCHEDULED_EMAIL_REPORTS = True #开启邮件发送功能
    #----------
    ##配置自己邮件发送服务器地址，邮箱用户密码
    EMAIL_NOTIFICATIONS = True
    
    SMTP_HOST = "email-smtp.eu-west-1.amazonaws.com"
    SMTP_STARTTLS = True
    SMTP_SSL = False
    SMTP_USER = "smtp_username"
    SMTP_PORT = 25
    SMTP_PASSWORD = os.environ.get("SMTP_PASSWORD")
    SMTP_MAIL_FROM = "insights@komoot.com"
    #---------------------
    ##配置哪个用户有权限发送，这个用户要拥有最高权限，一般用admin
    EMAIL_REPORTS_USER = "admin"
    ## 浏览器类型改成chrome，firefox截图有缺陷不建议使用，
    WEBDRIVER_TYPE = "chrome"
    WEBDRIVER_OPTION_ARGS = [##需要特别注意google浏览器这里不需要再配置其它额外的，否则报各种错误，自己被坑了很久
        "--no-sandbox",#由于我用的是root账户，google必须加上才可以root账户访问
        "--force-device-scale-factor=2.0",
        "--high-dpi-support=2.0",
        "--headless",##linux中chrome浏览器无头模式访问
    ]
    ##要定时发送需要配置celery
    class CeleryConfig(object):
        BROKER_URL = 'redis://localhost:6379/0'##改成自己的redis服务器地址
        CELERY_IMPORTS = (
            'superset.sql_lab',
            'superset.tasks',
        )
        CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'##改成自己的redis服务器地址
        CELERYD_LOG_LEVEL = 'DEBUG'
        CELERYD_PREFETCH_MULTIPLIER = 10
        CELERY_ACKS_LATE = True
        CELERY_ANNOTATIONS = {
            'sql_lab.get_sql_results': {
                'rate_limit': '100/s',
            },
            'email_reports.send': {
                'rate_limit': '1/s',
                'time_limit': 120,
                'soft_time_limit': 150,
                'ignore_result': True,
            },
        }
        CELERYBEAT_SCHEDULE = {
            'email_reports.schedule_hourly': {
                'task': 'email_reports.schedule_hourly',
                'schedule': crontab(minute=1, hour='*'),
            },
        }
    
    CELERY_CONFIG = CeleryConfig
    ## 下面是redis配置，同样host改成自己的redis服务器地址
    from cachelib.redis import RedisCache
    RESULTS_BACKEND = RedisCache(
        host='localhost', port=6379, key_prefix='superset_results')
    
    CACHE_CONFIG = {
        'CACHE_TYPE': 'redis',
        'CACHE_DEFAULT_TIMEOUT': 60 * 60 * 24, # 1 day default (in secs)
        'CACHE_KEY_PREFIX': 'superset_results',
        'CACHE_REDIS_URL': 'redis://localhost:6379/0',
    }
    
    ##修改成你superset部署的服务器地址，端口号可以自定义，当然也可以直接用下面的配置
    WEBDRIVER_BASEURL = "http://0.0.0.0:8080/"

2，进入superset环境，

执行：source activate superset  --激活superset环境

执行superset init命令后可以看到多了两个按钮

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70][]

3，安装google 浏览器和chromedriver，记住版本一定要对上

本人chromedriver版本： ChromeDriver 87.0.4280.88 查看驱动版本命令：chromedriver

google浏览器版本：Google Chrome 87.0.4280.88  查看浏览器版本命令：google-chrome --version

至于安装google浏览器和缺少的依赖详见本人另一篇博客：[https://blog.csdn.net/qq\_36881106/article/details/110637950][https_blog.csdn.net_qq_36881106_article_details_110637950]，，[https://blog.csdn.net/weixin\_45010467/article/details/107490043][https_blog.csdn.net_weixin_45010467_article_details_107490043]

4，重要由于我们的superset是二次开发，在用户登录的时候往全局session中放入了用户的工号，和访问级别导致我后面的邮件发送一直报keyword error错误，这个问题困惑了我很久，下面说说我的解决方法：

害人的两个key
    session['job_level'] = job_l
    session['job_number'] = job_n

由于这两个key是在全局session中，后面发送邮件时是重新调用的login方法，会根据用户工号查询数据，从而导致header中找不到这两个key，我的解决方法是：重写

get_auth_cookies这个方法给起个别名，在重写的这个方法中加入这两个key，一定不要在原来的方法中修改，否则会报错

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 1][]

如果发送的是data原数据需要在**task/schedules.py**中做以下修改，把调用get\_auth\_cookies方法改成get\_auth\_cookies2方法，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 2][]

如果发送的是dashbord需要在**utils/machine\_auth.py**中做以下修改，把调用get\_auth\_cookies方法改成get\_auth\_cookies2方法，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 3][]

在收到的邮件中，中文可能是乱码，需要在utils/core.py中做两处修改：修改完成后需要清除浏览器cookie或者用无痕模式重新打开一个浏览器:ctrl+shift+n

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 4][]

当然以上是自己发送邮件为附件，需要下载源数据的配置，其它online，什么的就更简单了，最后献上自己发送完的一张截图，如果有不明白的欢迎评论留言：

![20201218101249759.png][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 5][]

如果附件中的中文乱码，请在linux中安装中文字体，导入csv中文乱码参考：[https://blog.csdn.net/zhouyan8603/article/details/107484249][https_blog.csdn.net_zhouyan8603_article_details_107484249]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70]: /images/20221120/120c5d834ea7482ebe82b9b425a3cc73.png
[https_blog.csdn.net_qq_36881106_article_details_110637950]: https://blog.csdn.net/qq_36881106/article/details/110637950
[https_blog.csdn.net_weixin_45010467_article_details_107490043]: https://blog.csdn.net/weixin_45010467/article/details/107490043
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 1]: /images/20221120/ea54bc40812f4776a1ffd0dda34ce7a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 2]: /images/20221120/9c773866adc64b5798d29a509894891d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 3]: /images/20221120/3239b82699624ff1a247bfcf80d87093.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 4]: /images/20221120/58985ac23a78441cbca7f407782a54bd.png
[20201218101249759.png]: https://img-blog.csdnimg.cn/20201218101249759.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODgxMTA2_size_16_color_FFFFFF_t_70 5]: /images/20221120/1b4b9e9fb9da401f991da6cccfe5cc0e.png
[https_blog.csdn.net_zhouyan8603_article_details_107484249]: https://blog.csdn.net/zhouyan8603/article/details/107484249