2020年博客日报第3篇|基于模型检索初步设计方案

喜欢ヅ旅行 2023-06-29 12:59 16阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70][]

# 前言 #

本篇为周报，概括一周的工作情况

但是事情太杂乱，一时间无从梳理，下周应该好些吧，算是有个记录的地方

说下大体主要方向吧：

1.项目部署规范、一键化操作

> 每个步骤优化都是为了更好的部署，方便管理

一直在整理这部分内容，如果不持续梳理解决部署效率问题，会很影响开发速度

项目增多，也同样存在管理成本问题

梳理了下文档以及目录结构、脚本等文件，这块以后有后端开发人员管理，个人角色转为辅助

2.文件服务器

之前服务器出现问题，用openresty重新构建了一个文件服务器，主要存放部署文件、相关软件以及文档等附件

nginx.conf  配置

server {
                listen       8888;
                server_name 192.168.26.XX;
                charset utf-8;
                root   /opt/file;
                location / {
                  autoindex on; # 索引
                  autoindex_exact_size on; # 显示文件大小
                  autoindex_localtime on; # 显示文件时间
        }
    }

3.SVN目录调整

重新构建核心库目录，相关项目构建路径在规定位置

4.元数据系统bug修复

利用零碎时间修复了该系统bug

...太细化的东西，不再描述

周一开始模型方面的功能开发，上篇我们答题有了初步思路，这篇我们需要初步设计，避免上班影响其他人进度

# 关于模型那些事 #

1.首先需要确定模型创建相关表设计

> 模型表&模型属性表&维度表&映射表

1.1 模型表：（模型列表）

> ID
> 
> 模型名称
> 
> 模型描述
> 
> 模型标签（如人口模型，此模型系统梳理的标签）
> 
> ...

1.2 模型属性表(用于描述模型表)

> ID
> 
> 关联模型ID
> 
> 字段名称
> 
> 字段编码
> 
> 字段长度范围
> 
> 数据长度范围
> 
> 字段类型
> 
> 数据通配符
> 
> ...
> 
> 考虑到复杂度，可见规则设计成宽表，查询的维度预留10个字段

**字段名称（企业名称）、字段编码（ENT\_NAME）、字段长度范围(0-128)、数据长度范围(5-60)、字段类型(String)、数据通配符(\*公司)**

**2. DB插件元数据&主数据抽取**

**元数据表**

> **同模型表类似，用于存放抽取过表的基本信息**
> 
> **表名称、编码、描述......标签等**

**元数据字段属性**

> 同模型属性表，这里存放的信息更加详细，基本包含所有的信息（+标签）

3.ETL工具设计

**3.1主数据抽取**

（考虑到性能问题，暂且ETL抽取，目前暂定前50条，分析数据使用）

3.2 将元数据字段和表的全部信息初始化后，组成一张大表刷新到ES中

**4.模型检索**

规则尚需讨论.

# End #

将模型业务初步整理，明天项目组讨论具体细节

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200109182021503.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x,size_16,color_FFFFFF,t_70