【在线OJ项目】AOP+synchronized实现定时删除临时文件

Love The Way You Lie 2023-09-27 22:29 105阅读 0赞

## 一、背景 ##

用户每次提交OJ题目的测试代码都会在后台创建一个唯一的临时文件，这个文件里保存用户上传代码编译后的.class文件以及标准输出与标准错误文件，同一个用户每次提交都会生成这样的一个临时文件，虽然这个临时文件很小但是如果并发高且随着日积月累他占用的资源也不是小数字，所以我们需要定时的对这些临时文件进行清理

## 二、思路 ##

上述问题有两种实现方式，一种是在执行完用户提交的代码在返回响应之前对该文件直接进行删除。另一种是通过定时器+优先级队列的思想实现定时删除。这里我们通过第二种方式来实现，我们可以创建一个类并注入Spring容器，在构造方法中启动一个扫描线程去执行扫描删除操作，但是此时如果没有文件满足删除要求而这个线程一直循环地执行会消耗资源，所以我们不能简单地只让他死循环地扫描，可以参考定时器地实现思路，定时器在创建时也会开启一个扫描线程，这个线程会扫描优先级队列堆顶也就是最先被执行的任务，拿到他后发现还没有到执行的时间，于是让线程阻塞这个任务执行的剩余时间，但是又会存在一个问题，就是如果在阻塞的这段时间里有一个更提前的任务提交了进来但是线程还在阻塞等待原来那个最先执行的任务，此时阻塞这段时间插入进来的任务则没有按时执行，所以为了解决这一问题，我们可以在有任务进入优先级队列时将该阻塞的线程唤醒，以此来防止任务没有被按时执行。我们也可以在构造方法中创建一个扫描线程，这个线程死循环的去执行删除操作，该删除操作会查询目标目录下满足删除条件的子目录进行删除，如果没有满足条件的子目录，则将最先要删除的目录所剩的过期时间进行返回，该线程拿到后进行阻塞，由于项目中的需求不会存在上述阻塞过程插入进来一个更先需要删除的子文件，所以不需要去考虑处理这种情况，如果要实现，可以通过SpringAOP来实现：首先我们需要清楚该子文件被创建的时机，是用户提交代码后controller层收到请求对请求进行判断处理后交给服务层，服务层对该代码进行编译运行时会创建子文件目录，也就是我们可以在这次请求的方法执行后唤醒线程，SpringAOP中我们可以通过after这一注解实现。[【SpringAOP】AOP面向切面编程\_1373i的博客-CSDN博客![icon-default.png?t=N3I4][icon-default.png_t_N3I4]https://blog.csdn.net/qq\_61903414/article/details/129775088?spm=1001.2014.3001.5501][SpringAOP_AOP_1373i_-CSDN_icon-default.png_t_N3I4_icon-default.png_t_N3I4_https_blog.csdn.net_qq_61903414_article_details_129775088_spm_1001.2014.3001.5501]

## 三、代码实现 ##

package com.example.demo.component;
    
    import org.aspectj.lang.annotation.After;
    import org.aspectj.lang.annotation.Aspect;
    import org.aspectj.lang.annotation.Pointcut;
    import org.springframework.stereotype.Component;
    
    import java.io.File;
    import java.io.IOException;
    import java.nio.file.Files;
    import java.nio.file.Paths;
    import java.nio.file.attribute.BasicFileAttributes;
    import java.nio.file.attribute.FileTime;
    import java.time.Duration;
    import java.time.LocalDateTime;
    import java.time.ZoneId;
    import java.util.Arrays;
    
    /**
     * 定时删除临时文件
     */
    @Aspect
    @Component
    public class Scheduled {
    
        public static final Object locker = new Object();
    
        /**
         * 启动线程扫描
         */
        public Scheduled() {
            new Thread() {
                @Override
                public void run() {
                    while (true) {
                        synchronized (locker) {
                            try {
                                System.out.println(Thread.currentThread().getId() + "正在执行");
                                long time = del();
                                System.out.println("执行文件删除返回" + time);
                                if (time != -1) {
                                    System.out.println("未删除线程阻塞" + time);
                                    locker.wait(time);
                                }
                            } catch (IOException e) {
                                e.printStackTrace();
                            } catch (InterruptedException e) {
                                e.printStackTrace();
                            }
                        }
                    }
                }
            }.start();
        }
    
        /**
         * 文件是否过期
         * @param item
         * @return
         * @throws IOException
         */
        private long isAfter(File item) throws IOException {
            // 获取创建时间
            FileTime time = Files.readAttributes(Paths.get(item.toString()), BasicFileAttributes.class).creationTime();
            LocalDateTime create = LocalDateTime.ofInstant(time.toInstant(), ZoneId.systemDefault());
            // 获得过期时间对应的日期时间
            LocalDateTime deadline = create.plusMinutes(过期时间（文件创建该时间后删除）：单位分钟);
            // 计算所剩过期时间
            Duration duration = Duration.between(create,deadline);
    
            // 转为long类型
            long millis = duration.toMillis();
            System.out.println("文件还剩" + millis + "s过期");
            return LocalDateTime.now().isAfter(deadline) ? -1 : millis;
        }
    
        /**
         * 删除操作
         * @return
         * @throws IOException
         */
        public long del() throws IOException, InterruptedException {
            // 创建File对象获取目标目录的子目录
            File dir = new File(System.getProperty("目标目录");
            File[] files = dir.listFiles();
    
            // 记录所有子目录的所剩过期时间
            long millis[] = new long[files.length == 0 ? 10 : files.length];
            int i = 0;
    
            // 遍历目录
            for (File item:files) {
                millis[i] = isAfter(item);
                if (millis[i++] == -1) {
                    // 删除
                    System.out.println("删除：" + item);
                    for(File del : item.listFiles()) {
                        del.delete();
                    }
                    return item.delete() ? -1 : -2;
                }
            }
    
            // 排序找到最先要删除文件的所剩时间
            Arrays.sort(millis);
            synchronized (locker) {
                if (millis[0] <= 0) {
                    // 说明目录中没有文件，等待新的文件创建时唤醒线程
                    System.out.println("没有文件待删除进入阻塞");
                    locker.wait();
                    return 1;
                }
                return millis[0];
            }
        }
        
        // 定义切点
        @Pointcut("execution(* com.example.demo.controller.OJController.compileAndRun(..))")
        public void  point(){}
    
        // 定义通过
        @After("point()")
        public void after() {
            // 此时有新的文件创建，唤醒线程
            synchronized (locker) {
                System.out.println("新的代码执行完毕，唤醒线程");
                locker.notify();
            }
        }
    }

[icon-default.png_t_N3I4]: https://csdnimg.cn/release/blog_editor_html/release2.2.5/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N3I4
[SpringAOP_AOP_1373i_-CSDN_icon-default.png_t_N3I4_icon-default.png_t_N3I4_https_blog.csdn.net_qq_61903414_article_details_129775088_spm_1001.2014.3001.5501]: https://blog.csdn.net/qq_61903414/article/details/129775088?spm=1001.2014.3001.5501