网站首页 > java教程 正文
一、项目简介
这阵子试验多模块开发,基于一个开源框架验证,框架采用了Springboot框架,多模块结构也比较典型,两个主模块,一个API模块对应移动客户端,一个Admin模块对应后台管理前端,然后都依赖于Service模块,Service模块再依赖于Common和Bean模块,配置文件application.yml、application-dev.yml、application-prod.yml只有在主模块有,被依赖的模块按需要增加模块自己的配置文件,如common.properties之类,模块关系图如下:
二、两类业务场景概述
1、系统需要调用后端的Python代码,去完成爬虫、AI等具体任务,需要采用哪种集成方案,Restful、JNI、Processbuilder等;
2、开发中需要用到的常量一般在Common模块中定义,但一些常量如文件路径等会跟环境有关,开发环境一般是个人电脑,如MAC或Windows,部署环境一般是云服务器的CentOS等Linux环境,包括数据库、缓存地址等,如何实现。
这两类业务场景在百度上一搜一大把,但在多模块的实践场景和实际业务调试中,花了我不少时间,记录一下,供大家参考。
三、Java调用第三方代码
先用文言一心、豆包结合百度搜索,绝大部分都是建议使用ProcessBuilder方法调用,偶尔会有提通过JNI调用,因为是目标是Python脚本,所以很快就确定使用Processbuilder。
看到几乎所有的示例代码都是通过Processbuilder加上Thread直接调用,然后读取Python脚本的错误输出流和标准输出流进行交互反馈的,
因为在这个项目中调用脚本的场景并不是高并发场景,但脚本执行的时间周期不确定,完全等待执行完成再反馈早就超时了,而按照网上最佳实践来说,应该要用waitfor等脚本执行完成再返回。
于是最后使用在处理Restful请求时新开一个线程Thread,线程启动后即反馈给调用客户端一个成功的响应,在新开线程中按照最佳实践进行Processbuilder相关处理,如重定向错误输出流,及时响应输出流以免阻塞,使用waitfor等待脚本执行结束等。
其实还有一个方法可以实现类似效果,就是Restful接口处理服务直接写消息中间件如RabbitMQ等,写成功后即反馈调用客户端的成功响应,然后开设一个MQ消费者去读取消息队列中的任务,但考虑到任务执行有长有短,所以最好还是建一个独立线程去处理每一个任务,而如果任务并发量很大,就需要引入线程池来限制过大的资源消耗了。
概要的示例代码如下:
// other code
try {
// generate a thread to call the python script
Thread pythonThread;
pythonThread = new Thread(() -> {
ProcessBuilder pb;
String line;
pb = new ProcessBuilder(Constant.PYTHON_PATH, Constant.APP_PATH, Constant.PYTHON_PARAM);
// important! redirect error stream to output stream, so you can deal with the output stream only!
pb.redirectErrorStream(true);
try {
Process process = pb.start();
BufferedReader bufferReader = new BufferedReader(new InputStreamReader(process.getInputStream()));
while ((line = bufferDownload.readLine()) != null) {
// deal with the output, adjust to your code here
System.out.println(line);
}
process.waitFor();
}
catch (IOException e) {
e.printStackTrace();
}
catch (InterruptedException e) {
e.printStackTrace();
}
});
pythonThread.start();
return;
} catch (Exception e) {
// doing with error
e.printStackTrace();
return;
}
四、多模块配置文件读取
最开始用文言一心搜索,告诉我不能Java各模块间是无法互相读取配置文件信息的,我心一凉,莫非要每个模块都定义一个dev和prod配置文件,然后根据启动参数进行适配?网上查了一下,确实有不少这么做的文章,而且因为每个模块的配置文件还不能重名,即如果主模块用application-dev.yml,那么Service模块要用类似application-servdev.yml,然后在主模块的application.yml的配置中,在active中把这些配置文件都包含进去,如下所示。
spring:
profiles:
active: dev, servdev
这个方案不是不行,但感觉不太漂亮,程序员都懂的:)
于是在Common模块的常量类中,针对final static的常量定义,试了一下@Commponent和@Value,提示final不行,去掉后,不报错,但是只能取到null值,想想要不就用变量吧,直接在Service模块Service实现类中注入吧,居然OK了。莫非一级依赖可以,二级依赖就不行吗?在Common模块试验非static变量注入,也OK了,百度发现static要用不同的注入方式,改为@PostConstruct注解后正常!
总结一下:
1、多模块设计中,各级依赖的模块是可以读取到主模块的配置文件的,用@Component和@Value注解就可以,当然还有其他几种用法,不过我觉得这种用法相对更加灵活一些;
2、在一些常量使用场景下,final static的常量型变量无法直接使用注解,据文言一心反馈需要重写从Spring读取配置文件的方法,太复杂了,所以就使用static变量,这样只需@PostConstruct,结合@Value就可以实现。
在常量类的代码中两种方案都可以看见:
@Component
public class Constant {
public static final String SPIDER_PARAM_SEARCH = 'search";
public static String PYTHON_PATH;
@Value("${python.python_path}")
private String pythonPath;
@PostConstruct
private void init() {
PYTHON_PATH = pythonPath;
}
}
需要注意的是:因为API和Admin模块都依赖了Common模块,无论API和Admin是否使用PYTHON_PATH常量,在它们的application-dev.yml或application-prod.yml中都必须包含有python段以及python_path的定义,否则build没有问题,但是在启动时会因为Constan类报错而失败。
猜你喜欢
- 2025-05-08 idea最新激活jetbrains-agent.jar包,亲测有效
- 2025-05-08 java高手排查问题精辟解说(java检查异常有哪些)
- 2025-05-08 Java开发者手把手教你配置数据库连接池
- 2025-05-08 解决idea配置自定义的maven失败的问题
- 2025-05-08 Spring概述:Spring中lOC和DI介绍,Spring框架用啥方式配置数据
- 2025-05-08 Java中如何将文件内容读取为字符串
- 2025-05-08 springboot的jar如何读取外部的yml配置文件
- 2025-05-08 Spring Boot中通过@PropertySource注解读取yaml或yml配置文件
- 2025-05-08 详细介绍一下使用@ConfigurationProperties读取复杂配置
你 发表评论:
欢迎- 最近发表
-
- Java内存溢出紧急处理:10个必知的Linux命令快速定位OOM
- 面试常问的 25+ 个 Linux 命令(linux面试命令大全)
- Java堆外内存溢出紧急处理实战:Linux命令定位与Spring Boot解决
- java开发常用的Linux命令,高频的没你想象的多
- Java 应用 CPU 飙升?8 个 Linux 命令组合拳快速锁定异常线程
- Java 开发者线上问题排查常用的 15 个 Linux 命令
- Java程序员必备的Linux命令:让你的工作效率翻倍
- Java程序员必备的Linux命令全解析
- [超全整理] Java 程序员必备的 100 条 Linux 命令大全
- SAP ABAP资源导航(sap aatp)
- 标签列表
-
- java反编译工具 (77)
- java反射 (57)
- java接口 (61)
- java随机数 (63)
- java7下载 (59)
- java数据结构 (61)
- java 三目运算符 (65)
- java对象转map (63)
- Java继承 (69)
- java字符串替换 (60)
- 快速排序java (59)
- java并发编程 (58)
- java api文档 (60)
- centos安装java (57)
- java调用webservice接口 (61)
- java深拷贝 (61)
- 工厂模式java (59)
- java代理模式 (59)
- java.lang (57)
- java连接mysql数据库 (67)
- java重载 (68)
- java 循环语句 (66)
- java反序列化 (58)
- java时间函数 (60)
- java是值传递还是引用传递 (62)
本文暂时没有评论,来添加一个吧(●'◡'●)