DolphinScheduler 资源中心无法上传大文件

news/2024/10/3 17:14:14 标签: 大数据, issue

服务:dolphinscheduler

版本:v3.16

问题描述:资源中心-文件管理中使用文件上传是出现中断或上传失败

排除思路:

  1. 测试小文件或其他类型文件时是否正常;
  2. F12查看接口调用成功以及失败时的对比,发现接口调用超过15s时自动中断上传,以为是nginx导致;
  3. 新增配置nginx配置:client_max_body_size、client_header_timeout、client_body_timeout等,后测试无效。
  4. 查看官网已经Github issue是否有相同或类似问题,最终在github dolphinscheduler issue中找到此问题原因 。

问题原因:

  • 原因在前端用axios 提交时设置了超时时间为15s,导致在上传过程中前端超时提前中断了, 见下面在ui service.ts的代码片段部分,修改加大timeout时间后上传大文件通过
    const baseRequestConfig: AxiosRequestConfig = { baseURL: import.meta.env.MODE === ‘development’ ? ‘/dolphinscheduler’ : import.meta.env.VITE_APP_PROD_WEB_URL + ‘/dolphinscheduler’, timeout: 15000,

解决方案:

/api-server/ui/assets/service.766f4632.js
/api-server/ui/assets/service.766f4632.js.gz

/ui/assets/service.766f4632.js
/ui/assets/service.766f4632.js.gz

需要修改以上4 个文件,并找到以下配置 baseURL:“/dolphinscheduler”,timeout:15e3,然后将 15e3 修改为 15e5 或更大。

参考链接:

  • https://dolphinscheduler.apache.org/zh-cn/support
    在这里插入图片描述
  • https://github.com/apache/dolphinscheduler/issues/10340

http://www.niftyadmin.cn/n/5688738.html

相关文章

几个十六进制位表示一个字节

在计算机中一个二进制位表示一个bite位,bite就是二进制中最小的一位。那么什么是一字节呢?一个字节就是8个bite位 二进制位 顾名思义,二进制位就只能用1和0进行表示,假如我要存放数字2,并用二进制位进行表示&#xff…

简单介绍Wiki和历史

Wiki 是一种基于网络的协作工具,它允许多个用户创建、编辑和分享信息。Wiki 的特点是页面内容可以由用户自由修改,并且这些修改会立即生效,促进了集体协作和知识共享。Wiki 的本质是一种内容管理系统,支持版本控制,使得…

Kotlin 处理字符串和正则表达式(二十一)

导读大纲 1.1 处理字符串和正则表达式1.1.1 分割字符串1.1.2 正则表达式和三引号字符串1.1.3 多行三引号字符串IntelliJ IDEA 和 Android Studio 中三重引号字符串内部的语法高亮显示 1.1 处理字符串和正则表达式 Kotlin 字符串与 Java 字符串完全相同 可以将 Kotlin 代码中创建…

Microsoft 解釋修改後的 Recall 將如何保障隱私與安全

Microsoft 為 Copilot AI 電腦推出的 Recall 功能,本意是藉由定期進行螢幕截圖,並分析上面的資訊,來協助用戶找到查看過的網頁、工作過的文件等各種資訊。然而雖然立意很好,但 Microsoft 推出之初似乎完全沒有考慮到用戶的隱私安全…

RTSP作为客户端 推流 拉流的过程分析

之前写过一个 rtsp server 作为服务端的简单demo 这次分析下 rtsp作为客户端 推流和拉流时候的过 A.作为客户端拉流 TCP方式 1.Client发送OPTIONS方法 Server回应告诉支持的方法 2.Client发送DESCRIPE方法 这里是从海康摄像机拉流并且设置了用户名密码 Server回复未认证 3.客…

ISA-95制造业中企业和控制系统的集成的国际标准-(5)

ISA-95 文章目录 ISA-95ISA-95与工业互联网一、工业互联网在哪里?二、维护自动化金字塔 ISA-95与工业互联网 ISA95作为指导性原则,自动化的阶段构建了以人和业务流程为中心的生产组织方式,极大的提高了生产的效率和灵活性,也满足…

MongoDB伪分布式部署(mac M2)

1. 序言 本博客是上一博客的进阶版:mac M2安装单机版 MongoDB 7.x,上一博客可以看做是单机、单节点部署MongoDB本博客将介绍单机、多服务部署MongoDB,实际就是伪分布式部署 2. 副本集(Replica Set)方式部署 2.1 什么是副本集? …

从DBA是“擦车的”谈起

前段时间有网友在群里讨论,把数据库代码工作者比做是造车的,业务应用开发人员是开车的,而数据库管理员(DBA)则是擦车的。有网友评论这句话,“伤害性不大,侮辱性极强”。说实在的,个人觉得这个说法虽然有些偏…