createservicelogic.go 15 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342
  1. // udeServer: CreateService 走事务 —— 同一事务内插 t_service + N 条 t_directory,
  2. // 任意一条 INSERT 失败,全部回滚,不留脏数据。
  3. package logic
  4. import (
  5. "bytes"
  6. "context"
  7. "encoding/json"
  8. "fmt"
  9. "io"
  10. "net/http"
  11. "path"
  12. "strings"
  13. "time"
  14. "udeServer/internal/audit"
  15. "udeServer/internal/model"
  16. "udeServer/internal/svc"
  17. "udeServer/internal/types"
  18. "github.com/zeromicro/go-zero/core/logx"
  19. "github.com/zeromicro/go-zero/core/stores/sqlx"
  20. )
  21. type CreateServiceLogic struct {
  22. logx.Logger
  23. ctx context.Context
  24. svcCtx *svc.ServiceContext
  25. }
  26. func NewCreateServiceLogic(ctx context.Context, svcCtx *svc.ServiceContext) *CreateServiceLogic {
  27. return &CreateServiceLogic{
  28. Logger: logx.WithContext(ctx),
  29. ctx: ctx,
  30. svcCtx: svcCtx,
  31. }
  32. }
  33. func (l *CreateServiceLogic) CreateService(req *types.CreateServiceReq) (*types.ServiceResp, error) {
  34. var svcId int64
  35. var dirList []string // 落库成功的保护目录(trim 后非空),事务提交后用于通知外挂程序挂载
  36. err := l.svcCtx.DB.Transact(func(session sqlx.Session) error {
  37. // 把 model 绑到事务 session 上,后续所有写操作都走同一个连接/事务
  38. svcModel := l.svcCtx.ServiceModel.WithSession(session)
  39. dirModel := l.svcCtx.DirectoryModel.WithSession(session)
  40. // 1. 插服务
  41. svcData := &model.TService{
  42. Name: nullString(req.Name),
  43. Ip: nullString(req.Ip),
  44. Port: req.Port, // 端口 int 类型,int64 直传(0=未配置)
  45. Iden: nullString(req.Iden),
  46. KeyIden: nullString(req.KeyIden),
  47. KeyAlgo: nullString(req.KeyAlgo),
  48. Status: nullString(req.Status),
  49. MountStatus: nullString("unmounted"), // 挂载状态初始值:未挂载(表列 NOT NULL,必须显式传值,否则 NULL 会报错)
  50. Brush: req.Brush, // 一键刷库配置原样落库(0=否默认,1=创建后自动下发刷库)
  51. }
  52. svcRes, err := svcModel.Insert(l.ctx, svcData)
  53. if err != nil {
  54. return fmt.Errorf("insert t_service: %w", err)
  55. }
  56. svcId, err = svcRes.LastInsertId()
  57. if err != nil {
  58. return fmt.Errorf("get last insert id: %w", err)
  59. }
  60. // 2. 插保护目录(与上面的服务同事务,任一条失败整体回滚)
  61. for _, dir := range req.Directories {
  62. path := strings.TrimSpace(dir)
  63. if path == "" {
  64. continue
  65. }
  66. dirList = append(dirList, path)
  67. _, err := dirModel.Insert(l.ctx, &model.TDirectory{
  68. ServiceId: nullInt64(svcId),
  69. Directory: nullString(path),
  70. })
  71. if err != nil {
  72. return fmt.Errorf("insert t_directory[%s]: %w", path, err)
  73. }
  74. }
  75. return nil
  76. })
  77. if err != nil {
  78. l.Errorf("create service tx failed: %v", err)
  79. return nil, err
  80. }
  81. // 事务提交后再回查完整实体(CreateAt 由 DB 默认值生成)
  82. created, err := findService(l.ctx, l.svcCtx.ServiceModel, svcId)
  83. if err != nil {
  84. return nil, err
  85. }
  86. // 3. 落库成功后,通知外挂程序(req.Ip:req.Port)执行 fuse 挂载。
  87. // 挂载失败不阻塞服务创建:响应体带 mountWarning,前端弹黄色警告而非红色错误。
  88. resp := toServiceResp(created)
  89. // 4. 一键刷库(brush=1):挂载【之前】先下发。
  90. // 刷库语义 = 外挂把保护目录存量明文加密进 <目录>-cipher 并清空原明文,
  91. // 目录变空后才能通过外挂的空目录挂载校验(先刷后挂的编排顺序)。
  92. // 刷库失败软处理:聚合进警告后继续走挂载(空目录场景挂载不受影响)。
  93. var warnings []string
  94. /*if req.Brush == 1 {
  95. if err := l.notifyFuseBrush(created, dirList); err != nil {
  96. l.Errorf("service created(id=%d), but brush dispatch failed: %v", svcId, err)
  97. warnings = append(warnings, fmt.Sprintf("一键刷库: %v", err))
  98. }
  99. }
  100. */
  101. // 5. 挂载结果落库 + 响应回显:
  102. // 新增选"停用" → 只登记不挂载:mount_status=unmounted、status=停用
  103. // (与列表开关"停用=不挂载"语义对称,后续拨向启用再挂载)。
  104. // 新增选"启用" → 创建后挂载,状态与真实挂载结果对齐:
  105. // 成功 → mount_status=mounted、status=启用;
  106. // 失败 → mount_status=failed(同时带 mountWarning 黄条)、status=停用。
  107. // 状态落库失败只记日志,不影响主流程(服务创建本身已成功)。
  108. // 注:「没配置保护目录」目前也走 failed 分支,语义细分留给后续迭代。
  109. if req.Status == "停用" {
  110. resp.MountStatus = "unmounted"
  111. resp.Status = "停用"
  112. if uerr := l.svcCtx.ServiceModel.UpdateMountStatus(l.ctx, svcId, "unmounted"); uerr != nil {
  113. l.Errorf("update mount_status=unmounted failed(id=%d): %v", svcId, uerr)
  114. }
  115. } else if err := l.notifyFuseMount(created, dirList); err != nil {
  116. l.Errorf("service created(id=%d), but fuse mount notify failed: %v", svcId, err)
  117. // err 内容即失败目录的逐条消息(带目录名,分号分隔),直接进警告,不再包前缀段
  118. warnings = append(warnings, err.Error())
  119. resp.MountStatus = "failed"
  120. if uerr := l.svcCtx.ServiceModel.UpdateMountStatus(l.ctx, svcId, "failed"); uerr != nil {
  121. l.Errorf("update mount_status=failed failed(id=%d): %v", svcId, uerr)
  122. }
  123. if uerr := l.svcCtx.ServiceModel.UpdateStatus(l.ctx, svcId, "停用"); uerr != nil {
  124. l.Errorf("update status=停用 failed(id=%d): %v", svcId, uerr)
  125. }
  126. resp.Status = "停用"
  127. } else {
  128. resp.MountStatus = "mounted"
  129. if uerr := l.svcCtx.ServiceModel.UpdateMountStatus(l.ctx, svcId, "mounted"); uerr != nil {
  130. l.Errorf("update mount_status=mounted failed(id=%d): %v", svcId, uerr)
  131. }
  132. if uerr := l.svcCtx.ServiceModel.UpdateStatus(l.ctx, svcId, "启用"); uerr != nil {
  133. l.Errorf("update status=启用 failed(id=%d): %v", svcId, uerr)
  134. }
  135. resp.Status = "启用"
  136. }
  137. if len(warnings) > 0 {
  138. // strings.Join 把刷库/挂载的失败信息拼成一条,分号分隔,前端一条黄条展示
  139. resp.MountWarning = strings.Join(warnings, "; ")
  140. }
  141. return resp, nil
  142. }
  143. // notifyFuseBrush 下发一键刷库到外挂程序(svc.Ip:svc.Port)的 /api/migrate 接口。
  144. // 刷库语义:外挂读取保护目录存量明文 → 按服务密钥加密写入 <保护目录>-cipher
  145. // → 校验通过后清空保护目录原明文(数据已转移到密文目录,磁盘上只留密文一份),
  146. // 完成加密语义闭环,同时为挂载的空目录校验扫清障碍。
  147. // 调用时机:创建流程中、挂载之前(先刷后挂编排,见 CreateService 第4步)。
  148. // 实际下发逻辑抽成包级 dispatchFuseBrush,与手动补刷(BrushServiceLogic)共用。
  149. func (l *CreateServiceLogic) notifyFuseBrush(svc *model.TService, dirs []string) error {
  150. return dispatchFuseBrush(l.ctx, l.svcCtx, svc, dirs)
  151. }
  152. // doFuseRequest 发送发往外挂程序的 HTTP 请求,统一携带 X-TOKEN 鉴权头。
  153. // 服务表 t_service 的 iden 存的是接入应用的 apiKey;外挂机 TOKEN 环境变量配的是
  154. // 密钥值 apiSecret。这里按 apiKey 查接入应用表(t_application_credentials)换算出
  155. // apiSecret 再作为 X-TOKEN 发送,外挂程序拿它与自己环境变量 TOKEN 恒定时间比对
  156. // (见 FuseDemo 的 NewAuthInterceptor)。
  157. // client 按场景传:挂载/卸载/目录浏览用 fuseMountClient(10s),刷库用 fuseBrushClient(10min)。
  158. // 之所以不用 client.Post/client.Get 快捷方式:它们构造的请求没法逐个加 Header,
  159. // 必须先 http.NewRequest 再 client.Do。
  160. func doFuseRequest(ctx context.Context, svcCtx *svc.ServiceContext, client *http.Client, iden, method, url string, body io.Reader, contentType string) (*http.Response, error) {
  161. req, err := http.NewRequest(method, url, body)
  162. if err != nil {
  163. return nil, err
  164. }
  165. if contentType != "" {
  166. req.Header.Set("Content-Type", contentType)
  167. }
  168. // 按 iden(apiKey) 查接入应用表,取真正的密钥值 apiSecret 作为 X-TOKEN。
  169. // iden 为空时(目录树接口的 iden 是可选项,新增弹窗未选接入标识就点"选择目录")跳过:
  170. // 目标接口 /path/lists 在外挂侧本就免鉴权,不设头也能通。
  171. if iden != "" {
  172. apiSecret, err := svcCtx.ApplicationCredModel.FindByApiKey(ctx, iden)
  173. if err != nil {
  174. return nil, fmt.Errorf("接入标识(%s)对应的应用不存在,无法获取密钥: %w", iden, err)
  175. }
  176. req.Header.Set("X-TOKEN", apiSecret)
  177. }
  178. return client.Do(req)
  179. }
  180. // fuseBrushClient 刷库专用HTTP客户端:刷库是重操作(全量加密可能数分钟),
  181. // 不能复用挂载的10s短超时,单独放宽到10分钟。
  182. var fuseBrushClient = &http.Client{Timeout: 10 * time.Minute}
  183. // dispatchFuseBrush 下发刷库到外挂(包级函数,创建流程与手动补刷共用同一实现)。
  184. // 逐保护目录调用 POST /api/migrate,请求体:
  185. //
  186. // { "backing": "<目录>-cipher", "mount": ["<目录>"], "overwrite": true, "ikey": "<密钥内容>" }
  187. //
  188. // ikey 取自 t_key.content(按服务 keyIden 查询),与挂载下发同源,保证刷库密钥=挂载密钥。
  189. // 外挂约定:部分文件失败也返回 HTTP 200,成败靠响应体的 failed 计数判断。
  190. // 注:创建流程的自动刷库无需挂载中校验——创建时序是先刷后挂,刷库时必然未挂载;
  191. // 手动补刷的挂载中拦截由调用方 BrushServiceLogic 负责。
  192. func dispatchFuseBrush(ctx context.Context, svcCtx *svc.ServiceContext, svc *model.TService, dirs []string) error {
  193. if len(dirs) == 0 {
  194. return fmt.Errorf("没配保护目录,无库可刷")
  195. }
  196. ip, port := svc.Ip.String, svc.Port // port 是 int64
  197. if ip == "" || port == 0 {
  198. return fmt.Errorf("外挂服务 IP/端口为空,无法下发刷库")
  199. }
  200. keyIden := svc.KeyIden.String
  201. if keyIden == "" {
  202. return fmt.Errorf("服务未配置密钥标识(keyIden),无法下发刷库")
  203. }
  204. key, err := svcCtx.KeyModel.FindOneByIden(ctx, keyIden)
  205. if err != nil {
  206. return fmt.Errorf("查询密钥(%s)失败: %w", keyIden, err)
  207. }
  208. ikey := key.Content.String
  209. if ikey == "" {
  210. return fmt.Errorf("密钥(%s)内容为空,无法下发刷库", keyIden)
  211. }
  212. baseURL := fmt.Sprintf("http://%s:%d/api/migrate", ip, port)
  213. for _, dir := range dirs {
  214. dirLinuxPath := path.Clean(dir)
  215. payload := map[string]interface{}{
  216. "backing": dirLinuxPath + "-cipher", // 密文输出目录
  217. "mount": []string{dirLinuxPath}, // 明文源目录(接口定义是数组,单目录传单元素)
  218. "overwrite": true, // 补刷时目标已存在则覆盖,保证刷库可重复执行
  219. "ikey": ikey,
  220. }
  221. body, err := json.Marshal(payload)
  222. if err != nil {
  223. return fmt.Errorf("序列化刷库请求失败: %w", err)
  224. }
  225. resp, err := doFuseRequest(ctx, svcCtx, fuseBrushClient, svc.Iden.String, http.MethodPost, baseURL, bytes.NewReader(body), "application/json")
  226. if err != nil {
  227. return fmt.Errorf("请求 %s 失败(外挂程序未启动?): %w", baseURL, err)
  228. }
  229. // 先把响应体整体读出再Close,保证Keep-Alive连接可复用
  230. respBody, _ := io.ReadAll(io.LimitReader(resp.Body, 4<<20))
  231. resp.Body.Close()
  232. if resp.StatusCode >= http.StatusBadRequest {
  233. return fmt.Errorf("刷库目录 %s 失败,外挂程序返回 HTTP %d: %s", dir, resp.StatusCode, string(respBody))
  234. }
  235. var result struct { // 匿名结构体:只用一次的临时JSON模型,不必单独定义类型
  236. Total int `json:"total"`
  237. Failed int `json:"failed"`
  238. }
  239. if err := json.Unmarshal(respBody, &result); err != nil {
  240. return fmt.Errorf("解析刷库响应失败(目录 %s): %w", dir, err)
  241. }
  242. if result.Failed > 0 {
  243. return fmt.Errorf("刷库目录 %s: %d/%d 个文件失败", dir, result.Failed, result.Total)
  244. }
  245. }
  246. return nil
  247. }
  248. // fuseMountClient 复用的 HTTP 客户端,10s 超时防止外挂程序无响应拖死创建接口。
  249. var fuseMountClient = &http.Client{Timeout: 10 * time.Second}
  250. // notifyFuseMount 落库成功后回调外挂程序(svc.Ip:svc.Port)的 /api/fuseMount 接口,
  251. // 由外挂程序对保护目录执行 fuse 挂载。一个目录一次调用,请求体:
  252. //
  253. // POST http://{ip}:{port}/api/fuseMount
  254. // { "backing": "<保护目录>-cipher", "mount": "<保护目录>", "ikey": "<密钥内容>" }
  255. //
  256. // ikey 取自 t_key.content(按服务配置的密钥标识 keyIden 查询)。
  257. func (l *CreateServiceLogic) notifyFuseMount(svc *model.TService, dirs []string) error {
  258. ip, port := svc.Ip.String, svc.Port // port 已是 int64
  259. if ip == "" || port == 0 {
  260. return fmt.Errorf("外挂服务 IP/端口为空,无法下发挂载")
  261. }
  262. if len(dirs) == 0 {
  263. return fmt.Errorf("没有配置保护目录,无需通知挂载")
  264. }
  265. // 密钥内容:按服务配置的密钥标识(keyIden)查 t_key
  266. keyIden := svc.KeyIden.String
  267. if keyIden == "" {
  268. return fmt.Errorf("服务未配置密钥标识(keyIden),无法下发挂载")
  269. }
  270. key, err := l.svcCtx.KeyModel.FindOneByIden(l.ctx, keyIden)
  271. if err != nil {
  272. return fmt.Errorf("查询密钥(%s)失败: %w", keyIden, err)
  273. }
  274. ikey := key.Content.String
  275. if ikey == "" {
  276. return fmt.Errorf("密钥(%s)内容为空,无法下发挂载", keyIden)
  277. }
  278. baseURL := fmt.Sprintf("http://%s:%d/api/fuseMount", ip, port) // %d:port 是 int64,数字占位符
  279. // 逐目录尝试挂载,失败的目录各自记一条带目录名的消息后继续下一个,
  280. // 全部尝试完才返回:多目录场景失败几个目录就聚合几条,成功目录不产生消息。
  281. var msgs []string
  282. for _, mount := range dirs {
  283. dirLinuxPath := path.Clean(mount)
  284. cipherDir := dirLinuxPath + "-cipher"
  285. payload := map[string]interface{}{
  286. "backing": cipherDir, // 密文存储目录
  287. "mount": dirLinuxPath, // 挂载点
  288. "ikey": ikey,
  289. }
  290. body, err := json.Marshal(payload)
  291. if err != nil {
  292. msgs = append(msgs, fmt.Sprintf("挂载目录 %s 失败: 序列化挂载请求失败: %v", dirLinuxPath, err))
  293. continue
  294. }
  295. // 发起 POST(DoSimple 记录 type=2 接口日志,父 Span 指向本次入站请求)
  296. if _, callErr := audit.DoSimple(l.svcCtx.SpanRecorder, l.ctx, "FuseMount", baseURL, body,
  297. func() (map[string]interface{}, int64, error) {
  298. // doFuseRequest 注入 X-TOKEN(按 iden 换算的 apiSecret);client.Post 快捷方式带不了自定义头,
  299. // 裸发会被外挂鉴权拦截器 401 拒绝
  300. resp, rerr := doFuseRequest(l.ctx, l.svcCtx, fuseMountClient, svc.Iden.String, http.MethodPost, baseURL, bytes.NewReader(body), "application/json")
  301. if rerr != nil {
  302. return nil, 0, fmt.Errorf("挂载目录 %s 失败(外挂程序未启动?): %w", dirLinuxPath, rerr)
  303. }
  304. // 读到 EOF 保证底层 TCP 连接池可以复用 Keep-Alive
  305. raw, _ := io.ReadAll(resp.Body)
  306. resp.Body.Close()
  307. status := int64(resp.StatusCode)
  308. if status >= http.StatusBadRequest {
  309. return nil, status, fmt.Errorf("挂载目录 %s 失败,外挂程序返回 HTTP %d: %s", dirLinuxPath, status, string(raw))
  310. }
  311. return map[string]interface{}{"status": status, "body": string(raw)}, status, nil
  312. }); callErr != nil {
  313. msgs = append(msgs, callErr.Error())
  314. continue
  315. }
  316. l.Infof("fuse mount ok: %s -> %s", mount, mount+"-cipher")
  317. }
  318. if len(msgs) > 0 {
  319. return fmt.Errorf("%s", strings.Join(msgs, "; "))
  320. }
  321. return nil
  322. }