createservicelogic.go 14 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327
  1. // udeServer: CreateService 走事务 —— 同一事务内插 t_service + N 条 t_directory,
  2. // 任意一条 INSERT 失败,全部回滚,不留脏数据。
  3. package logic
  4. import (
  5. "bytes"
  6. "context"
  7. "encoding/json"
  8. "fmt"
  9. "io"
  10. "net/http"
  11. "path"
  12. "strings"
  13. "time"
  14. "udeServer/internal/audit"
  15. "udeServer/internal/model"
  16. "udeServer/internal/svc"
  17. "udeServer/internal/types"
  18. "github.com/zeromicro/go-zero/core/logx"
  19. "github.com/zeromicro/go-zero/core/stores/sqlx"
  20. )
  21. type CreateServiceLogic struct {
  22. logx.Logger
  23. ctx context.Context
  24. svcCtx *svc.ServiceContext
  25. }
  26. func NewCreateServiceLogic(ctx context.Context, svcCtx *svc.ServiceContext) *CreateServiceLogic {
  27. return &CreateServiceLogic{
  28. Logger: logx.WithContext(ctx),
  29. ctx: ctx,
  30. svcCtx: svcCtx,
  31. }
  32. }
  33. func (l *CreateServiceLogic) CreateService(req *types.CreateServiceReq) (*types.ServiceResp, error) {
  34. var svcId int64
  35. var dirList []string // 落库成功的保护目录(trim 后非空),事务提交后用于通知外挂程序挂载
  36. err := l.svcCtx.DB.Transact(func(session sqlx.Session) error {
  37. // 把 model 绑到事务 session 上,后续所有写操作都走同一个连接/事务
  38. svcModel := l.svcCtx.ServiceModel.WithSession(session)
  39. dirModel := l.svcCtx.DirectoryModel.WithSession(session)
  40. // 从接入标识获取到秘钥
  41. apiSecret, err := l.svcCtx.ApplicationCredModel.FindByApiKey(l.ctx, req.Iden)
  42. fmt.Println("从接入标识获取到秘钥:", apiSecret)
  43. if err != nil {
  44. return fmt.Errorf("接入应用标识不存在: %w", err)
  45. }
  46. // 1. 插服务
  47. svcData := &model.TService{
  48. Name: nullString(req.Name),
  49. Ip: nullString(req.Ip),
  50. Port: req.Port, // 端口 int 类型,int64 直传(0=未配置)
  51. Iden: nullString(apiSecret),
  52. KeyIden: nullString(req.KeyIden),
  53. KeyAlgo: nullString(req.KeyAlgo),
  54. Status: nullString(req.Status),
  55. MountStatus: nullString("unmounted"), // 挂载状态初始值:未挂载(表列 NOT NULL,必须显式传值,否则 NULL 会报错)
  56. Brush: req.Brush, // 一键刷库配置原样落库(0=否默认,1=创建后自动下发刷库)
  57. }
  58. svcRes, err := svcModel.Insert(l.ctx, svcData)
  59. if err != nil {
  60. return fmt.Errorf("insert t_service: %w", err)
  61. }
  62. svcId, err = svcRes.LastInsertId()
  63. if err != nil {
  64. return fmt.Errorf("get last insert id: %w", err)
  65. }
  66. // 2. 插保护目录(与上面的服务同事务,任一条失败整体回滚)
  67. for _, dir := range req.Directories {
  68. path := strings.TrimSpace(dir)
  69. if path == "" {
  70. continue
  71. }
  72. dirList = append(dirList, path)
  73. _, err := dirModel.Insert(l.ctx, &model.TDirectory{
  74. ServiceId: nullInt64(svcId),
  75. Directory: nullString(path),
  76. })
  77. if err != nil {
  78. return fmt.Errorf("insert t_directory[%s]: %w", path, err)
  79. }
  80. }
  81. return nil
  82. })
  83. if err != nil {
  84. l.Errorf("create service tx failed: %v", err)
  85. return nil, err
  86. }
  87. // 事务提交后再回查完整实体(CreateAt 由 DB 默认值生成)
  88. created, err := findService(l.ctx, l.svcCtx.ServiceModel, svcId)
  89. if err != nil {
  90. return nil, err
  91. }
  92. // 3. 落库成功后,通知外挂程序(req.Ip:req.Port)执行 fuse 挂载。
  93. // 挂载失败不阻塞服务创建:响应体带 mountWarning,前端弹黄色警告而非红色错误。
  94. resp := toServiceResp(created)
  95. // 4. 一键刷库(brush=1):挂载【之前】先下发。
  96. // 刷库语义 = 外挂把保护目录存量明文加密进 <目录>-cipher 并清空原明文,
  97. // 目录变空后才能通过外挂的空目录挂载校验(先刷后挂的编排顺序)。
  98. // 刷库失败软处理:聚合进警告后继续走挂载(空目录场景挂载不受影响)。
  99. var warnings []string
  100. if req.Brush == 1 {
  101. if err := l.notifyFuseBrush(created, dirList); err != nil {
  102. l.Errorf("service created(id=%d), but brush dispatch failed: %v", svcId, err)
  103. warnings = append(warnings, fmt.Sprintf("一键刷库: %v", err))
  104. }
  105. }
  106. // 5. 挂载结果落库 + 响应回显:
  107. // 新增选"停用" → 只登记不挂载:mount_status=unmounted、status=停用
  108. // (与列表开关"停用=不挂载"语义对称,后续拨向启用再挂载)。
  109. // 新增选"启用" → 创建后挂载,状态与真实挂载结果对齐:
  110. // 成功 → mount_status=mounted、status=启用;
  111. // 失败 → mount_status=failed(同时带 mountWarning 黄条)、status=停用。
  112. // 状态落库失败只记日志,不影响主流程(服务创建本身已成功)。
  113. // 注:「没配置保护目录」目前也走 failed 分支,语义细分留给后续迭代。
  114. if req.Status == "停用" {
  115. resp.MountStatus = "unmounted"
  116. resp.Status = "停用"
  117. if uerr := l.svcCtx.ServiceModel.UpdateMountStatus(l.ctx, svcId, "unmounted"); uerr != nil {
  118. l.Errorf("update mount_status=unmounted failed(id=%d): %v", svcId, uerr)
  119. }
  120. } else if err := l.notifyFuseMount(created, dirList); err != nil {
  121. l.Errorf("service created(id=%d), but fuse mount notify failed: %v", svcId, err)
  122. warnings = append(warnings, fmt.Sprintf("服务已创建,但通知外挂程序挂载失败: %v", err))
  123. resp.MountStatus = "failed"
  124. if uerr := l.svcCtx.ServiceModel.UpdateMountStatus(l.ctx, svcId, "failed"); uerr != nil {
  125. l.Errorf("update mount_status=failed failed(id=%d): %v", svcId, uerr)
  126. }
  127. if uerr := l.svcCtx.ServiceModel.UpdateStatus(l.ctx, svcId, "停用"); uerr != nil {
  128. l.Errorf("update status=停用 failed(id=%d): %v", svcId, uerr)
  129. }
  130. resp.Status = "停用"
  131. } else {
  132. resp.MountStatus = "mounted"
  133. if uerr := l.svcCtx.ServiceModel.UpdateMountStatus(l.ctx, svcId, "mounted"); uerr != nil {
  134. l.Errorf("update mount_status=mounted failed(id=%d): %v", svcId, uerr)
  135. }
  136. if uerr := l.svcCtx.ServiceModel.UpdateStatus(l.ctx, svcId, "启用"); uerr != nil {
  137. l.Errorf("update status=启用 failed(id=%d): %v", svcId, uerr)
  138. }
  139. resp.Status = "启用"
  140. }
  141. if len(warnings) > 0 {
  142. // strings.Join 把刷库/挂载的失败信息拼成一条,分号分隔,前端一条黄条展示
  143. resp.MountWarning = strings.Join(warnings, "; ")
  144. }
  145. return resp, nil
  146. }
  147. // notifyFuseBrush 下发一键刷库到外挂程序(svc.Ip:svc.Port)的 /api/migrate 接口。
  148. // 刷库语义:外挂读取保护目录存量明文 → 按服务密钥加密写入 <保护目录>-cipher
  149. // → 校验通过后清空保护目录原明文(数据已转移到密文目录,磁盘上只留密文一份),
  150. // 完成加密语义闭环,同时为挂载的空目录校验扫清障碍。
  151. // 调用时机:创建流程中、挂载之前(先刷后挂编排,见 CreateService 第4步)。
  152. // 实际下发逻辑抽成包级 dispatchFuseBrush,与手动补刷(BrushServiceLogic)共用。
  153. func (l *CreateServiceLogic) notifyFuseBrush(svc *model.TService, dirs []string) error {
  154. return dispatchFuseBrush(l.ctx, l.svcCtx, svc, dirs)
  155. }
  156. // doFuseRequest 发送发往外挂程序的 HTTP 请求,统一携带逐服务的 X-TOKEN 鉴权头。
  157. // X-TOKEN 的值 = 服务表 t_service 的 iden(接入标识)字段;外挂程序拿它与
  158. // 自己环境变量 TOKEN 配的值恒定时间比对(见 FuseDemo 的 NewAuthInterceptor),
  159. // 因此每台外挂机的 TOKEN 要配成"接在该机上的服务"的 iden 值。
  160. // client 按场景传:挂载/卸载/目录浏览用 fuseMountClient(10s),刷库用 fuseBrushClient(10min)。
  161. // 之所以不用 client.Post/client.Get 快捷方式:它们构造的请求没法逐个加 Header,
  162. // 必须先 http.NewRequest 再 client.Do。
  163. func doFuseRequest(client *http.Client, iden, method, url string, body io.Reader, contentType string) (*http.Response, error) {
  164. req, err := http.NewRequest(method, url, body)
  165. if err != nil {
  166. return nil, err
  167. }
  168. if contentType != "" {
  169. req.Header.Set("Content-Type", contentType)
  170. }
  171. req.Header.Set("X-TOKEN", iden)
  172. return client.Do(req)
  173. }
  174. // fuseBrushClient 刷库专用HTTP客户端:刷库是重操作(全量加密可能数分钟),
  175. // 不能复用挂载的10s短超时,单独放宽到10分钟。
  176. var fuseBrushClient = &http.Client{Timeout: 10 * time.Minute}
  177. // dispatchFuseBrush 下发刷库到外挂(包级函数,创建流程与手动补刷共用同一实现)。
  178. // 逐保护目录调用 POST /api/migrate,请求体:
  179. //
  180. // { "backing": "<目录>-cipher", "mount": ["<目录>"], "overwrite": true, "ikey": "<密钥内容>" }
  181. //
  182. // ikey 取自 t_key.content(按服务 keyIden 查询),与挂载下发同源,保证刷库密钥=挂载密钥。
  183. // 外挂约定:部分文件失败也返回 HTTP 200,成败靠响应体的 failed 计数判断。
  184. // 注:创建流程的自动刷库无需挂载中校验——创建时序是先刷后挂,刷库时必然未挂载;
  185. // 手动补刷的挂载中拦截由调用方 BrushServiceLogic 负责。
  186. func dispatchFuseBrush(ctx context.Context, svcCtx *svc.ServiceContext, svc *model.TService, dirs []string) error {
  187. if len(dirs) == 0 {
  188. return fmt.Errorf("没配保护目录,无库可刷")
  189. }
  190. ip, port := svc.Ip.String, svc.Port // port 是 int64
  191. if ip == "" || port == 0 {
  192. return fmt.Errorf("外挂服务 IP/端口为空,无法下发刷库")
  193. }
  194. keyIden := svc.KeyIden.String
  195. if keyIden == "" {
  196. return fmt.Errorf("服务未配置密钥标识(keyIden),无法下发刷库")
  197. }
  198. key, err := svcCtx.KeyModel.FindOneByIden(ctx, keyIden)
  199. if err != nil {
  200. return fmt.Errorf("查询密钥(%s)失败: %w", keyIden, err)
  201. }
  202. ikey := key.Content.String
  203. if ikey == "" {
  204. return fmt.Errorf("密钥(%s)内容为空,无法下发刷库", keyIden)
  205. }
  206. baseURL := fmt.Sprintf("http://%s:%d/api/migrate", ip, port)
  207. for _, dir := range dirs {
  208. dirLinuxPath := path.Clean(dir)
  209. payload := map[string]interface{}{
  210. "backing": dirLinuxPath + "-cipher", // 密文输出目录
  211. "mount": []string{dirLinuxPath}, // 明文源目录(接口定义是数组,单目录传单元素)
  212. "overwrite": true, // 补刷时目标已存在则覆盖,保证刷库可重复执行
  213. "ikey": ikey,
  214. }
  215. body, err := json.Marshal(payload)
  216. if err != nil {
  217. return fmt.Errorf("序列化刷库请求失败: %w", err)
  218. }
  219. resp, err := doFuseRequest(fuseBrushClient, svc.Iden.String, http.MethodPost, baseURL, bytes.NewReader(body), "application/json")
  220. if err != nil {
  221. return fmt.Errorf("请求 %s 失败(外挂程序未启动?): %w", baseURL, err)
  222. }
  223. // 先把响应体整体读出再Close,保证Keep-Alive连接可复用
  224. respBody, _ := io.ReadAll(io.LimitReader(resp.Body, 4<<20))
  225. resp.Body.Close()
  226. if resp.StatusCode >= http.StatusBadRequest {
  227. return fmt.Errorf("刷库目录 %s 失败,外挂程序返回 HTTP %d: %s", dir, resp.StatusCode, string(respBody))
  228. }
  229. var result struct { // 匿名结构体:只用一次的临时JSON模型,不必单独定义类型
  230. Total int `json:"total"`
  231. Failed int `json:"failed"`
  232. }
  233. if err := json.Unmarshal(respBody, &result); err != nil {
  234. return fmt.Errorf("解析刷库响应失败(目录 %s): %w", dir, err)
  235. }
  236. if result.Failed > 0 {
  237. return fmt.Errorf("刷库目录 %s: %d/%d 个文件失败", dir, result.Failed, result.Total)
  238. }
  239. }
  240. return nil
  241. }
  242. // fuseMountClient 复用的 HTTP 客户端,10s 超时防止外挂程序无响应拖死创建接口。
  243. var fuseMountClient = &http.Client{Timeout: 10 * time.Second}
  244. // notifyFuseMount 落库成功后回调外挂程序(svc.Ip:svc.Port)的 /api/fuseMount 接口,
  245. // 由外挂程序对保护目录执行 fuse 挂载。一个目录一次调用,请求体:
  246. //
  247. // POST http://{ip}:{port}/api/fuseMount
  248. // { "backing": "<保护目录>-cipher", "mount": "<保护目录>", "ikey": "<密钥内容>" }
  249. //
  250. // ikey 取自 t_key.content(按服务配置的密钥标识 keyIden 查询)。
  251. func (l *CreateServiceLogic) notifyFuseMount(svc *model.TService, dirs []string) error {
  252. ip, port := svc.Ip.String, svc.Port // port 已是 int64
  253. if ip == "" || port == 0 {
  254. return fmt.Errorf("外挂服务 IP/端口为空,无法下发挂载")
  255. }
  256. if len(dirs) == 0 {
  257. return fmt.Errorf("没有配置保护目录,无需通知挂载")
  258. }
  259. // 密钥内容:按服务配置的密钥标识(keyIden)查 t_key
  260. keyIden := svc.KeyIden.String
  261. if keyIden == "" {
  262. return fmt.Errorf("服务未配置密钥标识(keyIden),无法下发挂载")
  263. }
  264. key, err := l.svcCtx.KeyModel.FindOneByIden(l.ctx, keyIden)
  265. if err != nil {
  266. return fmt.Errorf("查询密钥(%s)失败: %w", keyIden, err)
  267. }
  268. ikey := key.Content.String
  269. if ikey == "" {
  270. return fmt.Errorf("密钥(%s)内容为空,无法下发挂载", keyIden)
  271. }
  272. baseURL := fmt.Sprintf("http://%s:%d/api/fuseMount", ip, port) // %d:port 是 int64,数字占位符
  273. for _, mount := range dirs {
  274. dirLinuxPath := path.Clean(mount)
  275. cipherDir := dirLinuxPath + "-cipher"
  276. payload := map[string]interface{}{
  277. "backing": cipherDir, // 密文存储目录
  278. "mount": dirLinuxPath, // 挂载点
  279. "ikey": ikey,
  280. }
  281. body, err := json.Marshal(payload)
  282. if err != nil {
  283. return fmt.Errorf("序列化挂载请求失败: %w", err)
  284. }
  285. // 发起 POST(DoSimple 记录 type=2 接口日志,父 Span 指向本次入站请求)
  286. if _, callErr := audit.DoSimple(l.svcCtx.SpanRecorder, l.ctx, "FuseMount", baseURL, body,
  287. func() (map[string]interface{}, int64, error) {
  288. resp, rerr := fuseMountClient.Post(baseURL, "application/json", bytes.NewReader(body))
  289. if rerr != nil {
  290. return nil, 0, fmt.Errorf("请求 %s 失败(外挂程序未启动?): %w", baseURL, rerr)
  291. }
  292. // 读到 EOF 保证底层 TCP 连接池可以复用 Keep-Alive
  293. raw, _ := io.ReadAll(resp.Body)
  294. resp.Body.Close()
  295. status := int64(resp.StatusCode)
  296. if status >= http.StatusBadRequest {
  297. return nil, status, fmt.Errorf("挂载目录 %s 失败,外挂程序返回 HTTP %d: %s", mount, status, string(raw))
  298. }
  299. return map[string]interface{}{"status": status, "body": string(raw)}, status, nil
  300. }); callErr != nil {
  301. return callErr
  302. }
  303. l.Infof("fuse mount ok: %s -> %s", mount, mount+"-cipher")
  304. }
  305. return nil
  306. }