createservicelogic.go 12 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303
  1. // udeServer: CreateService 走事务 —— 同一事务内插 t_service + N 条 t_directory,
  2. // 任意一条 INSERT 失败,全部回滚,不留脏数据。
  3. package logic
  4. import (
  5. "bytes"
  6. "context"
  7. "encoding/json"
  8. "fmt"
  9. "io"
  10. "net/http"
  11. "path"
  12. "strings"
  13. "time"
  14. "udeServer/internal/audit"
  15. "udeServer/internal/model"
  16. "udeServer/internal/svc"
  17. "udeServer/internal/types"
  18. "github.com/zeromicro/go-zero/core/logx"
  19. "github.com/zeromicro/go-zero/core/stores/sqlx"
  20. )
  21. type CreateServiceLogic struct {
  22. logx.Logger
  23. ctx context.Context
  24. svcCtx *svc.ServiceContext
  25. }
  26. func NewCreateServiceLogic(ctx context.Context, svcCtx *svc.ServiceContext) *CreateServiceLogic {
  27. return &CreateServiceLogic{
  28. Logger: logx.WithContext(ctx),
  29. ctx: ctx,
  30. svcCtx: svcCtx,
  31. }
  32. }
  33. func (l *CreateServiceLogic) CreateService(req *types.CreateServiceReq) (*types.ServiceResp, error) {
  34. var svcId int64
  35. var dirList []string // 落库成功的保护目录(trim 后非空),事务提交后用于通知外挂程序挂载
  36. err := l.svcCtx.DB.Transact(func(session sqlx.Session) error {
  37. // 把 model 绑到事务 session 上,后续所有写操作都走同一个连接/事务
  38. svcModel := l.svcCtx.ServiceModel.WithSession(session)
  39. dirModel := l.svcCtx.DirectoryModel.WithSession(session)
  40. // 1. 插服务
  41. svcData := &model.TService{
  42. Name: nullString(req.Name),
  43. Ip: nullString(req.Ip),
  44. Port: req.Port, // 端口 int 类型,int64 直传(0=未配置)
  45. Iden: nullString(req.Iden),
  46. KeyIden: nullString(req.KeyIden),
  47. KeyAlgo: nullString(req.KeyAlgo),
  48. Status: nullString(req.Status),
  49. MountStatus: nullString("unmounted"), // 挂载状态初始值:未挂载(表列 NOT NULL,必须显式传值,否则 NULL 会报错)
  50. Brush: req.Brush, // 一键刷库配置原样落库(0=否默认,1=创建后自动下发刷库)
  51. }
  52. svcRes, err := svcModel.Insert(l.ctx, svcData)
  53. if err != nil {
  54. return fmt.Errorf("insert t_service: %w", err)
  55. }
  56. svcId, err = svcRes.LastInsertId()
  57. if err != nil {
  58. return fmt.Errorf("get last insert id: %w", err)
  59. }
  60. // 2. 插保护目录(与上面的服务同事务,任一条失败整体回滚)
  61. for _, dir := range req.Directories {
  62. path := strings.TrimSpace(dir)
  63. if path == "" {
  64. continue
  65. }
  66. dirList = append(dirList, path)
  67. _, err := dirModel.Insert(l.ctx, &model.TDirectory{
  68. ServiceId: nullInt64(svcId),
  69. Directory: nullString(path),
  70. })
  71. if err != nil {
  72. return fmt.Errorf("insert t_directory[%s]: %w", path, err)
  73. }
  74. }
  75. return nil
  76. })
  77. if err != nil {
  78. l.Errorf("create service tx failed: %v", err)
  79. return nil, err
  80. }
  81. // 事务提交后再回查完整实体(CreateAt 由 DB 默认值生成)
  82. created, err := findService(l.ctx, l.svcCtx.ServiceModel, svcId)
  83. if err != nil {
  84. return nil, err
  85. }
  86. // 3. 落库成功后,通知外挂程序(req.Ip:req.Port)执行 fuse 挂载。
  87. // 挂载失败不阻塞服务创建:响应体带 mountWarning,前端弹黄色警告而非红色错误。
  88. resp := toServiceResp(created)
  89. // 4. 一键刷库(brush=1):挂载【之前】先下发。
  90. // 刷库语义 = 外挂把保护目录存量明文加密进 <目录>-cipher 并清空原明文,
  91. // 目录变空后才能通过外挂的空目录挂载校验(先刷后挂的编排顺序)。
  92. // 刷库失败软处理:聚合进警告后继续走挂载(空目录场景挂载不受影响)。
  93. var warnings []string
  94. if req.Brush == 1 {
  95. if err := l.notifyFuseBrush(created, dirList); err != nil {
  96. l.Errorf("service created(id=%d), but brush dispatch failed: %v", svcId, err)
  97. warnings = append(warnings, fmt.Sprintf("一键刷库: %v", err))
  98. }
  99. }
  100. // 5. 挂载结果落库 + 响应回显:
  101. // 成功 → mount_status=mounted;失败 → mount_status=failed(同时带 mountWarning 黄条)。
  102. // 状态落库失败只记日志,不影响主流程(服务创建本身已成功)。
  103. // 注:「没配置保护目录」目前也走 failed 分支,语义细分留给后续迭代。
  104. if err := l.notifyFuseMount(created, dirList); err != nil {
  105. l.Errorf("service created(id=%d), but fuse mount notify failed: %v", svcId, err)
  106. warnings = append(warnings, fmt.Sprintf("服务已创建,但通知外挂程序挂载失败: %v", err))
  107. resp.MountStatus = "failed"
  108. if uerr := l.svcCtx.ServiceModel.UpdateMountStatus(l.ctx, svcId, "failed"); uerr != nil {
  109. l.Errorf("update mount_status=failed failed(id=%d): %v", svcId, uerr)
  110. }
  111. } else {
  112. resp.MountStatus = "mounted"
  113. if uerr := l.svcCtx.ServiceModel.UpdateMountStatus(l.ctx, svcId, "mounted"); uerr != nil {
  114. l.Errorf("update mount_status=mounted failed(id=%d): %v", svcId, uerr)
  115. }
  116. }
  117. if len(warnings) > 0 {
  118. // strings.Join 把刷库/挂载的失败信息拼成一条,分号分隔,前端一条黄条展示
  119. resp.MountWarning = strings.Join(warnings, "; ")
  120. }
  121. return resp, nil
  122. }
  123. // notifyFuseBrush 下发一键刷库到外挂程序(svc.Ip:svc.Port)的 /api/migrate 接口。
  124. // 刷库语义:外挂读取保护目录存量明文 → 按服务密钥加密写入 <保护目录>-cipher
  125. // → 校验通过后清空保护目录原明文(数据已转移到密文目录,磁盘上只留密文一份),
  126. // 完成加密语义闭环,同时为挂载的空目录校验扫清障碍。
  127. // 调用时机:创建流程中、挂载之前(先刷后挂编排,见 CreateService 第4步)。
  128. // 实际下发逻辑抽成包级 dispatchFuseBrush,与手动补刷(BrushServiceLogic)共用。
  129. func (l *CreateServiceLogic) notifyFuseBrush(svc *model.TService, dirs []string) error {
  130. return dispatchFuseBrush(l.ctx, l.svcCtx, svc, dirs)
  131. }
  132. // doFuseRequest 发送发往外挂程序的 HTTP 请求,统一携带逐服务的 X-TOKEN 鉴权头。
  133. // X-TOKEN 的值 = 服务表 t_service 的 iden(接入标识)字段;外挂程序拿它与
  134. // 自己环境变量 TOKEN 配的值恒定时间比对(见 FuseDemo 的 NewAuthInterceptor),
  135. // 因此每台外挂机的 TOKEN 要配成"接在该机上的服务"的 iden 值。
  136. // client 按场景传:挂载/卸载/目录浏览用 fuseMountClient(10s),刷库用 fuseBrushClient(10min)。
  137. // 之所以不用 client.Post/client.Get 快捷方式:它们构造的请求没法逐个加 Header,
  138. // 必须先 http.NewRequest 再 client.Do。
  139. func doFuseRequest(client *http.Client, iden, method, url string, body io.Reader, contentType string) (*http.Response, error) {
  140. req, err := http.NewRequest(method, url, body)
  141. if err != nil {
  142. return nil, err
  143. }
  144. if contentType != "" {
  145. req.Header.Set("Content-Type", contentType)
  146. }
  147. req.Header.Set("X-TOKEN", iden)
  148. return client.Do(req)
  149. }
  150. // fuseBrushClient 刷库专用HTTP客户端:刷库是重操作(全量加密可能数分钟),
  151. // 不能复用挂载的10s短超时,单独放宽到10分钟。
  152. var fuseBrushClient = &http.Client{Timeout: 10 * time.Minute}
  153. // dispatchFuseBrush 下发刷库到外挂(包级函数,创建流程与手动补刷共用同一实现)。
  154. // 逐保护目录调用 POST /api/migrate,请求体:
  155. //
  156. // { "backing": "<目录>-cipher", "mount": ["<目录>"], "overwrite": true, "ikey": "<密钥内容>" }
  157. //
  158. // ikey 取自 t_key.content(按服务 keyIden 查询),与挂载下发同源,保证刷库密钥=挂载密钥。
  159. // 外挂约定:部分文件失败也返回 HTTP 200,成败靠响应体的 failed 计数判断。
  160. // 注:创建流程的自动刷库无需挂载中校验——创建时序是先刷后挂,刷库时必然未挂载;
  161. // 手动补刷的挂载中拦截由调用方 BrushServiceLogic 负责。
  162. func dispatchFuseBrush(ctx context.Context, svcCtx *svc.ServiceContext, svc *model.TService, dirs []string) error {
  163. if len(dirs) == 0 {
  164. return fmt.Errorf("没配保护目录,无库可刷")
  165. }
  166. ip, port := svc.Ip.String, svc.Port // port 是 int64
  167. if ip == "" || port == 0 {
  168. return fmt.Errorf("外挂服务 IP/端口为空,无法下发刷库")
  169. }
  170. keyIden := svc.KeyIden.String
  171. if keyIden == "" {
  172. return fmt.Errorf("服务未配置密钥标识(keyIden),无法下发刷库")
  173. }
  174. key, err := svcCtx.KeyModel.FindOneByIden(ctx, keyIden)
  175. if err != nil {
  176. return fmt.Errorf("查询密钥(%s)失败: %w", keyIden, err)
  177. }
  178. ikey := key.Content.String
  179. if ikey == "" {
  180. return fmt.Errorf("密钥(%s)内容为空,无法下发刷库", keyIden)
  181. }
  182. baseURL := fmt.Sprintf("http://%s:%d/api/migrate", ip, port)
  183. for _, dir := range dirs {
  184. dirLinuxPath := path.Clean(dir)
  185. payload := map[string]interface{}{
  186. "backing": dirLinuxPath + "-cipher", // 密文输出目录
  187. "mount": []string{dirLinuxPath}, // 明文源目录(接口定义是数组,单目录传单元素)
  188. "overwrite": true, // 补刷时目标已存在则覆盖,保证刷库可重复执行
  189. "ikey": ikey,
  190. }
  191. body, err := json.Marshal(payload)
  192. if err != nil {
  193. return fmt.Errorf("序列化刷库请求失败: %w", err)
  194. }
  195. resp, err := doFuseRequest(fuseBrushClient, svc.Iden.String, http.MethodPost, baseURL, bytes.NewReader(body), "application/json")
  196. if err != nil {
  197. return fmt.Errorf("请求 %s 失败(外挂程序未启动?): %w", baseURL, err)
  198. }
  199. // 先把响应体整体读出再Close,保证Keep-Alive连接可复用
  200. respBody, _ := io.ReadAll(io.LimitReader(resp.Body, 4<<20))
  201. resp.Body.Close()
  202. if resp.StatusCode >= http.StatusBadRequest {
  203. return fmt.Errorf("刷库目录 %s 失败,外挂程序返回 HTTP %d: %s", dir, resp.StatusCode, string(respBody))
  204. }
  205. var result struct { // 匿名结构体:只用一次的临时JSON模型,不必单独定义类型
  206. Total int `json:"total"`
  207. Failed int `json:"failed"`
  208. }
  209. if err := json.Unmarshal(respBody, &result); err != nil {
  210. return fmt.Errorf("解析刷库响应失败(目录 %s): %w", dir, err)
  211. }
  212. if result.Failed > 0 {
  213. return fmt.Errorf("刷库目录 %s: %d/%d 个文件失败", dir, result.Failed, result.Total)
  214. }
  215. }
  216. return nil
  217. }
  218. // fuseMountClient 复用的 HTTP 客户端,10s 超时防止外挂程序无响应拖死创建接口。
  219. var fuseMountClient = &http.Client{Timeout: 10 * time.Second}
  220. // notifyFuseMount 落库成功后回调外挂程序(svc.Ip:svc.Port)的 /api/fuseMount 接口,
  221. // 由外挂程序对保护目录执行 fuse 挂载。一个目录一次调用,请求体:
  222. //
  223. // POST http://{ip}:{port}/api/fuseMount
  224. // { "backing": "<保护目录>-cipher", "mount": "<保护目录>", "ikey": "<密钥内容>" }
  225. //
  226. // ikey 取自 t_key.content(按服务配置的密钥标识 keyIden 查询)。
  227. func (l *CreateServiceLogic) notifyFuseMount(svc *model.TService, dirs []string) error {
  228. ip, port := svc.Ip.String, svc.Port // port 已是 int64
  229. if ip == "" || port == 0 {
  230. return fmt.Errorf("外挂服务 IP/端口为空,无法下发挂载")
  231. }
  232. if len(dirs) == 0 {
  233. return fmt.Errorf("没有配置保护目录,无需通知挂载")
  234. }
  235. // 密钥内容:按服务配置的密钥标识(keyIden)查 t_key
  236. keyIden := svc.KeyIden.String
  237. if keyIden == "" {
  238. return fmt.Errorf("服务未配置密钥标识(keyIden),无法下发挂载")
  239. }
  240. key, err := l.svcCtx.KeyModel.FindOneByIden(l.ctx, keyIden)
  241. if err != nil {
  242. return fmt.Errorf("查询密钥(%s)失败: %w", keyIden, err)
  243. }
  244. ikey := key.Content.String
  245. if ikey == "" {
  246. return fmt.Errorf("密钥(%s)内容为空,无法下发挂载", keyIden)
  247. }
  248. baseURL := fmt.Sprintf("http://%s:%d/api/fuseMount", ip, port) // %d:port 是 int64,数字占位符
  249. for _, mount := range dirs {
  250. dirLinuxPath := path.Clean(mount)
  251. cipherDir := dirLinuxPath + "-cipher"
  252. payload := map[string]interface{}{
  253. "backing": cipherDir, // 密文存储目录
  254. "mount": dirLinuxPath, // 挂载点
  255. "ikey": ikey,
  256. }
  257. body, err := json.Marshal(payload)
  258. if err != nil {
  259. return fmt.Errorf("序列化挂载请求失败: %w", err)
  260. }
  261. // 发起 POST(DoSimple 记录 type=2 接口日志,父 Span 指向本次入站请求)
  262. if _, callErr := audit.DoSimple(l.svcCtx.SpanRecorder, l.ctx, "FuseMount", baseURL, body,
  263. func() (map[string]interface{}, int64, error) {
  264. resp, rerr := fuseMountClient.Post(baseURL, "application/json", bytes.NewReader(body))
  265. if rerr != nil {
  266. return nil, 0, fmt.Errorf("请求 %s 失败(外挂程序未启动?): %w", baseURL, rerr)
  267. }
  268. // 读到 EOF 保证底层 TCP 连接池可以复用 Keep-Alive
  269. raw, _ := io.ReadAll(resp.Body)
  270. resp.Body.Close()
  271. status := int64(resp.StatusCode)
  272. if status >= http.StatusBadRequest {
  273. return nil, status, fmt.Errorf("挂载目录 %s 失败,外挂程序返回 HTTP %d: %s", mount, status, string(raw))
  274. }
  275. return map[string]interface{}{"status": status, "body": string(raw)}, status, nil
  276. }); callErr != nil {
  277. return callErr
  278. }
  279. l.Infof("fuse mount ok: %s -> %s", mount, mount+"-cipher")
  280. }
  281. return nil
  282. }