# 转写永久卡死故障报告

- 日期：2026-10-08
- 报告人：DSH
- 现象提出人：主人（"我在 10.6 上传了一个录音，选择立即上传并转写，但到今天转写成果还是没有出来"）
- 影响：**用户可见**——录音上传成功、App 显示"转写中"，但转写永远不会出来

---

## 一、现象与定位

服务器上卡住的任务（`processing_task.state NOT IN ('COMPLETED','CANCELLED','FAILED_MANUAL_ACTION')`）：

| 任务 | 状态 | 创建时间 | 卡了多久 | 音频 |
|---|---|---|---|---|
| `334375cc-0f0e-4f4b-a751-3063ec2c0f3c` | `RETRY_WAIT`（HTTP_429） | 2026-10-06 23:13:56 | **约 1 天 15 小时** | `UPLOADED` ✅ |
| `f769dba9-93c4-4652-a425-22134f20fae5` | `QUEUED`（attempt_count=0） | 2026-10-06 23:13:59 | **约 1 天 15 小时** | `UPLOADED` ✅ |

两条音频**都已成功上传**（`audio_segment.upload_state = VERIFIED`），只是转写从未被触发。
第二条 `attempt_count = 0` 说明它**一次都没被尝试过**——不是失败，是没人来拿。

---

## 二、根因（已用证据链锁定）

### 2.1 设计意图

`server/src/app/asr/instant.py` 开头写明：

> 设计：单例后台线程 + 排空循环……复用 `gpu/scheduler.process_mimo_queue`（含租约、重试退避、日预算守卫）
> **"绝不影响上传响应：任何异常都吞掉只记日志；定时器仍作为兜底（失败重试/漏网）"**

即：**上传时**由 `vmc-api` 进程内的"即录即转"worker 立刻转写；**兜底**由每分钟的
`vmc-gpu-scheduler.timer` 排空队列（负责 429 重试与漏网任务）。

### 2.2 兜底这一环实际是坏的

`vmc-gpu-scheduler.timer` 确实活着（每分钟执行、`gpu_state.json` 每分钟被更新）。
但 `run_scheduler_once()` 走哪条分支，取决于 `gpu_lifecycle_bypassed(asr_backend)`：

```python
# gpu/orchestrator.py:25
def gpu_lifecycle_bypassed(asr_backend: str | None) -> bool:
    return (asr_backend or "").strip().lower() == MIMO_BACKEND
```

```python
# gpu/scheduler.py:282
if gpu_lifecycle_bypassed(asr_backend):
    processed = process_mimo_queue(session, settings, log=log)   # ← 兜底排空在这里
    ...
# 否则走 GPU 编排分支（SimulatedProvider / AutoDL），完全不碰 MiMo 队列
```

实测两个进程看到的环境：

| 进程 | `ASR_BACKEND` | `gpu_lifecycle_bypassed` | 是否排空 MiMo 队列 |
|---|---|---|---|
| `vmc-api` | `mimo` ✅ | — | 是（上传时触发） |
| `vmc-gpu-scheduler` | **`gpu`** ❌ | **False** | **否** ❌ |

原因：`/etc/systemd/system/vmc-gpu-scheduler.service` 里**既没有 `Environment=ASR_BACKEND=mimo`，
也没有 `EnvironmentFile=` 指向 `deploy/.env`**；而 `vmc-api` 有。
于是定时器拿到的 `asr_backend` 是默认值 `gpu`，永远走 GPU 分支。

**结论：`instant.py` 注释里承诺的"定时器兜底"实际上不存在。**
任何一次 429（限流）失败、或没赶上即录即转的任务，都会**永久卡死**，
直到用户再录一条新录音、恰好触发 `vmc-api` 进程内的 worker 顺带排空。

### 2.3 旁证

10-06 我在做端到端验收时观察到同样现象：任务 `937a3644` 在 `RETRY_WAIT(HTTP_429)`
卡了 **4 小时 33 分**，直到我那次上传触发即录即转才被排空。
当时我误判为"`main()` 从不调用 `process_mimo_queue`"——那只读了 `main()`，
没读 `run_scheduler_once()`。**本次更正**：代码路径是对的，**坏的是定时器的环境变量**。

---

## 三、已做的处置（本次）

用与 `vmc-api` 相同的环境（`ASR_BACKEND=mimo`）手动排空一次队列：

```bash
DBURL=$(sudo systemctl show vmc-api -p Environment | tr ' ' '\n' | grep '^DATABASE_URL=' | cut -d= -f2-)
sudo -u ubuntu bash -c '
  set -a; . /opt/voice-memory-card/server/deploy/.env; set +a
  export DATABASE_URL="'"$DBURL"'"
  export PYTHONPATH=/opt/voice-memory-card/server/src
  cd /opt/voice-memory-card/server/src
  /opt/voice-memory-card/server/venv/bin/python /tmp/drain.py'
```

输出：

```text
asr_backend = 'mimo'
  mimo-asr: task 334375cc-0f0e-4f4b-a751-3063ec2c0f3c done sentences=99 billed=288.0s cost=4.0cents
  mimo-asr: task f769dba9-93c4-4652-a425-22134f20fae5 done sentences=9  billed=23.0s  cost=0.3194cents
本轮完成转写任务数 = 2
```

复核结果：

| 任务 | 状态 | 转写版本 | 句子数 |
|---|---|---|---|
| `334375cc` | **COMPLETED**（14:03:22） | 1 | **99** |
| `f769dba9` | **COMPLETED**（14:03:30） | 1 | **9** |

**服务器上卡住任务数：0。**

> 遗留小瑕疵：`334375cc` 的 `error_code` 仍留着 `HTTP_429`（成功后被清了 state 但没清 error_code），
> 不影响使用，属数据卫生问题。

---

## 四、永久修复方案（**待主人批准**）

### 方案 1：给定时器补上环境变量（最小改动）

```diff
--- a/etc/systemd/system/vmc-gpu-scheduler.service
+++ b/etc/systemd/system/vmc-gpu-scheduler.service
@@
 Environment=PYTHONPATH=/opt/voice-memory-card/server/src
+EnvironmentFile=/opt/voice-memory-card/server/deploy/.env
+Environment=ASR_BACKEND=mimo
```

然后 `systemctl daemon-reload`。改完定时器每分钟会真正排空 MiMo 队列，429 自动退避重试。

### ⚠️ 但方案 1 单独上会放大另一个已知 bug

`transcribe_task()` **没有原子认领**（`server/src/app/asr/service.py:145`），
而 `vmc-api` 是 `--workers 2` + 每进程一个即录即转 worker。现在再加一个每分钟的定时器排空，
三方同时抢同一任务的概率显著上升 → **重复转写 / 重复计费**。

10-06 已经实测到两次：`0075c360`（2 条账单、2 份转写）、`5b4e97b4`（2 条账单 126s = 2×63s、2 份转写）。

**所以正确顺序是：先修原子认领，再开定时器。**

### 方案 2（推荐组合）

1. `transcribe_task()` 开头加原子认领：

   ```sql
   UPDATE processing_task
      SET state = 'LEASED', leased_by = :worker, lease_token = :tok, lease_expires_at = :exp
    WHERE id = :id AND state IN ('QUEUED','RETRY_WAIT')
   ```

   拿不到行（`rowcount = 0`）就跳过——这才是 `_claimable_filter` 里 `lease_expires_at`
   那套字段设计的本意，目前只是**查了却没用**。

2. 再给 `vmc-gpu-scheduler.service` 补 `EnvironmentFile` + `ASR_BACKEND=mimo`。

### 方案 3（顺带建议）

`vmc-gpu-scheduler.service` 把 **PostgreSQL 密码和 AutoDL Token 明文**写在 unit 里，
`systemctl cat` 任何用户都能读到。建议改用 `EnvironmentFile` + `chmod 600`。

---

## 五、怎么复现 / 怎么验证修好了

**复现**：让一条任务进入 `RETRY_WAIT`（例如触发 429），观察 `updated_at` 是否还停在失败时刻——
现在会一直不动。

**验证修好**：补上环境变量后，手动把一条任务置为 `RETRY_WAIT` 并设 `lease_expires_at` 为过去，
等 1 分钟，任务应自动变 `COMPLETED`。

---

## 六、证据文件

| 文件 | 内容 |
|---|---|
| `backups/server-conversations-2026-10-08/对话备份.md` | 250 会话 / 6177 句，含本次救回的 99 句与 9 句 |
| `backups/server-conversations-2026-10-08/exp_processing_task.jsonl` | 246 条任务原始数据（可复核两条任务的终态） |
| `backups/server-conversations-2026-10-08/exp_utterance.jsonl` | 6177 句原始数据 |
| `docs/reports/phase-11-16-report.md` | 0.11.16 整体验收报告 |
