跳转至

从采集到查询

配置采集范围 → 获取数据 → 校验与暂存 → 合并并发布数据版本 → 查询与质量检查

采集与更新

cne init 建立初始数据,cne run daily 更新日更数据并在末尾跑事件流(公告和新闻;也可单独 cne run events)。cne backfill 只对支持历史回填的数据集生效。快照来源无法自动提供过去的完整历史。

暂存与发布

未完成批次保留在 staging,供重试使用。尚未校验封存的批次不能并入发布;已经封存的有效部分可以发布,缺口留在台账里。其他数据集可能已经更新。发布后的数据版本不原地修改,纠错会产生新版本。

控制台

cne serve 查看已发布数据、水位和任务。回环地址上的操作页按白名单发起初始化、日更、补抓、巡检和数据备份;跑批页也可以手动发起会留下 run 记录的命令(日更、调度组、补落后、事件流、回填、重算派生),打开的是同一张预览表单。--read-only 关闭这些写入口。远程取数还要 --allow-remote-ops。MCP 不提供这些操作。步骤见快速开始和运行手册。

查询与检查

Python API 与 SQL 读取已发布数据。需要复权、历史股票池或 PIT 过滤时使用相应查询选项。原始 scan() 不自动执行这些研究过滤。

数据新鲜度、覆盖完整性与口径正确性需要分别检查。发布后的审计可以让运行状态失败,但不会自动撤回已经发布的数据;发布前门禁的配置见配置参考。

失败恢复

先查看运行状态与 findings,再按排障指南选择重试、补数或修复。不要通过删除湖目录或手动修改已发布文件来消除告警。