{"full_name":"rootSunc/CNEquity","owner":"rootSunc","name":"CNEquity","shard":"1","url":"https://github.com/rootSunc/CNEquity","description":"开源中国股市（A股）本地数据湖：沪深股票行情、A股股票数据与金融数据，面向量化研究、量化交易与回测，含财务数据、期货数据、资金流向、公告、指数行业与宏观。86个日更数据集，复权与历史成分内置，行级溯源、PIT，MCP原生。免注册、免 Token，自托管。Open-source China stock market data lake for quant research, backtesting and AI agents.","homepage":"https://rootsunc.github.io/CNEquity/","topics":["mcp","financial-data","market-data","python","quantitative-finance","stock-market","tushare","a-shares","china-stock-market","akshare","backtesting","a-share","a-stock","data-lake","parquet"],"tag_pages":["a-stock","backtesting","market-data","mcp","parquet","python","quantitative-finance","stock-market"],"language":"Python","license":"Apache-2.0","avatar":"https://avatars.githubusercontent.com/u/53606355?v=4","created_at":"2026-06-28T14:21:03Z","pushed_at":"2026-11-13T21:03:53Z","metrics":{"stars":1038,"forks":116,"watchers":7,"issues":25,"prs":30,"releases":30,"issues_open":2,"issues_closed":23,"prs_open":3,"prs_closed":16,"prs_merged":11,"discussions":7},"growth":{"day":{"stars":6,"forks":1,"base_day":"2026-11-15"}},"history":{"dates":["2026-11-10","2026-11-11","2026-11-12","2026-11-13","2026-11-14","2026-11-15","2026-11-16"],"stars":[990,1016,1017,1019,1028,1032,1038],"forks":[109,112,114,114,114,115,116],"watchers":[null,7,7,7,7,7,7],"issues_open":[null,1,1,1,1,2,2],"prs_open":[null,2,2,2,2,3,3]},"boards":{},"same_owner":[],"issues":[{"number":62,"title":"[feat] 使用问题","comments":0,"created_at":"2026-11-15T08:13:44Z"},{"number":61,"title":"[feat] 希望能添加qmt数据源","comments":0,"created_at":"2026-11-14T04:10:05Z"}],"discussions":[{"number":55,"title":"能否使用 syncthing  共享数据","comments":1,"category":"Ideas","created_at":"2026-11-01T01:06:36Z"},{"number":53,"title":"👋 欢迎来到 CNEquity · 先看这里 / Start here","comments":0,"category":"Announcements","created_at":"2026-10-17T21:42:20Z"},{"number":50,"title":"derive 中的 PermissionError: [WinError 5] 拒绝访问","comments":1,"category":"Q&A","created_at":"2026-10-06T03:26:22Z"},{"number":46,"title":"初始化结果 warning怎么进行下一步","comments":3,"category":"Q&A","created_at":"2026-10-01T03:31:29Z"},{"number":45,"title":"初始化结果 warning怎么进行下一步","comments":2,"category":"Q&A","created_at":"2026-10-01T02:53:13Z"},{"number":44,"title":"有没有沟通交流群","comments":1,"category":"General","created_at":"2026-10-01T02:23:40Z"},{"number":39,"title":"感谢作者","comments":1,"category":"General","created_at":"2026-09-19T14:57:53Z"}],"latest_release":{"name":"0.24.0 · 最低要求升到 Python 3.11 与 DuckDB 2.0，新增实验性的湖目录","tag":"v0.24.0","published_at":"2026-11-13T21:15:39Z","body":"**最低要求升到 Python 3.11 与 DuckDB 2.0，新增实验性的湖目录**\n\nCNEquity 0.24.0 已发布至 [PyPI](https://pypi.org/project/cnequity/0.24.0/)。开源 A 股本地数据湖，用于量化研究、回测与 AI Agent。\n\n```bash\npython -m pip install --upgrade cnequity==0.24.0\n```\n\n- **升级步骤：** 先确认环境是 Python 3.11 或更高，再 `pip install -U cnequity`，然后重启 `cne serve` 和已在运行的 `cne mcp`。数据集的列、主键和分区都没有变，本版没有迁移要跑。`extends = \"builtin\"` 的配置不用改；完整展开的旧配置运行 `cne config upgrade` 改写改过名的键，并手动把 `name_history` 从 core 组里去掉，否则日更仍会读 Tushare。升级后第一次日更会把 `option_greeks` 和 `minute_bars_15m/30m/60m` 的全部历史重算一遍，之后只重算内容变了的交易日。湖目录（`lake/`）是实验性的：不建它，读写与以前完全一样；`[storage].publish = \"catalog\"` 对每个数据集单向生效，打开前先做快照，暂不建议用在不能重建的湖上。\n- 发布进湖目录的一次运行现在只产生一个快照，并且这个快照本身就能按文件直接读取：替换某个分区时，持有这些行的数据文件整体换掉，文件里不属于该分区的行原样重写，不再留下删除记录等事后合并。此前一次发布要三个快照（写入、合并删除记录、登记历史），后两步之间中断会丢掉「修订对应哪个快照」的记录，而只存在于湖目录里的修订没有别处可读。修订所在的快照改由 `_revisions` 表中该行自带的快照号给出，与数据同时提交。代价是重抓已有日期时变慢：真实湖克隆上重抓一天分钟线（所在月文件 2,970 万行）4.1 秒，旧写法 1.1 秒，全表内容逐行一致；新增日期的追加不受影响。\n- 新增 `cne storage verify-catalog [--dataset 名称]`：发布进湖目录的每个修订现在随数据记下所改分区的行内容摘要（行数加逐行哈希的异或与求和，与文件布局和行顺序无关），这个命令在修订自己的快照上重算并比对，有不一致时退出 1。此前回执里的 SHA-256 只对应运行暂存的文件，湖目录入库时会重排重写，核对不了实际存储的内容。摘要用 DuckDB 的行哈希，换了 DuckDB 主次版本后记下的摘要报告为 `other_algorithm`，不判为不一致；快照已过期的报告为 `expired`。\n- `cne snapshot create` 复制文件时不再持有湖锁：持锁期间只读取各数据集的状态、指针和回执并列出要复制的文件，放锁后再复制。代目录和原始响应存档写入后不再改动，所以复制到的仍是持锁时看到的内容；复制前后文件的大小或修改时间变了、或文件被清理掉，快照失败并提示重试。此前整个复制过程都持锁，原始存档放在网络盘上时会让日更和事件流等上几个小时。\n- 新增实验性开关 `[storage].publish = \"catalog\"`：压缩步骤从湖目录取出本次要改的分区，合并后在一个目录事务里替换这些分区，同一次运行的数据集同一快照发布，不再写代目录。真实湖克隆上的同一次运行，两种方式发布的 8 个数据集逐行一致。默认仍为 `\"generation\"`。开启后湖在 `meta/storage.json` 记下这一点，派生和修复此后也从核对过的工作目录发布进目录。\n- 修复北交所涨跌幅越限检查自 11-05 起失效：`daily_bars` 改按月分区后，检查从分区目录名推算市场交易日，结果总是空，单日日更里每一行都被当成「前一交易日不明」而不判断。现在交易日取自交易日历。\n- 新增 `[sources.eastmoney].proxy_hosts`：只让列出的主机（含子域名）走 `proxy`，其余东财主机直连。可以只把 push2 留在代理上，数据中心、公告等直连可达的主机不再因代理停掉而失败。未设时与以前一样，所有东财主机都走代理。\n- 日更不再读 Tushare：`name_history` 移出默认 core 组，`sector_fund_flow` 在 push2 暂停时也不再改从 Tushare 取当日数据。Tushare 只用于按需补全历史（`cne backfill <数据集>`），令牌过期不会再让日更失败；所有以 Tushare 为主来源的数据集都不计入新鲜度。\n- 新增 `cne storage catalog-retention`：湖目录为每个数据集保留最近的修订（`[storage.retention].keep_generations`，默认 5 个）和被 `cne storage hold` 保护的修订，其余快照过期，不再引用的文件等 24 小时后才删除；`cne run maintain` 每天执行。湖目录保存了创建时的绝对数据路径，搬迁、恢复或复制过的湖会去读原湖的文件，现在总是读湖目录自身目录下的文件。\n- `option_greeks` 与 `minute_bars_15m/30m/60m` 判断哪些交易日要重算时，改为比较当天数据的内容摘要，不再比较分区文件和修改时间；只挪动文件、合并文件不会再触发重算。计算规则改用显式版本号，代码重构不再让全部历史重算。升级后第一次运行会重算一遍全部历史（期权希腊值约 50 分钟），之后只重算内容变了的交易日。\n- MCP `query_dataset` 和控制台行查看器的读取预算从「64 MiB Parquet」改为「400 万行」。内存随读取的行数增长，同样的行在湖目录里占的字节可以少 60%，按字节算会放过实际很大的读取。拒绝信息里的大小也改为行数。\n- `load()` 的行顺序现在完全确定：仍按日期和代码排序，并列的行再按主键其余列排序。此前并列行的先后取决于文件和扫描顺序。\n- 新增实验性的湖目录（`lake/`）：`cne storage sync-catalog --create` 把每个数据集的已发布版本复制进一个带快照的目录库，之后每次发布都会把变动的分区同步进目录，`cne run maintain` 每天再核对一遍。建了湖目录的湖，读取在目录与所读版本一致时改从目录取数，否则照旧扫描；`CNE_READ_CATALOG=0` 可关闭。质量检查、派生和日更步骤内部的扫描，以及 `cne query` 与 MCP `run_sql` 背后的 SQL 视图，也一样改读目录里的数据文件。读取结果的行内容不变。\n- **不兼容变更**：最低 Python 版本从 3.10 提高到 3.11，DuckDB 最低版本从 1.5 提高到 2.0。DuckDB 2.0 不再支持 Python 3.10；仍在 3.10 上的环境请先升级 Python 再升级 CNEquity。\n- 修复 `economic_calendar` 日更失败：回补过早年历史后，早年文件没有 `withdrawn` 列，日更读取时报 `SchemaError: extra column ... withdrawn`。现在逐文件读取并按列名对齐，已标记撤回的事件不会被重复标记。\n- 修复公告高峰日回补失败（#59）：`announcement_index` 的某一桶按板块、行业、公告分类拆到底后仍超过巨潮 100 页上限时（如 2026-04-29 深市主板 + 制造业 + 日常经营，共 3024 条），不再报 `slice exceeded 100 pages` 退出，而是以默认翻页结果为底，按代码排序翻页补齐缺的行，凑齐即停；每页都要求总数与原查询一致，合并后仍按巨潮总数精确对账，对不上照样失败。超过两次翻页能读到的条数时直接报错。分区之间的缺口也改用同一逻辑补齐，并且凑齐即停，不再四种排序全部翻完。原始响应存档可重放这类补齐。\n- 公告索引新增按股票分组的最后一级拆分（#59）：排序翻页仍凑不齐，或一桶超过两次翻页能读到的条数时，按巨潮股票目录把当前板块的股票每 40 只分为一组查询，合并后同样按总数精确对账。巨潮在一次传入超过约 50 只股票时会忽略股票条件、返回整桶结果，因此一旦返回组外股票的公告就直接失败。股票目录里没有的股票（如早已退市的公司）会造成短缺，结果仍是失败，不会少数据入库。\n- 修复安全问题：`cne serve` 未设 `--token` 时，只有操作页和存储页检查请求的 Host，数据接口（`/api/datasets`、`/api/read`、`/rows`、运行记录、质量、事件流等）和页面不检查。恶意网页可借 DNS 重绑定把自己的域名指向 127.0.0.1，以同源身份读取湖数据和运行记录。现在未设令牌时，Host 不是 localhost、127.0.0.1 或 ::1 的请求一律返回 403；在本机浏览器打开不受影响，远程访问仍需 `--token`。\n- 网页控制台（`cne serve`）的操作页改版，先给出今天的状况，再给出要做的事：\n  - 「今日」新增任务时间线，按北京时间画出今天或昨天每个任务的起止和结果，标出定时日更、收尾补抓和备份的时间；\n  - 新增近 14 个交易日的日更矩阵：每格是一个调度组在一个","is_prerelease":false},"readme":true,"readme_zh":false,"news":[{"title":"CNEquity Python API实战指南：load()、scan()与DuckDB SQL查询A股数据完整清单","url":"https://blog.csdn.net/gitblog_00460/article/details/169157188","source":"blog.csdn","lang":"zh","date":"2026-10-26"},{"title":"CNEquity快速开始：3条命令获取第一条A股行情数据，从pip install到cne init","url":"https://blog.csdn.net/gitblog_00771/article/details/169064767","source":"blog.csdn","lang":"zh","date":"2026-10-25"}],"stale":false,"snapshot_at":"2026-11-16T09:23:14Z","history_start":"2026-09-06"}