[开源] CNEquity:自托管 A 股 Parquet 数据湖(日更 / PIT / 防幸存者偏差 / MCP)

9 月 14 日
 CharleszZZ

做回测/研究时最烦的不是「拉一次数」,而是口径长期一致:复权、退市股、历史成分、PIT ,每个脚本自己拼很快就分叉。

开源了 CNEquity:把多源 A 股数据落到本地 Parquet 湖,可日更、可复查、行级溯源。不给交易信号,只做数据底座。

和常见工具的分工大概是:

几个点:

30 秒:

pip install cnequity

cne demo

仓库: https://github.com/rootSunc/CNEquity 文档: https://rootsunc.github.io/CNEquity/

个人维护,Apache-2.0 。代码开源。

欢迎试用、提 issue 。如果帮你省了搭底座的时间,顺手点个 star 也行。 有在用 AkShare 现场拉数做多年回测的,也想听听你们最痛的是哪一块。

3379 次点击
所在节点    Python
8 条回复
Tathagatagarbha
9 月 15 日
支持一下,老铁怎么没别的帖子啊
iorilu
9 月 15 日
可以阿

star 了

现在 ai 时代真要搞自动化炒股了

你这数据是什么级别的, 只有日线还是分钟线也有
数据来源是哪里
CharleszZZ
9 月 15 日
@iorilu 日线、5 分钟线、1 分钟线、ticks 都有。

数据源用的基本都是公开免注册的,但是加了数据多源校验比对,还拉平了各个数据源间的不一致。
主要数据源:通达信协议、东方财富、新浪、巨潮、同花顺、交易所官网等。

谢谢支持😂
CharleszZZ
9 月 15 日
@Tathagatagarbha 谢谢支持!
yitulsj
9 月 21 日
支持
CharleszZZ
9 月 22 日
@yitulsj 感谢支持。

现在还支持了同花顺官方数据接口 Financial-API ,数据质量和丰富度更好了。
iorilu
9 月 23 日
前阵子有个老哥发了个 easytdx

好像质量还不错

等我真想用, 老哥突然消失了, 库也删了, 奇怪的是 fork 也查不到

看来事不小, 难道通达信找上来了
CharleszZZ
9 月 24 日
@iorilu 不会找上来的,我觉得是 tdx 官方的默认行为,现在从 tdx 取数的方式基本上都是从之前泄漏协议的解析。

我之前也用过一些对 tdx 协议的包装项目,各有各的问题,所以我在 CNEquity 中直接重做了对协议源头的解码。
包括但不限于下面这些:

- 严格的数据校验,区分证券类型的价格标度,去除未知前缀
- 修复分笔解析器的缺陷
- 抓取策略上设置单页上限,验证过的数据不会因为错误被整段丢弃
- 强化取数效率,默认探测 16 台主机,8 路并行,同时设置限速尽量保证 IP 的安全( tdx 也基本不封 ip ,非常友好)

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1241944

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX