最近做了个 Hyperliquid 数据分析站,聊聊数据开发里踩的坑

7 月 21 日
 FengNianIndie

大家好,最近在搞一个 Hyperliquid 链上交易数据分析站,聊聊为什么做这个东西,以及开发过程里踩过的一些坑。

做这个东西的初衷是因为我自己也在做交易,但是之前交过一些学费(亏损),目前能保持小的稳定盈利,想要提高方向性判断,所以做了这个工具。欢迎各位大佬体验和提意见!

为什么选 Hyperliquid

Hyperliquid 目前在永续合约 DEX 里面算是头部的,日交易量经常有几十亿美元,上面也有不少大户和机构用户在交易。

而且官方有 API ,交易数据也比较透明。刚开始我觉得,既然数据都能拿到,那做个统计分析站应该不会太难。

实际做下来发现,数据“能拿到”和“能低成本地整理出来”,完全是两回事。

Hyperliquid 上涉及的钱包地址有两百多万个。如果把所有地址的历史成交都拉下来,数据量预估会到 TB 级,存储和计算成本都不低。

更麻烦的是,里面很多地址早就不活跃了。花钱把这些数据全部存下来,实际意义也不大。

所以我就不做全量地址,而是先找出相对有分析价值的地址,比如高盈利、高资金量、最近比较活跃的用户,然后重点采集这些人的成交数据,做排行榜和交易者画像。

我想解决的问题就是:

在 Hyperliquid 上,怎么找到一些相对靠谱、高盈亏比,值得长期观察的交易者?

官方现在主要是原始数据和一个比较基础的排行榜。第三方工具也有一些,但有的评级规则不透明,有的历史数据不太完整。 如下图官方只有 PNL:

而且如果只是按照 PnL 排序,问题其实挺明显的。

有些人可能就是重仓赌对了一次,赚得很多,但不代表他长期有稳定的交易能力,有一些是马丁策略画像,是大户有很大的资金支撑,没有可跟性;但是有些人的收益没那么夸张,但回撤小、交易时间长、风格也比较稳定,想把这些用户识别筛选出来。

所以我不太想再做一个简单的 PnL 榜,而是想尽量区分:

数据这块是目前最麻烦的,主要踩了几个坑

第一个坑是,全量历史成交没办法直接靠 WebSocket 拿

Hyperliquid 的 WebSocket 更适合订阅单个钱包的实时数据。如果有几万个地址,一个个订阅显然不太现实,更别说靠它还原完整历史数据了。

最后历史数据回填走的是官方 S3 归档里的 node_fills。先批量把历史成交导进来,再按地址整理。

实时增量则是另一套逻辑。筛选出来的重点地址,通过 WebSocket 持续订阅。这样历史数据从 S3 回填,后面的新成交再通过 WebSocket 补上。

第二个坑是,fills 的数据增长速度比我预想的快

现在存储用的是 TimescaleDB ,主要靠时序分区、列压缩和滚动保留策略来控制成本。原始成交、聚合数据和评分结果也会分开存,不然每次查排行榜或者用户画像都去扫原始 fills ,查询压力会非常大。

在这些数据的基础上,每天会跑一次筛选和评分,过滤出一批交易风格发生飘逸的用户。

除了 PnL ,还会看最大回撤、交易时长、样本数量、持仓一致性和资金变化等指标。

最终想筛出的是一批盈利不错、交易时间够长、样本也比较充足,而且风格相对稳定的用户。

此外我认为最有价值,对我帮助很大的是一组筛选过后的用户,对他们实时持仓的共性分析,一个用户可能会判断失误,但是一组用户提升方向性判断的正确性。

还在加的功能补充

  1. AI 分析能力,加上提示词,归纳总结交易行为,做出评价
  2. 历史交易回测,加上滑点
  3. 模拟跟单组合,跑一下收益曲线

项目地址: https://app.hyperinteldata.com/zh/home

1546 次点击
所在节点    程序员
5 条回复
haole2022
7 月 22 日
有些复杂,社区已经有很强的竞品叫 hyperdash ,比你的强大还免费

大部分人平时查查行情 + track 几个 wallet 足够

最近一直在用 https://hyperindex.org/
FengNianIndie
7 月 22 日
相关竞品我用了,但是主要是提供交易为主,数据分析能力还是偏弱
FengNianIndie
7 月 22 日
@haole2022 相关竞品我用了,但是主要是提供交易为主,数据分析能力还是偏弱
smallos
7 月 22 日
现在数据量大概是什么级别的?
FengNianIndie
7 月 22 日
@smallos 几十 G

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1228925

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX