在 iKuai 爱快软路由上原生运行 OpenWrt 软件包

4 月 19 日
 Nyarime

熬了一个通宵,在爱快软路由 iKuaiOS 系统上实现了 musl 兼容层,使整个 OpenWrt 的软件包生态可以原生运行在爱快上,不需要虚拟机、Docker 装 OpenWrt ,总之也是 https://v2ex.ih06.com/t/1206925 闲鱼插件哥给的灵感,不过 iKuai 的国内用户量是真的很大,稳定性和多 IPv6 线路、流控能力都广受好评,那么好的系统连一个 root 都没有,生态封闭得爱快云上只有一个 Docker 插件,想装个 htop 、tcpdump 都不行。

大概研究了下,iKuai 的 binary 用的是 uClibc ,而新的 OpenWrt 用的是 musl libc ,因此两者不兼容直接跑会报错。得益于 OpenWrt 有 20k+的软件包,我从一开始补 opkg 、chroot openwrt 到最后的 musl 支持,向各位 V 友汇报。

不过爱快都在搞 4.0 了,3.7.x 本身就没在维护了,就当 EOL 前的狂欢吧。


正文

核心发现

Linux 内核支持同时运行多种 libc的程序,每个 ELF 二进制文件在 header 里指定了自己的动态链接器( interpreter ):

uClibc 程序: /lib/ld64-uClibc.so.0
musl 程序:   /lib/ld-musl-x86_64.so.1
glibc 程序:  /lib64/ld-linux-x86-64.so.2

内核根据 ELF header 自动选择对应的 linker 。只要把 musl 的 linker 放到 iKuai 上,musl 程序就能跑。

实现步骤

1. 放置 musl 动态链接器

# 从 OpenWrt rootfs 中获取 musl linker
# ld-musl-x86_64.so.1 实际上就是 musl libc.so 的 symlink
ln -sf /path/to/musl/libc.so /lib/ld-musl-x86_64.so.1

2. 配置库搜索路径

musl 的 linker 使用/etc/ld-musl-x86_64.path(类似 glibc 的ld.so.conf):

echo "/path/to/musl/libs" > /etc/ld-musl-x86_64.path
echo "/path/to/musl/usr/lib" >> /etc/ld-musl-x86_64.path
echo "/usr/lib" >> /etc/ld-musl-x86_64.path

3. 安装 opkg 包管理器

opkg 是 OpenWrt 的包管理器。我们使用了一个glibc 静态编译版本( 680KB ),可以在 iKuai 上原生运行:

opkg update    # 更新 6 个 OpenWrt 仓库
opkg install --force-depends --force-space --force-checksum htop

4. 验证

$ /usr/bin/htop --version
htop 3.3.0

$ /usr/bin/tcpdump --version  
tcpdump version 4.99.4
libpcap version 1.10.4

musl 程序和 uClibc 程序在同一个 iKuai 系统上和平共处!


为什么这样做?

不用 Docker

Docker 在软路由上需要额外资源(内存、存储),而且官方 Docker 插件版本老旧。很多时候你只是想装个小工具,不值得开 Docker 。

不用 chroot

最初我们尝试了 chroot 方案(下载一个 mini OpenWrt rootfs ,chroot 进去用)。可以工作,但:

不用刷 OpenWrt

有些人直接刷 OpenWrt 。但 iKuai 的多 WAN 、流控、行为管理是 OpenWrt 做不到的。

musl 兼容层是最轻量的方案:一个 symlink + 一个 path 文件 = 整个 OpenWrt 生态。


Naixi 项目

我们把这些工作整合成了Naixi——一个 iKuai 增强固件:

Naixi Plugin Manager

插件管理:
  naixi list                 列出所有插件
  naixi install <file|url>   安装插件(tar.gz)
  naixi enable <name>        启用插件
  naixi disable <name>       禁用插件

OpenWrt 兼容层:
  naixi opkg install <包名>  安装 OpenWrt 包(原生运行)
  naixi opkg update          更新包列表
  naixi opkg list            列出可用包
  # https://dl.naixi.net/ikuai-naixi/naixi_latest.sh

已安装组件展示

=== 已安装组件 ===
  ✓ docker v202102031900  [naixi]   运行中
  ✓ lucky v1.1.16         [naixi]   运行中
  ✓ opkg v1.0.0           [naixi]   运行中
  ✓ shell v202306081801   [pmd]     运行中
  · htop 3.3.0-1          [opkg]    已安装
  · tcpdump 4.99.4-1      [opkg]    已安装

云平台控制: Level 2
musl 兼容层: ✓ 已初始化 (12.6M)
opkg 原生环境: ✓ 已初始化 (opkg version 0.7.0)

四种来源的组件统一管理:

重启持久化

iKuai 的 rootfs 在内存中,重启后 opkg 装的包会丢失。Naixi 通过 boot 脚本自动恢复:

# 安装时自动记录
opkg list-installed > /etc/log/naixi/opkg-installed.txt

# 重启时自动恢复
opkg update && cat opkg-installed.txt | awk '{print $1}' | xargs opkg install --force-*

技术细节

iKuai 用的是 uClibc ,不是 glibc

很多人以为 iKuai 基于标准 Linux 发行版( glibc )。实际上 iKuai 使用的是uClibc

$ /lib/ld-musl-x86_64.so.1 --list /usr/sbin/tcpdump
  /lib/ld64-uClibc.so.0 (0x7f4b1e325000)
  libc.so.0 => /lib/ld64-uClibc.so.0

这意味着:

overlay 持久化

iKuai 自带 overlay filesystem 在/usr上:

overlay on /usr type overlay (rw,relatime,lowerdir=/usr,upperdir=/overlay/upper,workdir=/overlay/work)

opkg 安装的文件通过 overlay 写入,但/overlay/upper在 tmpfs 中。Naixi 通过记录+重装方式解决持久化。

可用的 OpenWrt 包

理论上 OpenWrt x86_64 仓库的所有包都能安装。已验证:

包名 版本 状态
htop 3.3.0
tcpdump 4.99.4
opkg 0.7.0
curl - 待测试
python3 - 待测试
luci - 需要 ubus ,受限

下载安装

用户名:sshd ,密码就是你设置的那个远程维护密码,登录后就是 root 权限。

安装 OpenWrt 运行环境

  1. 安装 opkg 插件:naixi install https://dl.naixi.net/ikuai-plugin/opkg.tar.gz

  2. 开始使用:opkg update && opkg install htop

  3. 执行htop可见 ik_rc_client 等爱快进程

  4. 插件可通过 naixi list查询列表及运行状态


安全声明

仅用于探索 iKuai 系统的可扩展性,使用naixi指令前请了解:


关于

11209 次点击
所在节点    OpenWrt
113 条回复
Rinndy
4 月 22 日
推特上推荐经常出现你。。话说你和那个机场有关系吗
Nyarime
4 月 22 日
@Rinndy 并没有关系,我也从来没有开过什么机场,我上外网用的是我 5 年前办的中国电信澳门的电话卡,而且用的是我自己的实名,我不用机场的

至于这篇帖子,只供学习参考吧,听爱快的老师说他们的 CTO 也换人了,也承诺不会再去做格机这种事情,希望大家也能监督就行。至于说他们的 4.0 也做了插件支持,如果能跟 os 研发的老师聊一聊,看看能不能做一些插件适配,提升一下产品的自由度,我觉得都是很不错的事情,也利于他们企业的未来发展方向

Nyarc 基本上把国内的嵌入式固件全部都学了一遍,我本人一直维护着一个数据库,包括加密的构建分析 rootfs 自动化解包。这个工具一直都没放出来,算是第一次,或者说直接把人家 ikuai 固件的底裤扒光,换做是 251 那就直接吃国家饭了。得亏是人家爱快公司格局大,不然我估计第二天睡醒,条子就在我家门口了


至于说,公开披露太过头了,确实是我的责任。我就像个小孩子一样,就想说干脆把这些事情全部都弄出来,毕竟之前论坛上面也有 3.7.14 带 root 的,本身那些 mTLS 私钥基本上都内置好了,不管是以前的版本还是现在最新的 4.0 ,其实都还是那一套 agent 。我能看到他们硬件的成功,包括我自己也有 Q6000 ,希望说未来别那么封闭吧

还是感谢爱快的 Ethan
itnoob
4 月 22 日
膜拜,玩过 ikuai 的系统。
6AbK2rj2vLBD
4 月 22 日
@Nyarime 观察了几天,楼主的人品和技术都很优秀,从楼主的逆向分析来看,爱快问题挺多。但是不得不承认,爱快就是成功了,哪怕新出一个更安全更高效的路由器系统,也不一定能做到爱快这样。爱快正在做 4.0 的研发,我看了下还是有些问题的,无论是功能、界面、还有使用逻辑上更不用说安全了,都有不小的问题,给我的感觉是“迷失了方向”。既然楼主跟爱快联系上了,如果他们态度还不错的话,真心希望楼主能帮助他们在新系统上把把关,比如专业网关系统(只专注安全和性能的官方硬件的专业系统),开放路由系统(带有类似飞牛一样的开放插件平台的社区版本路由系统)这些方向有没有可以做的。让大家能用上一款安全、好用的系统,也是很大的贡献。
mm2x
4 月 22 日
大佬 你的固件 404 无法下载啊?
mm2x
4 月 22 日
大佬 文章里的爱快固件能发送一份研究下吗? 感谢
2019zby@gmail.com
lxxiil
4 月 22 日
@earpiece5631 #80 l.k.an030@gmail.com 老哥求个固件谢谢
Tink
4 月 22 日
有点厉害了
lxxiil
4 月 22 日
@Gipserr #70 l.k.an030@gmail.com 老哥求个固件谢谢
wu0lei
4 月 22 日
老哥求个固件谢谢 6552189@ gmail.com
simplove
4 月 22 日
@lxxiil 上面的链接可以用迅雷离线,但是电脑端迅雷下载不了,会提示违规。 用手机版迅雷可以成功下载。
得益于迅雷的缓存服务器。 手机下载后传给电脑就行啦
earpiece5631
4 月 22 日
@Gipserr 我只备份了 75v2,求兄弟给个你最后改好的固件 heyxmx - gmail
lxxiil
4 月 22 日
@earpiece5631 老哥,最新是什么版本
yzm157
4 月 22 日
@earpiece5631 大哥,能给个 V75V2 的版本么,yzm157 gmail
lxxiil
4 月 22 日
@yzm157 [超级会员 V9] 通过百度网盘分享的文件:iKuai8_x....bin
链接: https://pan.baidu.com/s/1XGJNyM0kVPJAqm3KVZrvaA?pwd=6Xwj
提取码:6Xwj
复制这段内容打开「百度网盘 APP 即可获取」
Gipserr
4 月 23 日
@earpiece5631 老板最后给到的就是 75v2 了,这个版本已经足够让 AI 去处理剩下的工作了,主要就是利用 /etc/log/naixi/compat/boot.sh 这个固化的启动脚本,每次启动以后清理掉会自动下载的东西,就是一个干净的 root 环境了,你要跑啥程序都行。
lovezhiqi123
4 月 23 日
非常感谢楼主分享啊,希望持续更新
earpiece5631
4 月 23 日
没把/ikuai-naixi/这个目录拉下来,可惜了
hibodhi
4 月 23 日
@lxxiil @Gipserr 老哥,能分享个 naixi-compat-x86_64.tar.gz 的包吗,kebdycdthbrj-hotmail
yzm157
4 月 23 日
@lxxiil 感谢,昨天用迅雷离线下载到了,可惜下载不了 naixi-compat-x86_64.tar.gz

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1206946

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX