Go 语言实现RISC-V TLS相关重定向小计

最近想给 RISC-V 的 Go 内部链接器开 PIE 支持。看了眼 AMD64 和 ARM64 的代码,不就是判断个 iscgoflag_race 嘛,复制粘贴改改就行。

结果编译完一跑,炸了:

relocation R_RISCV_TLS_IE cannot be used in PIE

开开关,然后发现 TLS_IE 这货

其他架构开 PIE 走内部链接早就能用了,RISC-V 这边一直是个 TODO。我寻思着把外部链接器的判断逻辑抄过来:

case sys.RISCV64:
    if iscgo || flag_race {
        ldflag = "gcc"
    }

然后就被 R_RISCV_TLS_IE 糊了一脸。

先问了下 Claude,它给我讲了一通 TLS 的四种模型:LE、IE、GD、LD。我说你别讲概念了,我就想知道 Go 内部链接器怎么 patch 这个重定位。它说:"建议参考其他架构的实现。"

……我要是看得懂还问你?

翻书,《Linkers and Loaders》、ELF spec、RISC-V ABI 翻了一圈。大概搞明白了:

  • TLS_LE:本地执行,直接 tp + offset,指令是 lui + addi
  • TLS_IE:初始执行,走 GOT 拿 TLS 偏移,指令是 auipc + addi

其他架构在内部链接 PIE 时,遇到 TLS_IE 都是直接转成 LE。因为内部链接的 PIE 说白了还是静态链接,不需要动态加载器解析,直接把偏移算出来硬编码就行。

我心想,这思路简单啊,抄作业!

不过我的第一反应不是"转 LE",而是:凭什么 RISC-V 就不能原生支持 TLS_IE?

我在 cmd/link 里硬加了 R_RISCV_TLS_IE 的处理,试图在内部链接时解析 GOT 条目。写完之后编译倒是过了,运行时测试挂了。

一查,内部链接器生成 GOT 的时候,对 TLS 符号的处理跟普通全局符号不一样。RISC-V 的 GOT 条目需要 R_RISCV_64 重定位填充,但内部链接器在 dynreloc 阶段根本没给 TLS 符号生成正确的动态重定位。搞出一堆 R_RISCV_NONE 的残留,链接器自己都不认。

折腾了两天,服了。

其他架构把 IE 转 LE 是唯一的路

AMD64 的实现:

case objabi.R_TLS_IE:
    // 直接 patch 立即数,指令长度不变

ARM64实现:

case objabi.R_TLS_IE:
    // adrp + ldr 改成 movz + movk

都很优雅。然后我看 RISC-V 的 TLS_IE 序列:

auipc  t0, %pcrel_hi(symbol)
addi   t0, t0, %pcrel_lo(symbol)

而 LE 应该是:

lui    t0, %tprel_hi(symbol)
addi   t0, t0, %tprel_lo(symbol)

问题来了:RISC-V 的 auipclui 虽然都是 U-type,但 opcode 不一样,立即数编码方式也不一样。AMD64 可以直接 patch 立即数字段,RISC-V 这里必须整条指令换掉

而且 auipc 是 PC-relative,lui 是绝对值。addi 跟着的 pcrel_lotprel_lo 重定位类型也不同。

我一开始想暴力算:

auipc := ctxt.Arch.ByteOrder.Uint32(buf)
lui := (auipc &^ 0x7F) | 0x37  // 改 opcode
// 还要改立即数……

太丑了,而且容易出错。

只好读 link/obj 代码,找办法

花了一天读 cmd/link/internal/riscv64cmd/internal/obj/riscv 的源码。发现内部链接器在 reloc 阶段是可以直接改指令编码的。

关键是 ctxt.Arch.ByteOrder.PutUint32 直接写内存。我需要在 reloc 函数里:

  1. 算出 TLS 的 LE 偏移:ldr.SymValue(symIdx) - ctxt.Tlsoffset
  2. auipc + addi 替换成 lui + addi
  3. 用新的立即数写回去

lui + addi 的立即数拆分有坑。lui 是高 20 位,addi 的低 12 位是有符号的。如果低 12 位是负数(比如 0xFFF),lui 的高 20 位要加 1。

我翻了下 cmd/internal/obj/riscv,发现里面有类似的立即数拆分逻辑。抄了:

func splitImm(v int64) (hi, lo int64) {
    lo = v << 52 >> 52  // 符号扩展低 12 位
    hi = (v - lo) >> 12
    return
}

然后:

hi, lo := splitImm(off)
rd := (auipc >> 7) & 0x1F

lui := 0x37 | (rd << 7) | ((hi & 0xFFFFF) << 12)
addi := 0x13 | (rd << 7) | (rd << 15) | ((lo & 0xFFF) << 20)

ctxt.Arch.ByteOrder.PutUint32(buf, lui)
ctxt.Arch.ByteOrder.PutUint32(buf[4:], addi)

这样看起来顺眼多了。

测试

改完跑测试:

$ go test -v -run TestPIE cmd/link
=== RUN   TestPIE/riscv64
--- PASS: TestPIE/riscv64 (0.12s)

再跑 all.bash 的 riscv64 交叉编译:

$ GOARCH=riscv64 GOOS=linux go test -c -buildmode=pie fmt
# 编译成功

搞定。

回头看

RISC-V 的 TLS 处理确实跟别家不一样。AMD64、ARM64 做 IE 转 LE 基本是同长度指令替换,RISC-V 这里 auipc + addilui + addi 虽然都是两条指令,但编码完全不同,必须整条换掉。

而且 RISC-V 的 GCC 对外部 TLS 变量默认用 LE 模型(依赖 TLS copy relocations),本身就有点特立独行。

CL 741860 加了 R_RISCV_TLS_IE 的重定位处理,CL 742200 正式启用 PIE 内部链接。

GopherCon EU 2025 (Berlin) 参会小计

今年终于参加了GopherCon,之前主要是疫情期间不太想参加大型集会,又因为GopherChina今年继续开天窗了,美签也有风险,所以选了GopherCon EU。

主要先感谢一下主办方的Bill Kennedy,Natielie,我在最后1个月的时候才提交的GoBridge申请,没想到他们给了我一张门票,还帮我搞签证,在这真的非常感谢。还要感谢欧博士,他怕咱人生地不熟,一起陪我逛柏林,教授一些生存小技巧。

签证因为公司的缘故被电话,补了些材料。起飞那天正好南宁刮台风,我幸好买的是联程票,海航给我自动免费改签到了第二天:)

入境德国很顺利,边检看了看我的邀请函,随便聊了两句就让我过了。随后坐上地铁,没安检,没检票(全靠自觉,不过还是有人会随机抽查,我就碰到一个被罚款60欧的美国佬跟我们要现金,然后用paypal转)


Alexander plaza(柏林的宇宙中心,咋跟国内三线城市差不多)

修整了一下,跟欧博逛了逛地标建筑冷战一条街,晚上,对晚上,柏林夏天9点才天黑,蹭了讲师团队的小手工晚宴,吃了点披萨什么的。

这个Gopher Show 真好玩

演讲的主题从简单到复杂都有,难度是相当适中的。饮料、吃的管够,这是这些年来开得最舒服的一次会了,还有演讲的讲台离观众很近,真的很有现场感。就是纯英文的演讲让我的大脑需要花额外的算力来思考,整体参加下来比较累人。现场有个环节让10年以上的Gopher举手,咱也举了,还讲自己来自中国,就是不知道现场有没有录到。


跟Go团队的座谈,但绕不开的一个大话题就是AI,看来整个行业都在Go没办法在AI时代蹭到热度而在找出路……

第三天就是开发者峰会啦~

峰会上讨论了些话题,我关注社区发展的问题,因为Go中国这2年直接关门了,啥东西都没有留下给社区,所以在会上问了问Google的Neil Damon 的态度,他表示问题不大,只要开会Google肯定派人来的。中间还有个插曲,因为Kennedy经常戴帽子,所以我把他和Neil 搞混了,把礼物送给了他(T T),他在会上还笑说当年Austin讲你这样戴跟Kennedy一样的帽子,铁定会被人认错,果然我就是第一个那个倒霉蛋。
其他就是给pkg.go.dev团队提了些建议和bug修复,随便侃了侃,还跟Mark Ryan一起聊了下Risv Go 的维护问题,他也是第一次参加GopherCon:)

周边环境和一些碎碎念照片


Go RISC-V runtime去掉 Duff’s Device 性能提升最大225%

上游Google团队的 Keith Randell 6月时抛出一个有趣的话题,由于近年的CPU预测技术的发展,如果Go runtime去掉Duff device,性能反而会达到一定的提升。
原帖:https://groups.google.com/g/golang-dev/c/bVoLyx0s3tg

我摘出来有趣的部分并翻译了下:

达夫设备(Duff's Device) 通过在运行时部署一个大规模展开的清零/复制循环来优化内存清零和内存复制操作。编译器会合成一个跳转指令,直接跳转到这个展开循环的特定中间位置,以精确执行所需次数的循环操作。
在Go语言中,其实现形式类似于:

s[0] = 0; s = s[1:]
s[0] = 0; s = s[1:]
s[0] = 0; s = s[1:]
...大量重复指令...
s[0] = 0; s = s[1:]
s[0] = 0; s = s[1:]
s[0] = 0; s = s[1:]
return

当编译器需要清零7个字节时,它会计算从末尾倒数第7条指令的地址并直接跳转执行。
这听起来很巧妙,但每次调用都会产生额外开销。况且现代分支预测器已非常高效,消除调用点的循环开销并不再那么重要。

Keith 还提供了几个CL,不过ARM64/AMD64 的实现是不管对齐的问题的,这就意味着 RISC-V 不能这样用(因为 RISC-V 的 unalignement access 是臭名昭著的软件实现/内核 trap/性能损失大)我决定自己实现 type alignment 的版本。

Keith 版 SSA 非常简洁

(Zero [s] ptr mem) && s > 16 && s < 192 => (LoweredZero [s] ptr mem)
(Zero [s] ptr mem) && s >= 192 => (LoweredZeroLoop [s] ptr mem)

然后编写对应的 code gen 就可以了,但……RISCV就麻烦了,因为要传入一个type alignment进去

(Zero [s] {t} ptr mem) =>
        (LoweredZero [t.Alignment()]
                ptr
                (ADD <ptr.Type> ptr (MOVDconst [s-moveSize(t.Alignment(), config)]))
                mem)

如果直接塞多一个参数,变成

(Zero [s] {t} ptr mem) =>
        (LoweredZero [s]
                ptr
                (MOVconst [t.Alignment()])
                mem)

这样在materialize的时候就会多一个MOV const, reg的指令,这样不优雅!

然后想到bit shift,把LoweredZero [s<<32|t.Alignment()],但这样在SSA优化的时候,mem size就非常恐怖了……怎么样优雅的把这个值塞进 AuxInt,就成了头大的问题。

只好看看 SSA compiler 的实现,然后在 AuxInt 的 type list (cmd/compile/internal/ssa/op.go)发现了“auxARM64BitField”

 // architecture specific aux types
 auxARM64BitField     // aux is an arm64 bitfield lsb and width packed into auxInt

给 RISC-V 直接套上,就会造成程序的文不对题。

改成auxRISCVBitFields,还要加几个前置CL来实现。这不优雅!

于是我全部类型都看了遍,终于发现一个合理的:"SymValAndOff",代价就是……Lowered(Zero|Move)需要添加一个 symEffect 说明这个指令有啥副作用(当然都是Write啦),这下就优雅多了

(Zero [s] {t} ptr mem) && s <= 24*moveSize(t.Alignment(), config) =>
    (LoweredZero [makeValAndOff(int32(s),int32(t.Alignment()))] ptr mem)

完美!

然后测试性能发现,咦,Zero竟然没有任何改进?

MemclrKnownSize112-4             5.602Gi ± 0%    5.601Gi ± 0%         ~ (p=0.363 n=10)
MemclrKnownSize128-4             6.933Gi ± 1%    6.545Gi ± 1%    -5.59% (p=0.000 n=10)
MemclrKnownSize192-4             8.055Gi ± 1%    7.804Gi ± 0%    -3.12% (p=0.000 n=10)
MemclrKnownSize248-4             8.489Gi ± 0%    8.718Gi ± 0%    +2.69% (p=0.000 n=10)
MemclrKnownSize256-4             8.762Gi ± 0%    8.763Gi ± 0%         ~ (p=0.494 n=10)
MemclrKnownSize512-4             9.514Gi ± 1%    9.514Gi ± 0%         ~ (p=0.529 n=10)
MemclrKnownSize1024-4            9.940Gi ± 0%    9.939Gi ± 1%         ~ (p=0.989 n=10)

再次祭出SSA debuger,发现,原来runtime的memclr都跑去调用memNoPtrClr了……那自然不会用咱们这个LoweredZeroOp。

然后改用了基于SSA Zero的ClearFat,才有下面的测试结果(删掉了部分不重要的)

ClearFat3-4                   1.300Gi ± 0%    1.301Gi ±  0%         ~ (p=0.447 n=10)
ClearFat4-4                   3.902Gi ± 0%    3.902Gi ±  0%         ~ (p=0.971 n=10)
……
ClearFat16-4                  1.600Gi ± 0%    5.202Gi ±  0%  +225.10% (p=0.000 n=10)
ClearFat18-4                  1.018Gi ± 0%    1.300Gi ±  0%   +27.77% (p=0.000 n=10)
ClearFat20-4                  2.601Gi ± 0%    4.938Gi ± 12%   +89.87% (p=0.000 n=10)
ClearFat24-4                  2.601Gi ± 0%    5.201Gi ±  0%   +99.96% (p=0.000 n=10)
ClearFat32-4                  1.982Gi ± 0%    5.203Gi ±  0%  +162.55% (p=0.000 n=10)
ClearFat56-4                  3.640Gi ± 0%    5.201Gi ±  0%   +42.88% (p=0.000 n=10)
ClearFat64-4                  2.250Gi ± 0%    5.202Gi ±  0%  +131.25% (p=0.000 n=10)
……
geomean                       2.005Gi         3.020Gi         +50.58%

可以看到原来的小byte的实现不变(没改,当然没变),到了16 bytes 就突然涨起来,我看了下原版的是有优化的,理论上应该不变啊

(Zero [16] {t} ptr mem) && t.Alignment()%8 == 0 =>
    (MOVDstore [8] ptr (MOVDconst [0])
        (MOVDstore ptr (MOVDconst [0]) mem))

原来ClearFat的type alignment是 uint32 (也就是4 bytes),所以没有优化,就落到了循环实现(连TM duff也要求 8 bytes alignment)

func BenchmarkClearFat16(b *testing.B) {
        p := new([16 / 4]uint32)        
        Escape(p)                       
        b.ResetTimer()                  
        for i := 0; i < b.N; i++ {      
                *p = [16 / 4]uint32{}   
        }                               
}                                       

既然如此,那我就白捡个性能优化225%吧 :)

优化开源NTP Pool监控节点:基于RISC-V平台的实践

开源 NTP Pool 现状:严峻的服务缺口

当前开源 NTP Pool(pool.ntp.org)在中国区面临显著的服务缺口(Under-Served)
以下就简称开源的公共 NTP Pool 为 NTP Pool。

  • 服务节点/人口比例失衡:全球 NTP Pool 约90%的服务节点位于等欧美发达国家,中国仅占不足3%(数据来源:NTP Pool Project 2024报告),却承载全球21%的互联网流量。
  • 服务延迟差异:境内用户访问境外NTP节点延迟普遍≥150ms,而本土节点因数量不足导致部分区域延迟波动超300ms
  • 监控盲区:原有监控节点多部署于海外,无法真实反映国内网络环境质量(如防火墙策略、骨干网路由抖动),进一步放大服务不稳定性。

如图所示,NTP pool中国区5千万人才拥有一个NTP Pool服务节点,这一地理与网络拓扑的错配,使国内用户难以享受低延迟、高可靠的公共授时服务。

服务缺口的核心问题:本土监控节点缺失

NTP Pool的服务节点调度机制依赖监控节点(Monitor) 实时评估节点健康度。然而:
监控节点国内为0个:2025年前健康检测数据均来自境外,这导致了

  1. 误判率高:网络波动被标记为“节点故障”
  2. 调度失衡:健康节点因跨境延迟被降权
  3. 扩容停滞:缺乏数据支撑中国区服务器准入,服务节点数常年处于50个以下

没有本土监控,NTP Pool的中国服务优化如同“无源之水”。


如图是针对腾讯 NTP 服务器的监控结果,最右边的一列就是监控节点到服务节点的延迟(RTT),越低越好。
大家可以注意到没有中国大陆的监控节点(CN开头的)。
其中的cncan1就是本博客添加的监控节点,可见如果没有cncan1,所有节点都是超过200ms以上的延迟,对于 NTP 准确性会有严重影响。

破局:基于RISC-V监控终端

这次,我选用OrangePi RV2 构建低成本、低功耗监控节点,售价才200出头,加上天线等其他硬件总成本控制在300元左右,还可以通过GPIO添加PPS功能。

相对的,某宝上一般 NTP 服务器都要600以上,还没有算天线等其他设备。

硬件架构

开发板:OrangePi RV2
GNSS模块:Wheeltech GNSS模块 + PPS输出
GNSS天线:北斗+GPS 双模蘑菇头 + 8米 SMA 馈线

开发板添加对应的DTS overlay

/dts-v1/;
/plugin/;
/ {
        compatible = "ky,orangepi-rv2\0ky,x1";
        fragment@0 {
                target-path = "/";
                __overlay__ {
                        pps_gpio: pps {
                                compatible = "pps-gpio";
                                gpios = <&gpio 91 0>;
                                assert-rising-edge;
                        };
                };
        };
};

软件栈

  1. Chrony:维护PPS同步,NTP时间服务
  2. GPSD:接收北斗卫星信号→PPS硬件时钟同步(精度±200ns)
  3. ntppool-agent: 负责监控进程(重新编译,Go语言已支持RISC-V)

效果如图,这样就可以获得一个精度在±500ns以下的Stratum 1 NTP 服务器

获得NTP Pool官方破例支持

向NTP Pool上游持续贡献代码

  1. add riscv64 binary release https://github.com/ntppool/monitor/pull/6
  2. https://github.com/abh/ntppool/pull/255
  3. https://github.com/abh/ntppool/pull/262

1年来,在跟上游管理团队来来回回好十几封邮件后,这块RISC-V开发板,获得了豁免监控节点准入限制:常规要求NTP服务节点稳定运行18个月方可成为监控节点,这次为中国区首开绿色通道。

结语:从服务缺口到技术领先

国产RISC-V开发板+北斗GNSS的组合,不仅填补了中国区NTP Pool监控节点空白,更证明了:RISC-V可承担关键基础设施角色

本博客运行平台迁移至RISC-V

RISC-V powered!

好消息:迁移非常顺利,跟x86平台迁移一样,原平台就叫server,rv板子就叫board吧:
在自己的机器上:

  1. mysqldump database > db.sql 备份mysql数据库
  2. rsync -azv -R server:/home/mzh ./ 转移家目录
  3. rsync -azv -R mzh board:/home
  4. scp db.sql board:/home/mzh

在rv板子上

  1. apt install php-fpm caddy mariadb-server
  2. 配置好caddy (其实就官方文档就好)
  3. 导入数据库 mysql -u mzh < db.sql
  4. 最关键的一步,把板子的80、443暴露给服务器

设置反向代理,添加以下文件/lib/systemd/system/reverse-tunnel\@.service

[Unit]
Description=Reverse SSH Tunnel
After=network-online.target
[Service]
EnvironmentFile=/etc/default/remote-tunnel@%i
ExecStart=/usr/bin/ssh -i ${ID_KEY} -o ServerAliveInterval=60 -o ExitOnForwardFailure=yes -nNT -R 0.0.0.0
:${REMOTE_PORT}:localhost:${LOCAL_PORT} ${REMOTE_SERVER}
RestartSec=5
Restart=always
KillMode=mixed
[Install]
WantedBy=multi-user.target

每个端口一个进程

systemctl daemon-reload && systemctl start reverse-tunnel@https

搞定,这速度杠杠的。

mzh@muse-card-1:/etc/default$ wp --info                                                                  
OS:     Linux 6.6.63 #2.2.4.2 SMP PREEMPT Thu Jun 26 05:06:32 UTC 2025 riscv64                           
Shell:  /bin/sh                                                                                          
PHP binary:     /usr/bin/php8.3                                                                          
PHP version:    8.3.6                                                                                    
php.ini used:   /etc/php/8.3/cli/php.ini                                                                 
MySQL binary:   /usr/bin/mariadb                                                                         
MySQL version:  mariadb  Ver 15.1 Distrib 10.11.8-MariaDB, for debian-linux-gnu (riscv64) using  EditLine
 wrapper                                                                                                 
SQL modes:                                                                                               
WP-CLI root dir:        phar://wp-cli.phar/vendor/wp-cli/wp-cli                                          
WP-CLI vendor dir:      phar://wp-cli.phar/vendor                                                        
WP_CLI phar path:       phar:///usr/local/bin/wp                                                         
WP-CLI packages dir:                                                                                     
WP-CLI cache dir:       /home/mzh/.wp-cli/cache                                                          
WP-CLI global config:                                                                                    
WP-CLI project config:                                                                                   
WP-CLI version: 2.12.0