TotalView支持Python并行调试,可将数百条堆栈并入同一视图
科极网11月17日,Perforce Software 在超算大会 SC26 的 2829 号展位演示新版 TotalView。 这款并行调试工具在最新季度版本中加入了 Python 支持,开发者因此可以在同一套界面里观察并行应用的运行情况,排查分散在多个执行进程中的问题。
调试会话可以在 TotalView 的控制下启动,单进程程序和并行程序都行。程序跑起来后,用断点指定停在哪个位置;停下之后,变量当时的取值、数据结构的具体形态都能查,也可以直接对 Python 表达式求值。
把数百条堆栈汇进同一个视图
并行调试真正麻烦的地方,是判断故障究竟出在哪个执行单元。C/C++ 一直有 GDB 这样称手的专用调试器,可一旦问题横跨多个线程,开发者就得逐一线程插桩,再把各线程的输出收集到一起、筛出真正与故障有关的记录——这个量级的输出,普通调试器往往处理不了。

TotalView 的做法是:底层借 Microsoft 的 debugpy 引擎(经 Debug Adapter Protocol 接入)支撑自身那套层级树结构的服务器,把数百条堆栈追踪记录汇进同一个视图,并且只把超出预期范围的记录标出来。
Perforce 软件工程副总裁 Bill Burns 举了个例子:同时有 10000 项任务在跑,其中哪怕只有一项崩了,TotalView 也能定位到出错的位置,并查看该进程的状态、进程里的线程,以及它占用的 GPU。
跨语言调试暂时还得二选一
如果 Python 程序调用了 C/C++ 的库或模块,目前的 TotalView 还不具备完整的跨语言调试能力:开发者可以调试 C/C++ 那一侧、同时查看 Python 的调用栈,也可以反过来单独调试 Python。Burns 说,Perforce 打算在后续版本里把这两种模式并进同一套工作流。
开箱即可用的是 mpi4py 和 Python 自带的 multiprocessing 模块。前者把 Python 程序接到消息传递接口 MPI 上,让分布在不同硬件上的应用组件互相通信;Dask 和 PyTorch 的 torchrun 则在后续版本的支持计划里。
收费方式也按并行规模来算:TotalView 以令牌计费,一个令牌对应一个进程的调试能力。
Python 进了 HPC,老问题也跟着来
高性能计算里的计算任务长期用 C/C++ 编写,一部分机器至今还在跑 Fortran,这两种语言也是 TotalView 原先的本行。这类需求其实并不新鲜——工具在 1980 年代末为军事应用而开发,2019 年 Perforce 收购专注 DevOps 的 Rogue Wave Software 时一并收归旗下。如今它的主要用户是高性能计算开发者:大型科学应用散布在多台服务器上,动辄数千乃至数万个进程并行推进。
Burns 说,Python 易学易用,在这个圈子里渐渐站稳了脚,跨节点的科学模拟、分布式 AI 训练,以及那些受益于共享内存的大型应用,都开始用它来写。
一年前发布的 Python 3.14 让这种转向更容易:它既允许解释器并发运行,也在关闭全局解释器锁(GIL)之后支持自由线程。Burns 举例,一台 64 核的 CPU 上可以跑 64 个独立线程协同干活,没有这把锁,线程就能完全异步运行。代价是当并行跑的解释器达到 500 个甚至 1000 个,找故障也变难了:锁争用、线程争用、竞态条件,这些 C++ 和 Fortran 开发者跟了多年的老问题,一样会落到新的 Python 并发用户头上。