写服务器程序最怕的是百分之一的概率崩溃了，你却不知道为啥，想重现又重现不出来。所以在崩溃时将当时的堆栈保存下来非常重要。网上有很多文章讲解怎么保存，但我使用了发现可以保存，但是没有函数名称和行号，仍然没法定位问题。在stack overflow上有人说只有动态库的代码才能显示出函数名和行号，想完整显示还需要使用某某第三方开源库，不过我幸好发现使用addr2line命令可以将文件名和行号显示出来，轻松定位问题。如下就总结一下整个流程。
- 首先，我们需要在进程崩溃时调用某个函数。请参考上一篇文章：linux c开发: 在程序退出时进行处理
- 然后，我们获取堆栈信息并保存的一个文件，代码如下所示，使用了网上的一些代码：
void server_backtrace(int sig)
{
//打开文件
time_t tSetTime;
time(&tSetTime);
struct tm* ptm = localtime(&tSetTime);
char fname[256] = {0};
sprintf(fname, "core.%d-%d-%d_%d_%d_%d",
ptm->tm_year+1900, ptm->tm_mon+1, ptm->tm_mday,
ptm->tm_hour, ptm->tm_min, ptm->tm_sec);
FILE* f = fopen(fname, "a");
if (f == NULL){
return;
}
int fd = fileno(f);
//锁定文件
struct flock fl;
fl.l_type = F_WRLCK;
fl.l_start = 0;
fl.l_whence = SEEK_SET;
fl.l_len = 0;
fl.l_pid = getpid();
fcntl(fd, F_SETLKW, &fl);
//输出程序的绝对路径
char buffer[4096];
memset(buffer, 0, sizeof(buffer));
int count = readlink("/proc/self/exe", buffer, sizeof(buffer));
if(count > 0){
buffer[count] = '\n';
buffer[count + 1] = 0;
fwrite(buffer, 1, count+1, f);
}
//输出信息的时间
memset(buffer, 0, sizeof(buffer));
sprintf(buffer, "Dump Time: %d-%d-%d %d:%d:%d\n",
ptm->tm_year+1900, ptm->tm_mon+1, ptm->tm_mday,
ptm->tm_hour, ptm->tm_min, ptm->tm_sec);
fwrite(buffer, 1, strlen(buffer), f);
//线程和信号
sprintf(buffer, "Curr thread: %u, Catch signal:%d\n",
(int)pthread_self(), sig);
fwrite(buffer, 1, strlen(buffer), f);
//堆栈
void* DumpArray[256];
int nSize = backtrace(DumpArray, 256);
sprintf(buffer, "backtrace rank = %d\n", nSize);
fwrite(buffer, 1, strlen(buffer), f);
if (nSize > 0){
char** symbols = backtrace_symbols(DumpArray, nSize);
if (symbols != NULL){
for (int i=0; i<nSize; i++){
fwrite(symbols[i], 1, strlen(symbols[i]), f);
fwrite("\n", 1, 1, f);
}
free(symbols);
}
}
//文件解锁后关闭
fl.l_type = F_UNLCK;
fcntl(fd, F_SETLK, &fl);
fclose(f);
}
- 注意编译的时候，需要在makefile里面加入编译选项rdynamic。例如：
CFLAGS :=-g -rdynamic -Wall -Werror -std=gnu99 -D MY_SERVER_DEBUG - 然后我们运行编译好的程序，在崩溃的时候就可以获取一个core dump文件了,例如：core.2017-8-28_23_4_55。内容大概是这样：
/usr/local/bin/my_server
Dump Time: 2017-8-25 23:4:55
Curr thread: 2857228032, Catch signal:6
backtrace rank = 18
my_server() [0x40ce9d]
my_server() [0x401ebf]
/lib64/libc.so.6(+0x32510) [0x7f9da9aeb510]
/lib64/libc.so.6(gsignal+0x35) [0x7f9da9aeb495]
/lib64/libc.so.6(abort+0x175) [0x7f9da9aecc75]
/lib64/libc.so.6(+0x703a7) [0x7f9da9b293a7]
/lib64/libc.so.6(+0x75dee) [0x7f9da9b2edee]
/lib64/libc.so.6(+0x78c80) [0x7f9da9b31c80]
my_server() [0x40cbc3]
my_server() [0x41080f]
my_server() [0x4100fc]
my_server() [0x4039e8]
/usr/lib64/libev.so.4(ev_invoke_pending+0x61) [0x7f9daa0bb071]
/usr/lib64/libev.so.4(ev_run+0x71a) [0x7f9daa0c023a]
my_server() [0x4064cd]
my_server() [0x402d3d]
/lib64/libc.so.6(__libc_start_main+0xfd) [0x7f9da9ad7d1d]
my_server() [0x401de9]
问题是这里的堆栈信息，只有模块的名字，比如my_server，但是里面没有函数名和行号，这样定位问题就难了。但是我们看到libev.so的函数名称都在。而这里显示的信息，都是backtrace_symbols这个函数返回的，并且我们已经加上编译选项-rdynamic了，甚至我的编译选项里面还有-g，所以这个锅我不背。上面说过，stack overflow上有人认为只有动态链接库才有具体的信息，而解决方法是使用某某库，不过对于我已经来不及了。幸好发现了addr2line这个工具可以从地址解析出文件名和行号。（注意是文件名而不是函数名）
- 使用addr2line解析出文件名和行号
addr2line的使用方法很简单addr2line -e <执行文件> <代码地址>。使用例子：
addr2line -e /usr/local/bin/my_server 0x4039e8
这里的两个参数就是我上面core dump文件里面能看到的内容。得到结果如下：
/root/build/my_server/src/my_server.c:129
代码轻松定位了，然后继续向上看堆栈上各个地址，找到崩溃的地方。需要注意的是，定位出来的代码行可能是括号，并不是函数调用语句或表达式，不过不要紧，结合堆栈里面上下文关系还是很容易确定具体代码位置的。
