在goroutines中调用C.malloc / C.free时发生内存泄漏

如何解决在goroutines中调用C.malloc / C.free时发生内存泄漏

当我使用以下普通程序查看RSS时，我发现内存不断泄漏：

package main

/*
#include <stdlib.h>
*/
import "C"

import (
    "time"
    "unsafe"
    )

func loopStuff() {
    for {
        ptrs := make([]unsafe.Pointer,20)
        for i:=0; i<20; i++ {
            ptrs[i] = C.malloc(16 * (1 << i))
        }
        time.Sleep(1 * time.Millisecond)
        for i:=0; i<20; i++ {
            C.free(ptrs[i])
        }
    }
}

func main() {
    for i:=0; i<10; i++ {
        go loopStuff()
    }
    loopStuff()
}

我正在进行1.13.4和ubuntu 18.04。 这是怎么回事？

解决方法

我认为问题在于for {}循环对于10 + 1个goroutine中的每一个都无限期地运行。

此外，如果您阅读有关free的信息：

Deallocates the space previously allocated by malloc(),calloc(),aligned_alloc(),(since C11) or realloc().

因此，它基本上会重新分配空间，而不必立即将内存返回给操作系统。另外，请阅读此answer。

for loop无限期地运行时，您肯定会看到内存增加，但这并不是泄漏。我已通过删除for loop来修改您的代码。然后，我使用BSD的top检查了RSS，它的平均值为1100KB，并且没有上升。也许等了一段时间后，它甚至会减少（当将内存返回给操作系统时）。

经过以下测试：OS: MacOS,Go: 1.15

BSD的top输出：

PID    COMMAND      %CPU TIME     #TH  #WQ  #POR MEM   PURG CMPR PGRP  PPID  STATE
30767  cgo          0.0  00:00.00 11   0    20   1144K 0B   0B   30767 29146 sleeping

代码：

package main

// #include <stdlib.h>
import "C"

import "unsafe"

func loopStuff() {
        ptrs := make([]unsafe.Pointer,20)
        for i := 0; i < 20; i++ {
                ptrs[i] = C.malloc(16 * (1 << i))
        }
        for i := 0; i < 20; i++ {
                C.free(ptrs[i])
        }
}

func main() {
        for i := 0; i < 10; i++ {
                go loopStuff()
        }
        loopStuff()
        // Block the main goroutine
        select {}
}

更新：

尝试以下代码。每次迭代中肯定有一片unsafe.Pointer的分配。还进行了一些更改。也许在您的系统上，您现在不会看到内存泄漏。

package main

/*
#include <stdlib.h>
*/
import "C"

import (
        "time"
        "unsafe"
)

func loopStuff() {
        ptrs := make([]*unsafe.Pointer,20)
        for {
                for i := 0; i < 20; i++ {
                        tmp := C.malloc(16 * (1 << i))
                        ptrs[i] = &tmp
                }
                time.Sleep(1 * time.Millisecond)
                for i := 0; i < 20; i++ {
                        C.free(*ptrs[i])
                }
        }
}

func main() {
        for i := 0; i < 10; i++ {
                go loopStuff()
        }
        loopStuff()
}