Goroutines 和 C 线程之间的原子栅栏并发 - 语义是什么?

如何解决Goroutines 和 C 线程之间的原子栅栏并发 - 语义是什么?

我想知道是否可以明确协调 goroutines 和 C 线程之间的原子操作并发。

这里的用例涉及一个 C 语言的音频处理库,它创建一个操作系统线程,并定期调用用户提供的回调来检索音频数据。这必须几乎实时发生,所以我不想招致 cgo 调用、堆栈交换和 Go-land 并发的开销。环形缓冲区一般可以解决这个问题,其中一个线程写入缓冲区,另一个读取,并使用内存栅栏执行同步。

然而,目前 Go 中原子操作的内存语义似乎在文档中完全没有定义,因此对于这个目的完全没有用,可能还有很多其他的......(https://golang.org/pkg/sync/atomic/ 只是说无益“原子”,见 https://github.com/golang/go/issues/5045)

但是 - 它必须以某种方式工作,即使没有记录在案。怎么样?

请注意,我并不是在询问我所描述的问题的解决方案。我不是在问环形缓冲区是否是正确的选择,或者我是否应该“通过共享进行通信”或其他什么。我问的是 Go 中当前实现的原子操作的内存顺序语义(例如,最新的发布版本 - 1.16.5 的具体性)。

特别是,这里是一个示例程序,它设置了与我的实际用例中发生的情况类似的情况:

package main

/*

   #include <pthread.h>
   #include <malloc.h>

   typedef struct {
      int fence_0;
      char *data;
   } shared_data;

   shared_data *make_shared_data() {
      shared_data *sd = calloc(sizeof(shared_data),1);
      sd->data = calloc(1024,1);
      sd->data[0] = 17;
      return sd;
   }

   void *get_shared_data_ptr(shared_data *sd) {
      return sd->data;
   }

   int read_data_in_pthread(shared_data *sd) {
      int l;
      __atomic_load(&sd->fence_0,&l,__ATOMIC_ACQUIRE);
      if (l < 2) return 0;
      return sd->data[0] + sd->data[1023]; 
   }

*/
import "C"
import (
   "fmt"
   "runtime"
   "reflect"
   "unsafe"
   "sync/atomic"
)

func main() {

   // Prevent thread/cache switching (to avoid asking a third,unimportant question and allow the below "naughty")
   runtime.LockOSThread()

   // Allocate a C-owned structure.
   csd := C.make_shared_data()

   // This is just an expedient for the sake of this example,I'm aware it's naughty/bad,etc.
   ptr := (*byte)(C.get_shared_data_ptr(csd))
   arrptr := &reflect.SliceHeader{Data: uintptr(unsafe.Pointer(ptr)),Len: 1024,Cap: 1024}
   arr := *(*[]byte)(unsafe.Pointer(arrptr))

   fmt.Printf("%d\n",arr[0])
   done := make(chan bool)

   // Repeatedly execute a reader function in a cgo thread which will output zero if first fence is not 2
   // and output the sum of the first and last data points if it is.
   go func(){
         var s uint8
         s = 0
         for s == 0 {
            s = uint8(C.read_data_in_pthread(csd))
         }
         fmt.Printf("finished: %d\n",s)
         done <- true
      }()

   go func(){
         atomic.StoreInt32((*int32)(&csd.fence_0),1)
         for i := 0; i < 1024; i++ {
            arr[i] = 255
         }
         atomic.StoreInt32((*int32)(&csd.fence_0),2)
   }()

   <-done
}

问题是:(a) 这个程序的输出可以是 17 吗? (b) 如果不是,这个程序的输出必须总是254,还是可能是255

如果 Go 原子存储使用类似于 gcc 的 ATOMIC_SEQ_CST 的内存模型,则内存栅栏是顺序的,我们将始终看到 254。这似乎是一个明智的默认设置。但是,这一定是真的吗?

否则,我的程序将不可移植并产生错误。所以,我想确定。

(是的,我知道上面的测试用例绝对是完全不可移植的/只能在 GNU/Linux 上运行...实际有问题的库实际上是可移植的。)

解决方法

Go memory model 和 C 和 C++ 中可用的(多个)内存模型之间存在某种阻抗不匹配(参见关于 C 内存顺序选项的 cppreference.com,并注意 { {3}})。至少在理论上,这会给实现者带来一些大麻烦:通过 cgo 调用 C 代码的传入和传出,如果例如 Go 系统使用某种整体或部分存储订单模型和 C 系统使用宽松的内存模型。

在实践中,例如,每个实现都将努力为 atomic-load-32 和 atomic-store-32 使用相同类型的同步。但是:

这里的用例涉及一个 C 语言的音频处理库,它创建一个操作系统线程,并定期调用用户提供的回调来检索音频数据。这必须几乎实时发生,所以我不想招致 cgo 调用、堆栈交换和 Go-land 并发的开销。环形缓冲区一般可以解决这个问题,其中一个线程写入缓冲区,另一个读取,并使用内存栅栏执行同步。

[剪辑]

但是 - 它必须以某种方式工作,即使没有记录在案。怎么样?

您将不得不一次一个地查看每个实现,因为“如何”可能(至少可能)每次都不同。因此,找出您的系统在其 PowerPC 实现上使用什么,找出您的系统在其 ARM 实现上使用什么,等等。您会希望低级 Go 例程是特定于实现的,选择与低级 C 例程一起使用。

,

语言本身没有定义任何原子操作。但是,sync/atomic 包可以。您链接的问题以“doc:”为前缀,这意味着他们只是在讨论如何改进围绕 atomic 与 Go 内存模型交互的文档。该软件包仍然有效。如所述,其中的操作是原子的。任何已知的异常都列在“错误”部分:https://golang.org/pkg/sync/atomic/#pkg-note-BUG

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams[&#39;font.sans-serif&#39;] = [&#39;SimHei&#39;] # 能正确显示负号 p
错误1:Request method ‘DELETE‘ not supported 错误还原:controller层有一个接口,访问该接口时报错:Request method ‘DELETE‘ not supported 错误原因:没有接收到前端传入的参数,修改为如下 参考 错误2:cannot r
错误1:启动docker镜像时报错:Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen 解决方法:重启docker -&gt; systemctl r
错误1:private field ‘xxx‘ is never assigned 按Altʾnter快捷键,选择第2项 参考:https://blog.csdn.net/shi_hong_fei_hei/article/details/88814070 错误2:启动时报错,不能找到主启动类 #
报错如下,通过源不能下载,最后警告pip需升级版本 Requirement already satisfied: pip in c:\users\ychen\appdata\local\programs\python\python310\lib\site-packages (22.0.4) Coll
错误1:maven打包报错 错误还原:使用maven打包项目时报错如下 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources)
错误1:服务调用时报错 服务消费者模块assess通过openFeign调用服务提供者模块hires 如下为服务提供者模块hires的控制层接口 @RestController @RequestMapping(&quot;/hires&quot;) public class FeignControl
错误1:运行项目后报如下错误 解决方案 报错2:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project sb 解决方案:在pom.
参考 错误原因 过滤器或拦截器在生效时,redisTemplate还没有注入 解决方案:在注入容器时就生效 @Component //项目运行时就注入Spring容器 public class RedisBean { @Resource private RedisTemplate&lt;String
使用vite构建项目报错 C:\Users\ychen\work&gt;npm init @vitejs/app @vitejs/create-app is deprecated, use npm init vite instead C:\Users\ychen\AppData\Local\npm-
参考1 参考2 解决方案 # 点击安装源 协议选择 http:// 路径填写 mirrors.aliyun.com/centos/8.3.2011/BaseOS/x86_64/os URL类型 软件库URL 其他路径 # 版本 7 mirrors.aliyun.com/centos/7/os/x86
报错1 [root@slave1 data_mocker]# kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic topic_db [2023-12-19 18:31:12,770] WARN [Consumer clie
错误1 # 重写数据 hive (edu)&gt; insert overwrite table dwd_trade_cart_add_inc &gt; select data.id, &gt; data.user_id, &gt; data.course_id, &gt; date_format(
错误1 hive (edu)&gt; insert into huanhuan values(1,&#39;haoge&#39;); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1
报错1:执行到如下就不执行了,没有显示Successfully registered new MBean. [root@slave1 bin]# /usr/local/software/flume-1.9.0/bin/flume-ng agent -n a1 -c /usr/local/softwa
虚拟及没有启动任何服务器查看jps会显示jps,如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2
报错1 hive&gt; show databases; OK Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object Time taken: 0.474 se
报错1 [root@localhost ~]# vim -bash: vim: 未找到命令 安装vim yum -y install vim* # 查看是否安装成功 [root@hadoop01 hadoop]# rpm -qa |grep vim vim-X11-7.4.629-8.el7_9.x
修改hadoop配置 vi /usr/local/software/hadoop-2.9.2/etc/hadoop/yarn-site.xml # 添加如下 &lt;configuration&gt; &lt;property&gt; &lt;name&gt;yarn.nodemanager.res