如何解决_mm512_dpbusd_epi32 AVX-512VNNI 指令的 AVX-512BW 仿真
从 Cascade Lake Intel cpu 开始有 AVX-512 VNNI 条指令,可以加速 cpu 上量化神经网络的推理。
特别是有一个指令 _mm512_dpbusd_epi32
(vpdpbusd
) 允许执行 8 位有符号和无符号整数的乘法并将它们累加到 32 位整数累加器中。
下面是这个指令的伪代码:
void _mm512_dpbusd_epi32(int32_t sum[16],uint8_t a[16][4],int8_t b[16][4])
{
for(int i = 0; i < 16; ++i)
sum[i] +=
(int)a[i][0]*b[i][0] + (int)a[i][1]*b[i][1] +
(int)a[i][2]*b[i][2] + (int)a[i][3]*b[i][3];
}
不幸的是,直到 Cascade Lake 之前的英特尔 cpu 都没有这个指令,所以有一个问题是使用以前的扩展(例如 AVX-512BW)来模拟这个指令。 所以我的问题是:如何使这种模拟尽可能有效?
解决方法
我认为这个问题没有一个正确答案。
一方面,使用 AVX-512BW 扩展对 _mm512_dpbusd_epi32
的快速仿真可能如下所示:
inline __m512i _mm512_dpbusd_epi32_bw_fast(__m512i i32,__m512i u8,__m512i i8)
{
__m512i i16 = _mm512_maddubs_epi16(u8,i8); //possible overflow of INT16.
__m512i _1 = _mm512_set1_epi16(1);
return _mm512_add_epi32(i32,_mm512_madd_epi16(i16,_1));
}
这个实现只使用了 3 条指令(而且所有指令都很快)。
但由于 _mm512_maddubs_epi16
指令中 INT16 可能溢出,它可能会给出不正确的结果。
另一方面,正确的仿真看起来很糟糕,需要 14 条指令(其中一些指令特别慢):
inline __m512i _mm512_hadd_epi32(__m512i a,__m512i b)
{
static const __m512i IDX0 = _mm512_setr_epi32(
0x00,0x02,0x04,0x06,0x08,0x0A,0x0C,0x0E,0x10,0x12,0x14,0x16,0x18,0x1A,0x1C,0x1E);
static const __m512i IDX1 = _mm512_setr_epi32(
0x01,0x03,0x05,0x07,0x09,0x0B,0x0D,0x0F,0x11,0x13,0x15,0x17,0x19,0x1B,0x1D,0x1F);
__m512i ab0 = _mm512_permutex2var_epi32(a,IDX0,b);
__m512i ab1 = _mm512_permutex2var_epi32(a,IDX1,b);
return _mm512_add_epi32(ab0,ab1);
}
inline __m512i _mm512_dpbusd_epi32_bw_exact(__m512i i32,__m512i i8)
{
__m512i u8_i16lo = _mm512_cvtepu8_epi16(_mm512_extracti64x4_epi64(u8,0));
__m512i i8_i16lo = _mm512_cvtepi8_epi16(_mm512_extracti64x4_epi64(i8,0));
__m512i i32lo = _mm512_madd_epi16(u8_i16lo,i8_i16lo);
__m512i u8_i16hi = _mm512_cvtepu8_epi16(_mm512_extracti64x4_epi64(u8,1));
__m512i i8_i16hi = _mm512_cvtepi8_epi16(_mm512_extracti64x4_epi64(i8,1));
__m512i i32hi = _mm512_madd_epi16(u8_i16hi,i8_i16hi);
return _mm512_add_epi32(i32,_mm512_hadd_epi32(i32lo,i32hi));
}
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。