Lines Matching refs:ymm0

23 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
32 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
37 ; AVX2-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0
45 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
49 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
54 ; XOPAVX2-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0
59 ; AVX512-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0
64 ; AVX512VL-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0
70 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
79 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
84 ; X86-AVX2-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0
93 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
118 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
123 ; AVX2-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
131 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
135 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
140 ; XOPAVX2-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
145 ; AVX512-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
150 ; AVX512VL-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
155 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
180 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
185 ; X86-AVX2-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
199 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
224 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
231 …ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],…
235 …{{.*#+}} ymm0 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[8],ymm0[8],ym…
236 ; AVX2-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
237 ; AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
238 ; AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
246 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
250 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
258 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm4
262 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
268 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
270 ; AVX512DQ-NEXT:    vpmovdw %zmm0, %ymm0
276 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
278 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 killed $zmm0
284 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
286 ; AVX512DQVL-NEXT:    vpmovdw %zmm0, %ymm0
291 ; AVX512BWVL-NEXT:    vpsrlvw %ymm1, %ymm0, %ymm0
301 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
326 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
333 …ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],…
337 …{{.*#+}} ymm0 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[8],ymm0[8],ym…
338 ; X86-AVX2-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
339 ; X86-AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
340 ; X86-AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
349 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
378 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
384 ; AVX2-NEXT:    vpsrlw $4, %ymm0, %ymm2
386 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
387 ; AVX2-NEXT:    vpsrlw $2, %ymm0, %ymm2
390 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
391 ; AVX2-NEXT:    vpsrlw $1, %ymm0, %ymm2
394 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
402 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
406 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
414 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm4
418 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
424 ; AVX512DQ-NEXT:    vpsrlw $4, %ymm0, %ymm2
426 ; AVX512DQ-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
427 ; AVX512DQ-NEXT:    vpsrlw $2, %ymm0, %ymm2
430 ; AVX512DQ-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
431 ; AVX512DQ-NEXT:    vpsrlw $1, %ymm0, %ymm2
434 ; AVX512DQ-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
440 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
442 ; AVX512BW-NEXT:    vpmovwb %zmm0, %ymm0
448 ; AVX512DQVL-NEXT:    vpsrlw $4, %ymm0, %ymm2
450 ; AVX512DQVL-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
451 ; AVX512DQVL-NEXT:    vpsrlw $2, %ymm0, %ymm2
454 ; AVX512DQVL-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
455 ; AVX512DQVL-NEXT:    vpsrlw $1, %ymm0, %ymm2
458 ; AVX512DQVL-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
464 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
466 ; AVX512BWVL-NEXT:    vpmovwb %zmm0, %ymm0
471 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
500 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm0, %ymm0
506 ; X86-AVX2-NEXT:    vpsrlw $4, %ymm0, %ymm2
508 ; X86-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
509 ; X86-AVX2-NEXT:    vpsrlw $2, %ymm0, %ymm2
512 ; X86-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
513 ; X86-AVX2-NEXT:    vpsrlw $1, %ymm0, %ymm2
516 ; X86-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
529 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
532 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
537 ; AVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
542 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
545 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
550 ; XOPAVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
555 ; AVX512-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
560 ; AVX512VL-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
565 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
568 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
573 ; X86-AVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
583 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
587 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
593 ; AVX2-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
598 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
602 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
608 ; XOPAVX2-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
614 ; AVX512-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
620 ; AVX512VL-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
625 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
629 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
635 ; X86-AVX2-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
645 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
649 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
655 ; AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
660 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
664 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
670 ; XOPAVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
676 ; AVX512-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
682 ; AVX512VL-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
687 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
691 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
697 ; X86-AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
707 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
716 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
722 ; AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
727 ; AVX2-NEXT:    vpand %ymm1, %ymm0, %ymm0
735 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
738 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
746 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
749 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
755 ; AVX512DQ-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
760 ; AVX512DQ-NEXT:    vpand %ymm1, %ymm0, %ymm0
765 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
768 ; AVX512BW-NEXT:    vpmovwb %zmm0, %ymm0
774 ; AVX512DQVL-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
779 ; AVX512DQVL-NEXT:    vpand %ymm1, %ymm0, %ymm0
784 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
787 ; AVX512BWVL-NEXT:    vpmovwb %zmm0, %ymm0
792 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
801 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
807 ; X86-AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
812 ; X86-AVX2-NEXT:    vpand %ymm1, %ymm0, %ymm0
826 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
830 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
836 ; AVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
841 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
845 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
851 ; XOPAVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
857 ; AVX512-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
863 ; AVX512VL-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
868 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
872 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
878 ; X86-AVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
889 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
893 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
899 ; AVX2-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
904 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
908 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
914 ; XOPAVX2-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
920 ; AVX512-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
926 ; AVX512VL-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
931 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
935 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
941 ; X86-AVX2-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
952 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
956 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
962 ; AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
967 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
971 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
977 ; XOPAVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
983 ; AVX512-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
989 ; AVX512VL-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
994 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
998 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1004 ; X86-AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
1015 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1024 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1030 ; AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
1035 ; AVX2-NEXT:    vpand %ymm1, %ymm0, %ymm0
1044 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1047 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1056 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
1059 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
1065 ; AVX512DQ-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
1070 ; AVX512DQ-NEXT:    vpand %ymm1, %ymm0, %ymm0
1075 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
1079 ; AVX512BW-NEXT:    vpmovwb %zmm0, %ymm0
1085 ; AVX512DQVL-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
1090 ; AVX512DQVL-NEXT:    vpand %ymm1, %ymm0, %ymm0
1095 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
1099 ; AVX512BWVL-NEXT:    vpmovwb %zmm0, %ymm0
1104 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1113 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1119 ; X86-AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
1124 ; X86-AVX2-NEXT:    vpand %ymm1, %ymm0, %ymm0
1139 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1146 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1151 ; AVX2-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1157 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1159 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1164 ; XOPAVX2-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1169 ; AVX512-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1174 ; AVX512VL-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1179 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1186 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1191 ; X86-AVX2-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0
1207 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1213 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1218 ; AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1224 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1226 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1231 ; XOPAVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1236 ; AVX512-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1241 ; AVX512VL-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1253 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1259 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1264 ; X86-AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0
1275 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1277 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1282 ; AVX2-NEXT:    vpmulhuw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm1
1284 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
1290 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1292 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1297 ; XOPAVX2-NEXT:    vpmulhuw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm1
1299 ; XOPAVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
1304 ; AVX512DQ-NEXT:    vpmulhuw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm1
1306 ; AVX512DQ-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
1311 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 def $zmm0
1314 ; AVX512BW-NEXT:    # kill: def $ymm0 killed $ymm0 killed $zmm0
1319 ; AVX512DQVL-NEXT:    vpmulhuw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm1
1321 ; AVX512DQVL-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
1326 ; AVX512BWVL-NEXT:    vpsrlvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1333 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1335 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1340 ; X86-AVX2-NEXT:    vpmulhuw {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm1
1342 ; X86-AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
1351 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1369 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1375 …ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm…
1378 …ymm0 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm…
1379 ; AVX2-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1380 ; AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
1381 ; AVX2-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
1386 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1390 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1395 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1399 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0
1405 …ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm…
1408 …ymm0 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm…
1409 ; AVX512DQ-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1410 ; AVX512DQ-NEXT:    vpsrlw $8, %ymm0, %ymm0
1411 ; AVX512DQ-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
1416 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
1418 ; AVX512BW-NEXT:    vpmovwb %zmm0, %ymm0
1424 …ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm…
1427 …ymm0 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm…
1428 ; AVX512DQVL-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1429 ; AVX512DQVL-NEXT:    vpsrlw $8, %ymm0, %ymm0
1430 ; AVX512DQVL-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
1435 …ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7]…
1437 ; AVX512BWVL-NEXT:    vpmovwb %zmm0, %ymm0
1442 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1460 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1466 …ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm…
1469 …ymm0 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm…
1470 ; X86-AVX2-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0
1471 ; X86-AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
1472 ; X86-AVX2-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
1486 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1488 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1493 ; AVX2-NEXT:    vpsrlq $7, %ymm0, %ymm0
1499 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1501 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1506 ; XOPAVX2-NEXT:    vpsrlq $7, %ymm0, %ymm0
1511 ; AVX512-NEXT:    vpsrlq $7, %ymm0, %ymm0
1516 ; AVX512VL-NEXT:    vpsrlq $7, %ymm0, %ymm0
1522 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1524 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1529 ; X86-AVX2-NEXT:    vpsrlq $7, %ymm0, %ymm0
1539 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1541 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1546 ; AVX2-NEXT:    vpsrld $5, %ymm0, %ymm0
1552 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1554 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1559 ; XOPAVX2-NEXT:    vpsrld $5, %ymm0, %ymm0
1564 ; AVX512-NEXT:    vpsrld $5, %ymm0, %ymm0
1569 ; AVX512VL-NEXT:    vpsrld $5, %ymm0, %ymm0
1575 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1577 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1582 ; X86-AVX2-NEXT:    vpsrld $5, %ymm0, %ymm0
1592 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1594 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1599 ; AVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
1605 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1607 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1612 ; XOPAVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
1617 ; AVX512-NEXT:    vpsrlw $3, %ymm0, %ymm0
1622 ; AVX512VL-NEXT:    vpsrlw $3, %ymm0, %ymm0
1628 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1630 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1635 ; X86-AVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
1644 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1650 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1655 ; AVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
1656 ; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1661 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1665 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1670 ; XOPAVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
1671 ; XOPAVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1676 ; AVX512-NEXT:    vpsrlw $3, %ymm0, %ymm0
1677 ; AVX512-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1682 ; AVX512VL-NEXT:    vpsrlw $3, %ymm0, %ymm0
1683 ; AVX512VL-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
1688 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1694 ; X86-AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1699 ; X86-AVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
1700 ; X86-AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}, %ymm0, %ymm0
1714 ; AVX1-NEXT:    vshufps {{.*#+}} ymm0 = ymm0[1,3],ymm1[1,3],ymm0[5,7],ymm1[5,7]
1715 ; AVX1-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[0,2,1,3,4,6,5,7]
1720 ; AVX2-NEXT:    vpsrlq $32, %ymm0, %ymm0
1726 ; XOPAVX1-NEXT:    vshufps {{.*#+}} ymm0 = ymm0[1,3],ymm1[1,3],ymm0[5,7],ymm1[5,7]
1727 ; XOPAVX1-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[0,2,1,3,4,6,5,7]
1732 ; XOPAVX2-NEXT:    vpsrlq $32, %ymm0, %ymm0
1737 ; AVX512-NEXT:    vpsrlq $32, %ymm0, %ymm0
1742 ; AVX512VL-NEXT:    vpsrlq $32, %ymm0, %ymm0
1748 ; X86-AVX1-NEXT:    vshufps {{.*#+}} ymm0 = ymm0[1,3],ymm1[1,3],ymm0[5,7],ymm1[5,7]
1749 ; X86-AVX1-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[0,2,1,3,4,6,5,7]
1754 ; X86-AVX2-NEXT:    vpsrlq $32, %ymm0, %ymm0
1763 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1773 ; AVX2-NEXT:    vpsrlq $36, %ymm0, %ymm0
1774 ; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1783 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1793 ; XOPAVX2-NEXT:    vpsrlq $36, %ymm0, %ymm0
1794 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
1803 ; AVX512-NEXT:    vpsrlq $36, %ymm0, %ymm0
1804 ; AVX512-NEXT:    vpmovqd %zmm0, %ymm0
1812 ; AVX512VL-NEXT:    vpsrlq $36, %ymm0, %ymm0
1813 ; AVX512VL-NEXT:    vpmovqd %ymm0, %xmm0
1820 ; X86-AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
1830 ; X86-AVX2-NEXT:    vpsrlq $36, %ymm0, %ymm0
1831 ; X86-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1