; RUN: llc < %s -mtriple=arm64-eabi -aarch64-neon-syntax=apple | FileCheck %s
; This is the IR generated by Clang's __builtin_shufflevector for two 16x uint8_t vectors.
define <16 x i8> @shuffle16_with_and_mask(<16 x i8> %src, <16 x i8> %mask) {
; CHECK-LABEL: shuffle16_with_and_mask:
; CHECK: // %bb.0:
; CHECK-NEXT: movi.16b v2, #15
; CHECK-NEXT: and.16b v1, v1, v2
; CHECK-NEXT: tbl.16b v0, { v0 }, v1
; CHECK-NEXT: ret
%masked_mask = and <16 x i8> %mask, <i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15>
%1 = extractelement <16 x i8> %masked_mask, i64 0
%2 = extractelement <16 x i8> %src, i8 %1
%3 = insertelement <16 x i8> undef, i8 %2, i64 0
%4 = extractelement <16 x i8> %masked_mask, i64 1
%5 = extractelement <16 x i8> %src, i8 %4
%6 = insertelement <16 x i8> %3, i8 %5, i64 1
%7 = extractelement <16 x i8> %masked_mask, i64 2
%8 = extractelement <16 x i8> %src, i8 %7
%9 = insertelement <16 x i8> %6, i8 %8, i64 2
%10 = extractelement <16 x i8> %masked_mask, i64 3
%11 = extractelement <16 x i8> %src, i8 %10
%12 = insertelement <16 x i8> %9, i8 %11, i64 3
%13 = extractelement <16 x i8> %masked_mask, i64 4
%14 = extractelement <16 x i8> %src, i8 %13
%15 = insertelement <16 x i8> %12, i8 %14, i64 4
%16 = extractelement <16 x i8> %masked_mask, i64 5
%17 = extractelement <16 x i8> %src, i8 %16
%18 = insertelement <16 x i8> %15, i8 %17, i64 5
%19 = extractelement <16 x i8> %masked_mask, i64 6
%20 = extractelement <16 x i8> %src, i8 %19
%21 = insertelement <16 x i8> %18, i8 %20, i64 6
%22 = extractelement <16 x i8> %masked_mask, i64 7
%23 = extractelement <16 x i8> %src, i8 %22
%24 = insertelement <16 x i8> %21, i8 %23, i64 7
%25 = extractelement <16 x i8> %masked_mask, i64 8
%26 = extractelement <16 x i8> %src, i8 %25
%27 = insertelement <16 x i8> %24, i8 %26, i64 8
%28 = extractelement <16 x i8> %masked_mask, i64 9
%29 = extractelement <16 x i8> %src, i8 %28
%30 = insertelement <16 x i8> %27, i8 %29, i64 9
%31 = extractelement <16 x i8> %masked_mask, i64 10
%32 = extractelement <16 x i8> %src, i8 %31
%33 = insertelement <16 x i8> %30, i8 %32, i64 10
%34 = extractelement <16 x i8> %masked_mask, i64 11
%35 = extractelement <16 x i8> %src, i8 %34
%36 = insertelement <16 x i8> %33, i8 %35, i64 11
%37 = extractelement <16 x i8> %masked_mask, i64 12
%38 = extractelement <16 x i8> %src, i8 %37
%39 = insertelement <16 x i8> %36, i8 %38, i64 12
%40 = extractelement <16 x i8> %masked_mask, i64 13
%41 = extractelement <16 x i8> %src, i8 %40
%42 = insertelement <16 x i8> %39, i8 %41, i64 13
%43 = extractelement <16 x i8> %masked_mask, i64 14
%44 = extractelement <16 x i8> %src, i8 %43
%45 = insertelement <16 x i8> %42, i8 %44, i64 14
%46 = extractelement <16 x i8> %masked_mask, i64 15
; Make sure that ANY_EXTEND is ignored
%47 = zext i8 %46 to i32
%48 = extractelement <16 x i8> %src, i32 %47
%49 = insertelement <16 x i8> %45, i8 %48, i64 15
ret <16 x i8> %49
}
define <8 x i8> @shuffle8_with_and_mask(<8 x i8> %src, <8 x i8> %mask) {
; CHECK-LABEL: shuffle8_with_and_mask:
; CHECK: // %bb.0:
; CHECK-NEXT: movi.8b v2, #7
; CHECK-NEXT: // kill: def $d0 killed $d0 def $q0
; CHECK-NEXT: and.8b v1, v1, v2
; CHECK-NEXT: tbl.8b v0, { v0 }, v1
; CHECK-NEXT: ret
%masked_mask = and <8 x i8> %mask, <i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7>
%1 = extractelement <8 x i8> %masked_mask, i64 0
%2 = extractelement <8 x i8> %src, i8 %1
%3 = insertelement <8 x i8> undef, i8 %2, i64 0
%4 = extractelement <8 x i8> %masked_mask, i64 1
%5 = extractelement <8 x i8> %src, i8 %4
%6 = insertelement <8 x i8> %3, i8 %5, i64 1
%7 = extractelement <8 x i8> %masked_mask, i64 2
%8 = extractelement <8 x i8> %src, i8 %7
%9 = insertelement <8 x i8> %6, i8 %8, i64 2
%10 = extractelement <8 x i8> %masked_mask, i64 3
%11 = extractelement <8 x i8> %src, i8 %10
%12 = insertelement <8 x i8> %9, i8 %11, i64 3
%13 = extractelement <8 x i8> %masked_mask, i64 4
%14 = extractelement <8 x i8> %src, i8 %13
%15 = insertelement <8 x i8> %12, i8 %14, i64 4
%16 = extractelement <8 x i8> %masked_mask, i64 5
%17 = extractelement <8 x i8> %src, i8 %16
%18 = insertelement <8 x i8> %15, i8 %17, i64 5
%19 = extractelement <8 x i8> %masked_mask, i64 6
%20 = extractelement <8 x i8> %src, i8 %19
%21 = insertelement <8 x i8> %18, i8 %20, i64 6
%22 = extractelement <8 x i8> %masked_mask, i64 7
%23 = extractelement <8 x i8> %src, i8 %22
%24 = insertelement <8 x i8> %21, i8 %23, i64 7
ret <8 x i8> %24
}
define <8 x i8> @shuffle8_with_and_mask_different_constants(<8 x i8> %src, <8 x i8> %mask) {
; CHECK-LABEL: LCPI2_0:
; CHECK-NEXT: .byte 3
; CHECK-NEXT: .byte 1
; CHECK-NEXT: .byte 7
; CHECK-NEXT: .byte 1
; CHECK-NEXT: .byte 7
; CHECK-NEXT: .byte 3
; CHECK-NEXT: .byte 7
; CHECK-NEXT: .byte 7
; CHECK-LABEL: shuffle8_with_and_mask_different_constants:
; CHECK: // %bb.0:
; CHECK-NEXT: adrp x8, .LCPI2_0
; CHECK-NEXT: // kill: def $d0 killed $d0 def $q0
; CHECK-NEXT: ldr d2, [x8, :lo12:.LCPI2_0]
; CHECK-NEXT: and.8b v1, v1, v2
; CHECK-NEXT: tbl.8b v0, { v0 }, v1
; CHECK-NEXT: ret
%masked_mask = and <8 x i8> %mask, <i8 3, i8 1, i8 7, i8 1, i8 7, i8 3, i8 7, i8 7>
%1 = extractelement <8 x i8> %masked_mask, i64 0
%2 = extractelement <8 x i8> %src, i8 %1
%3 = insertelement <8 x i8> undef, i8 %2, i64 0
%4 = extractelement <8 x i8> %masked_mask, i64 1
%5 = extractelement <8 x i8> %src, i8 %4
%6 = insertelement <8 x i8> %3, i8 %5, i64 1
%7 = extractelement <8 x i8> %masked_mask, i64 2
%8 = extractelement <8 x i8> %src, i8 %7
%9 = insertelement <8 x i8> %6, i8 %8, i64 2
%10 = extractelement <8 x i8> %masked_mask, i64 3
%11 = extractelement <8 x i8> %src, i8 %10
%12 = insertelement <8 x i8> %9, i8 %11, i64 3
%13 = extractelement <8 x i8> %masked_mask, i64 4
%14 = extractelement <8 x i8> %src, i8 %13
%15 = insertelement <8 x i8> %12, i8 %14, i64 4
%16 = extractelement <8 x i8> %masked_mask, i64 5
%17 = extractelement <8 x i8> %src, i8 %16
%18 = insertelement <8 x i8> %15, i8 %17, i64 5
%19 = extractelement <8 x i8> %masked_mask, i64 6
%20 = extractelement <8 x i8> %src, i8 %19
%21 = insertelement <8 x i8> %18, i8 %20, i64 6
%22 = extractelement <8 x i8> %masked_mask, i64 7
%23 = extractelement <8 x i8> %src, i8 %22
%24 = insertelement <8 x i8> %21, i8 %23, i64 7
ret <8 x i8> %24
}
define <8 x i8> @shuffle8_with_mask(<8 x i8> %src, <8 x i8> %mask) {
; CHECK-LABEL: shuffle8_with_mask:
; CHECK: // %bb.0:
; CHECK-NEXT: // kill: def $d0 killed $d0 def $q0
; CHECK-NEXT: tbl.8b v0, { v0 }, v1
; CHECK-NEXT: ret
%1 = extractelement <8 x i8> %mask, i64 0
%2 = extractelement <8 x i8> %src, i8 %1
%3 = insertelement <8 x i8> undef, i8 %2, i64 0
%4 = extractelement <8 x i8> %mask, i64 1
%5 = extractelement <8 x i8> %src, i8 %4
%6 = insertelement <8 x i8> %3, i8 %5, i64 1
%7 = extractelement <8 x i8> %mask, i64 2
%8 = extractelement <8 x i8> %src, i8 %7
%9 = insertelement <8 x i8> %6, i8 %8, i64 2
%10 = extractelement <8 x i8> %mask, i64 3
%11 = extractelement <8 x i8> %src, i8 %10
%12 = insertelement <8 x i8> %9, i8 %11, i64 3
%13 = extractelement <8 x i8> %mask, i64 4
%14 = extractelement <8 x i8> %src, i8 %13
%15 = insertelement <8 x i8> %12, i8 %14, i64 4
%16 = extractelement <8 x i8> %mask, i64 5
%17 = extractelement <8 x i8> %src, i8 %16
%18 = insertelement <8 x i8> %15, i8 %17, i64 5
%19 = extractelement <8 x i8> %mask, i64 6
%20 = extractelement <8 x i8> %src, i8 %19
%21 = insertelement <8 x i8> %18, i8 %20, i64 6
%22 = extractelement <8 x i8> %mask, i64 7
%23 = extractelement <8 x i8> %src, i8 %22
%24 = insertelement <8 x i8> %21, i8 %23, i64 7
ret <8 x i8> %24
}
define <8 x i8> @no_shuffle_only_some_and_constants(<8 x i8> %src, <8 x i8> %mask) {
; CHECK-LABEL: no_shuffle_only_some_and_constants:
; CHECK: // %bb.0:
; CHECK-NOT: tbl.16b
; Element at 0 has a AND mask, element at 1 does not.
%1 = extractelement <8 x i8> %mask, i64 0
%masked_elt1 = and i8 %1, 7
%2 = extractelement <8 x i8> %src, i8 %masked_elt1
%3 = insertelement <8 x i8> undef, i8 %2, i64 0
%4 = extractelement <8 x i8> %mask, i64 1
%5 = extractelement <8 x i8> %src, i8 %4
%6 = insertelement <8 x i8> %3, i8 %5, i64 1
%7 = extractelement <8 x i8> %mask, i64 2
%8 = extractelement <8 x i8> %src, i8 %7
%9 = insertelement <8 x i8> %6, i8 %8, i64 2
%10 = extractelement <8 x i8> %mask, i64 3
%11 = extractelement <8 x i8> %src, i8 %10
%12 = insertelement <8 x i8> %9, i8 %11, i64 3
%13 = extractelement <8 x i8> %mask, i64 4
%14 = extractelement <8 x i8> %src, i8 %13
%15 = insertelement <8 x i8> %12, i8 %14, i64 4
%16 = extractelement <8 x i8> %mask, i64 5
%17 = extractelement <8 x i8> %src, i8 %16
%18 = insertelement <8 x i8> %15, i8 %17, i64 5
%19 = extractelement <8 x i8> %mask, i64 6
%20 = extractelement <8 x i8> %src, i8 %19
%21 = insertelement <8 x i8> %18, i8 %20, i64 6
%22 = extractelement <8 x i8> %mask, i64 7
%23 = extractelement <8 x i8> %src, i8 %22
%24 = insertelement <8 x i8> %21, i8 %23, i64 7
ret <8 x i8> %24
}
; Takes alternating entries from two mask source vectors. Currently not supported.
define <16 x i8> @no_shuffle_with_two_mask_sources(<16 x i8> %src, <16 x i8> %mask1, <16 x i8> %mask2) {
; CHECK-LABEL: shuffle_with_two_mask_sources:
; CHECK: // %bb.0:
; CHECK-NOT: tbl.16b
%masked_mask1 = and <16 x i8> %mask1, <i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15>
%masked_mask2 = and <16 x i8> %mask2, <i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15, i8 15>
%1 = extractelement <16 x i8> %masked_mask1, i64 0
%2 = extractelement <16 x i8> %src, i8 %1
%3 = insertelement <16 x i8> undef, i8 %2, i64 0
%4 = extractelement <16 x i8> %masked_mask2, i64 1
%5 = extractelement <16 x i8> %src, i8 %4
%6 = insertelement <16 x i8> %3, i8 %5, i64 1
%7 = extractelement <16 x i8> %masked_mask1, i64 2
%8 = extractelement <16 x i8> %src, i8 %7
%9 = insertelement <16 x i8> %6, i8 %8, i64 2
%10 = extractelement <16 x i8> %masked_mask2, i64 3
%11 = extractelement <16 x i8> %src, i8 %10
%12 = insertelement <16 x i8> %9, i8 %11, i64 3
%13 = extractelement <16 x i8> %masked_mask1, i64 4
%14 = extractelement <16 x i8> %src, i8 %13
%15 = insertelement <16 x i8> %12, i8 %14, i64 4
%16 = extractelement <16 x i8> %masked_mask2, i64 5
%17 = extractelement <16 x i8> %src, i8 %16
%18 = insertelement <16 x i8> %15, i8 %17, i64 5
%19 = extractelement <16 x i8> %masked_mask1, i64 6
%20 = extractelement <16 x i8> %src, i8 %19
%21 = insertelement <16 x i8> %18, i8 %20, i64 6
%22 = extractelement <16 x i8> %masked_mask2, i64 7
%23 = extractelement <16 x i8> %src, i8 %22
%24 = insertelement <16 x i8> %21, i8 %23, i64 7
%25 = extractelement <16 x i8> %masked_mask1, i64 8
%26 = extractelement <16 x i8> %src, i8 %25
%27 = insertelement <16 x i8> %24, i8 %26, i64 8
%28 = extractelement <16 x i8> %masked_mask2, i64 9
%29 = extractelement <16 x i8> %src, i8 %28
%30 = insertelement <16 x i8> %27, i8 %29, i64 9
%31 = extractelement <16 x i8> %masked_mask1, i64 10
%32 = extractelement <16 x i8> %src, i8 %31
%33 = insertelement <16 x i8> %30, i8 %32, i64 10
%34 = extractelement <16 x i8> %masked_mask2, i64 11
%35 = extractelement <16 x i8> %src, i8 %34
%36 = insertelement <16 x i8> %33, i8 %35, i64 11
%37 = extractelement <16 x i8> %masked_mask1, i64 12
%38 = extractelement <16 x i8> %src, i8 %37
%39 = insertelement <16 x i8> %36, i8 %38, i64 12
%40 = extractelement <16 x i8> %masked_mask2, i64 13
%41 = extractelement <16 x i8> %src, i8 %40
%42 = insertelement <16 x i8> %39, i8 %41, i64 13
%43 = extractelement <16 x i8> %masked_mask1, i64 14
%44 = extractelement <16 x i8> %src, i8 %43
%45 = insertelement <16 x i8> %42, i8 %44, i64 14
%46 = extractelement <16 x i8> %masked_mask2, i64 15
%47 = extractelement <16 x i8> %src, i8 %46
%48 = insertelement <16 x i8> %45, i8 %47, i64 15
ret <16 x i8> %48
}
; Non-supported vector type.
define <4 x i32> @no_for_shuffle_int_vector(<4 x i32> %src, <4 x i32> %mask) {
; CHECK-LABEL: no_for_shuffle_int_vector:
; CHECK: // %bb.0:
; CHECK-NOT: tbl.16b
%masked_mask = and <4 x i32> %mask, <i32 3, i32 3, i32 3, i32 3>
%1 = extractelement <4 x i32> %masked_mask, i64 0
%2 = extractelement <4 x i32> %src, i32 %1
%3 = insertelement <4 x i32> undef, i32 %2, i64 0
%4 = extractelement <4 x i32> %masked_mask, i64 1
%5 = extractelement <4 x i32> %src, i32 %4
%6 = insertelement <4 x i32> %3, i32 %5, i64 1
%7 = extractelement <4 x i32> %masked_mask, i64 2
%8 = extractelement <4 x i32> %src, i32 %7
%9 = insertelement <4 x i32> %6, i32 %8, i64 2
%10 = extractelement <4 x i32> %masked_mask, i64 3
%11 = extractelement <4 x i32> %src, i32 %10
%12 = insertelement <4 x i32> %9, i32 %11, i64 3
ret <4 x i32> %12
}
define <8 x i8> @no_shuffle_not_enough_elements(<8 x i8> %src, <8 x i8> %mask) {
; CHECK-LABEL: no_shuffle_not_enough_elements:
; CHECK: // %bb.0:
; CHECK-NOT: tbl.16b
%masked_mask = and <8 x i8> %mask, <i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7>
%1 = extractelement <8 x i8> %masked_mask, i64 0
%2 = extractelement <8 x i8> %src, i8 %1
%3 = insertelement <8 x i8> undef, i8 %2, i64 0
%4 = extractelement <8 x i8> %masked_mask, i64 1
%5 = extractelement <8 x i8> %src, i8 %4
%6 = insertelement <8 x i8> %3, i8 %5, i64 1
%7 = extractelement <8 x i8> %masked_mask, i64 2
%8 = extractelement <8 x i8> %src, i8 %7
%9 = insertelement <8 x i8> %6, i8 %8, i64 2
%10 = extractelement <8 x i8> %masked_mask, i64 3
%11 = extractelement <8 x i8> %src, i8 %10
%12 = insertelement <8 x i8> %9, i8 %11, i64 3
ret <8 x i8> %12
}
define <8 x i8> @no_shuffle_different_vector_types(<8 x i8> %src, <16 x i8> %mask) {
; CHECK-LABEL: no_shuffle_different_vector_types:
; CHECK: // %bb.0:
; CHECK-NOT: tbl.16b
%masked_mask = and <16 x i8> %mask, <i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7>
%1 = extractelement <16 x i8> %masked_mask, i64 0
%2 = extractelement <8 x i8> %src, i8 %1
%3 = insertelement <8 x i8> undef, i8 %2, i64 0
%4 = extractelement <16 x i8> %masked_mask, i64 1
%5 = extractelement <8 x i8> %src, i8 %4
%6 = insertelement <8 x i8> %3, i8 %5, i64 1
%7 = extractelement <16 x i8> %masked_mask, i64 2
%8 = extractelement <8 x i8> %src, i8 %7
%9 = insertelement <8 x i8> %6, i8 %8, i64 2
%10 = extractelement <16 x i8> %masked_mask, i64 3
%11 = extractelement <8 x i8> %src, i8 %10
%12 = insertelement <8 x i8> %9, i8 %11, i64 3
%13 = extractelement <16 x i8> %masked_mask, i64 4
%14 = extractelement <8 x i8> %src, i8 %13
%15 = insertelement <8 x i8> %12, i8 %14, i64 4
%16 = extractelement <16 x i8> %masked_mask, i64 5
%17 = extractelement <8 x i8> %src, i8 %16
%18 = insertelement <8 x i8> %15, i8 %17, i64 5
%19 = extractelement <16 x i8> %masked_mask, i64 6
%20 = extractelement <8 x i8> %src, i8 %19
%21 = insertelement <8 x i8> %18, i8 %20, i64 6
%22 = extractelement <16 x i8> %masked_mask, i64 7
%23 = extractelement <8 x i8> %src, i8 %22
%24 = insertelement <8 x i8> %21, i8 %23, i64 7
ret <8 x i8> %24
}
define <8 x i8> @no_shuffle_bad_mask_index(<8 x i8> %src, <8 x i8> %mask) {
; CHECK-LABEL: no_shuffle_bad_mask_index:
; CHECK: // %bb.0:
; CHECK-NOT: tbl.16b
%masked_mask = and <8 x i8> %mask, <i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7, i8 7>
; This should extract at 0, but because it extracts at 1, the pattern does not match.
%1 = extractelement <8 x i8> %masked_mask, i64 1
%2 = extractelement <8 x i8> %src, i8 %1
%3 = insertelement <8 x i8> undef, i8 %2, i64 0
%4 = extractelement <8 x i8> %masked_mask, i64 1
%5 = extractelement <8 x i8> %src, i8 %4
%6 = insertelement <8 x i8> %3, i8 %5, i64 1
%7 = extractelement <8 x i8> %masked_mask, i64 2
%8 = extractelement <8 x i8> %src, i8 %7
%9 = insertelement <8 x i8> %6, i8 %8, i64 2
%10 = extractelement <8 x i8> %masked_mask, i64 3
%11 = extractelement <8 x i8> %src, i8 %10
%12 = insertelement <8 x i8> %9, i8 %11, i64 3
%13 = extractelement <8 x i8> %masked_mask, i64 4
%14 = extractelement <8 x i8> %src, i8 %13
%15 = insertelement <8 x i8> %12, i8 %14, i64 4
%16 = extractelement <8 x i8> %masked_mask, i64 5
%17 = extractelement <8 x i8> %src, i8 %16
%18 = insertelement <8 x i8> %15, i8 %17, i64 5
%19 = extractelement <8 x i8> %masked_mask, i64 6
%20 = extractelement <8 x i8> %src, i8 %19
%21 = insertelement <8 x i8> %18, i8 %20, i64 6
%22 = extractelement <8 x i8> %masked_mask, i64 7
%23 = extractelement <8 x i8> %src, i8 %22
%24 = insertelement <8 x i8> %21, i8 %23, i64 7
ret <8 x i8> %24
}
Codebase Browser
llvm