1; RUN: opt -S -loop-vectorize -force-vector-interleave=1 -force-vector-width=2 < %s | FileCheck --check-prefixes=CHECK,VEC %s
2; RUN: opt -S -loop-vectorize -force-vector-interleave=2 -force-vector-width=1 < %s | FileCheck --check-prefixes=CHECK %s
3
4; CHECK-LABEL: @postinc
5; CHECK-LABEL: scalar.ph:
6; CHECK: %bc.resume.val = phi i32 [ %n.vec, %middle.block ], [ 0, %entry ]
7; CHECK-LABEL: for.end:
8; CHECK: %[[RET:.*]] = phi i32 [ {{.*}}, %for.body ], [ %n.vec, %middle.block ]
9; CHECK: ret i32 %[[RET]]
10define i32 @postinc(i32 %k)  {
11entry:
12  br label %for.body
13
14for.body:
15  %inc.phi = phi i32 [ 0, %entry ], [ %inc, %for.body ]
16  %inc = add nsw i32 %inc.phi, 1
17  %cmp = icmp eq i32 %inc, %k
18  br i1 %cmp, label %for.end, label %for.body
19
20for.end:
21  ret i32 %inc
22}
23
24; CHECK-LABEL: @preinc
25; CHECK-LABEL: middle.block:
26; CHECK: %[[v3:.+]] = sub i32 %n.vec, 1
27; CHECK-LABEL: scalar.ph:
28; CHECK: %bc.resume.val = phi i32 [ %n.vec, %middle.block ], [ 0, %entry ]
29; CHECK-LABEL: for.end:
30; CHECK: %[[RET:.*]] = phi i32 [ {{.*}}, %for.body ], [ %[[v3]], %middle.block ]
31; CHECK: ret i32 %[[RET]]
32define i32 @preinc(i32 %k)  {
33entry:
34  br label %for.body
35
36for.body:
37  %inc.phi = phi i32 [ 0, %entry ], [ %inc, %for.body ]
38  %inc = add nsw i32 %inc.phi, 1
39  %cmp = icmp eq i32 %inc, %k
40  br i1 %cmp, label %for.end, label %for.body
41
42for.end:
43  ret i32 %inc.phi
44}
45
46; CHECK-LABEL: @constpre
47; CHECK-LABEL: for.end:
48; CHECK: %[[RET:.*]] = phi i32 [ {{.*}}, %for.body ], [ 2, %middle.block ]
49; CHECK: ret i32 %[[RET]]
50define i32 @constpre()  {
51entry:
52  br label %for.body
53
54for.body:
55  %inc.phi = phi i32 [ 32, %entry ], [ %inc, %for.body ]
56  %inc = sub nsw i32 %inc.phi, 2
57  %cmp = icmp eq i32 %inc, 0
58  br i1 %cmp, label %for.end, label %for.body
59
60for.end:
61  ret i32 %inc.phi
62}
63
64; CHECK-LABEL: @geppre
65; CHECK-LABEL: middle.block:
66; CHECK: %ind.escape = getelementptr i32, i32* %ptr, i64 124
67; CHECK-LABEL: for.end:
68; CHECK: %[[RET:.*]] = phi i32* [ {{.*}}, %for.body ], [ %ind.escape, %middle.block ]
69; CHECK: ret i32* %[[RET]]
70define i32* @geppre(i32* %ptr) {
71entry:
72  br label %for.body
73
74for.body:
75  %inc.phi = phi i32 [ 0, %entry ], [ %inc, %for.body ]
76  %ptr.phi = phi i32* [ %ptr, %entry ], [ %inc.ptr, %for.body ]
77  %inc = add nsw i32 %inc.phi, 1
78  %inc.ptr = getelementptr i32, i32* %ptr.phi, i32 4
79  %cmp = icmp eq i32 %inc, 32
80  br i1 %cmp, label %for.end, label %for.body
81
82for.end:
83  ret i32* %ptr.phi
84}
85
86; CHECK-LABEL: @both
87; CHECK-LABEL: middle.block:
88; CHECK: %[[END:.*]] = sub i64 %n.vec, 1
89; CHECK: %ind.escape = getelementptr i32, i32* %base, i64 %[[END]]
90; CHECK-LABEL: for.end:
91; CHECK: %[[RET:.*]] = phi i32* [ %inc.lag1, %for.body ], [ %ind.escape, %middle.block ]
92; CHECK: ret i32* %[[RET]]
93
94define i32* @both(i32 %k)  {
95entry:
96  %base = getelementptr inbounds i32, i32* undef, i64 1
97  br label %for.body
98
99for.body:
100  %inc.phi = phi i32 [ 0, %entry ], [ %inc, %for.body ]
101  %inc.lag1 = phi i32* [ %base, %entry ], [ %tmp, %for.body]
102  %inc.lag2 = phi i32* [ undef, %entry ], [ %inc.lag1, %for.body]
103  %tmp = getelementptr inbounds i32, i32* %inc.lag1, i64 1
104  %inc = add nsw i32 %inc.phi, 1
105  %cmp = icmp eq i32 %inc, %k
106  br i1 %cmp, label %for.end, label %for.body
107
108for.end:
109  ret i32* %inc.lag1
110}
111
112; CHECK-LABEL: @multiphi
113; CHECK-LABEL: scalar.ph:
114; CHECK: %bc.resume.val = phi i32 [ %n.vec, %middle.block ], [ 0, %entry ]
115; CHECK-LABEL: for.end:
116; CHECK: %phi = phi i32 [ {{.*}}, %for.body ], [ %n.vec, %middle.block ]
117; CHECK: %phi2 = phi i32 [ {{.*}}, %for.body ], [ %n.vec, %middle.block ]
118; CHECK: store i32 %phi2, i32* %p
119; CHECK: ret i32 %phi
120define i32 @multiphi(i32 %k, i32* %p)  {
121entry:
122  br label %for.body
123
124for.body:
125  %inc.phi = phi i32 [ 0, %entry ], [ %inc, %for.body ]
126  %inc = add nsw i32 %inc.phi, 1
127  %cmp = icmp eq i32 %inc, %k
128  br i1 %cmp, label %for.end, label %for.body
129
130for.end:
131  %phi = phi i32 [ %inc, %for.body ]
132  %phi2 = phi i32 [ %inc, %for.body ]
133  store i32 %phi2, i32* %p
134  ret i32 %phi
135}
136
137; CHECK-LABEL: @PR30742
138; CHECK:   %[[T15:.+]] = add nsw i32 %tmp03, -7
139; CHECK: vector.ph
140; CHECK:   %[[N_MOD_VF:.+]] = urem i32 %[[T5:.+]], 2
141; CHECK:   %[[N_VEC:.+]] = sub i32 %[[T5]], %[[N_MOD_VF]]
142; CHECK: middle.block
143; CHECK:   %[[CMP:.+]] = icmp eq i32 %[[T5]], %[[N_VEC]]
144; CHECK:   %ind.escape = add i32 %[[T15]],
145; CHECK:   br i1 %[[CMP]], label %BB3, label %scalar.ph
146define void @PR30742() {
147BB0:
148  br label %BB1
149
150BB1:
151  %tmp00 = load i32, i32* undef, align 16
152  %tmp01 = sub i32 %tmp00, undef
153  %tmp02 = icmp slt i32 %tmp01, 1
154  %tmp03 = select i1 %tmp02, i32 1, i32 %tmp01
155  %tmp04 = add nsw i32 %tmp03, -7
156  br label %BB2
157
158BB2:
159  %tmp05 = phi i32 [ %tmp04, %BB1 ], [ %tmp06, %BB2 ]
160  %tmp06 = add i32 %tmp05, -8
161  %tmp07 = icmp sgt i32 %tmp06, 0
162  br i1 %tmp07, label %BB2, label %BB3
163
164BB3:
165  %tmp08 = phi i32 [ %tmp05, %BB2 ]
166  %tmp09 = sub i32 %tmp00, undef
167  %tmp10 = icmp slt i32 %tmp09, 1
168  %tmp11 = select i1 %tmp10, i32 1, i32 %tmp09
169  %tmp12 = add nsw i32 %tmp11, -7
170  br label %BB4
171
172BB4:
173  %tmp13 = phi i32 [ %tmp12, %BB3 ], [ %tmp14, %BB4 ]
174  %tmp14 = add i32 %tmp13, -8
175  %tmp15 = icmp sgt i32 %tmp14, 0
176  br i1 %tmp15, label %BB4, label %BB1
177}
178
179; CHECK-LABEL: @iv_scalar_steps_and_outside_users
180; CHECK-LABEL: scalar.ph:
181; CHECK-NEXT:    %bc.resume.val = phi i64 [ 1002, %middle.block ], [ 0, %entry ]
182; CHECK-LABEL: exit:
183; CHECK-NEXT:    %iv.lcssa = phi i64 [ %iv, %loop ], [ 1001, %middle.block ]
184;
185define i64 @iv_scalar_steps_and_outside_users(i64* %ptr) {
186entry:
187  br label %loop
188
189loop:
190  %iv = phi i64 [ 0, %entry ], [ %iv.next, %loop ]
191  %iv.next = add nuw i64 %iv, 1
192  %gep.ptr = getelementptr inbounds i64, i64* %ptr, i64 %iv
193  store i64 %iv, i64* %gep.ptr
194  %exitcond = icmp ugt i64 %iv, 1000
195  br i1 %exitcond, label %exit, label %loop
196
197exit:
198  %iv.lcssa = phi i64 [ %iv, %loop ]
199  ret i64 %iv.lcssa
200}
201
202
203; %iv.2 is dead in the vector loop and only used outside the loop.
204define i32 @iv_2_dead_in_loop_only_used_outside(i64* %ptr) {
205; CHECK-LABEL: @iv_2_dead_in_loop_only_used_outside
206; CHECK-LABEL: vector.body:
207; CHECK-NEXT:   [[INDEX:%.+]] = phi i64 [ 0, %vector.ph ], [ [[INDEX_NEXT:%.+]], %vector.body ]
208; VEC-NEXT:     [[VEC_IND:%.+]] = phi <2 x i64> [ <i64 0, i64 1>, %vector.ph ], [ [[VEC_IND_NEXT:%.+]], %vector.body ]
209; CHECK:        [[IV_0:%.+]] = add i64 [[INDEX]], 0
210; VEC-NOT:      add i64 [[INDEX]], 1
211; CHECK-NOT:    [[IV_2_0:%.+]] = add i32 %offset.idx, 0
212; CHECK-LABEL: scalar.ph:
213; CHECK-NEXT:    {{.+}} = phi i64 [ 1002, %middle.block ], [ 0, %entry ]
214; CHECK-NEXT:    {{.+}} = phi i32 [ 2004, %middle.block ], [ 0, %entry ]
215; CHECK-LABEL: exit:
216; CHECK-NEXT:    %iv.2.lcssa = phi i32 [ %iv.2, %loop ], [ 2002, %middle.block ]
217;
218entry:
219  br label %loop
220
221loop:
222  %iv = phi i64 [ 0, %entry ], [ %iv.next, %loop ]
223  %iv.2 = phi i32 [ 0, %entry ], [ %iv.2.next, %loop ]
224  %iv.next = add nuw i64 %iv, 1
225  %iv.2.next = add nuw i32 %iv.2, 2
226  %gep.ptr = getelementptr inbounds i64, i64* %ptr, i64 %iv
227  store i64 %iv, i64* %gep.ptr
228  %exitcond = icmp ugt i64 %iv, 1000
229  br i1 %exitcond, label %exit, label %loop
230
231exit:
232  %iv.2.lcssa = phi i32 [ %iv.2, %loop ]
233  ret i32 %iv.2.lcssa
234}
235