1 // Test target codegen - host bc file has to be created first.
2 // RUN: %clang_cc1 -verify -fopenmp -x c++ -triple powerpc64le-unknown-unknown -fopenmp-targets=nvptx64-nvidia-cuda -emit-llvm-bc %s -o %t-ppc-host.bc
3 // RUN: %clang_cc1 -verify -fopenmp -x c++ -triple nvptx64-unknown-unknown -fopenmp-targets=nvptx64-nvidia-cuda -emit-llvm %s -fopenmp-is-device -fopenmp-host-ir-file-path %t-ppc-host.bc -o - | FileCheck %s --check-prefix CHECK --check-prefix CHECK-64
4 // RUN: %clang_cc1 -verify -fopenmp -x c++ -triple i386-unknown-unknown -fopenmp-targets=nvptx-nvidia-cuda -emit-llvm-bc %s -o %t-x86-host.bc
5 // RUN: %clang_cc1 -verify -fopenmp -x c++ -triple nvptx-unknown-unknown -fopenmp-targets=nvptx-nvidia-cuda -emit-llvm %s -fopenmp-is-device -fopenmp-host-ir-file-path %t-x86-host.bc -o - | FileCheck %s --check-prefix CHECK --check-prefix CHECK-32
6 // RUN: %clang_cc1 -verify -fopenmp -fexceptions -fcxx-exceptions -x c++ -triple nvptx-unknown-unknown -fopenmp-targets=nvptx-nvidia-cuda -emit-llvm %s -fopenmp-is-device -fopenmp-host-ir-file-path %t-x86-host.bc -o - | FileCheck %s --check-prefix CHECK --check-prefix CHECK-32
7 // expected-no-diagnostics
8 #ifndef HEADER
9 #define HEADER
10 
11 template<typename tx>
12 tx ftemplate(int n) {
13   tx a = 0;
14   short aa = 0;
15   tx b[10];
16 
17   #pragma omp target if(0)
18   {
19     #pragma omp parallel
20     {
21       int a = 41;
22     }
23     a += 1;
24   }
25 
26   #pragma omp target
27   {
28     #pragma omp parallel
29     {
30       int a = 42;
31     }
32     #pragma omp parallel if(0)
33     {
34       int a = 43;
35     }
36     #pragma omp parallel if(1)
37     {
38       int a = 44;
39     }
40     a += 1;
41   }
42 
43   #pragma omp target if(n>40)
44   {
45     #pragma omp parallel if(n>1000)
46     {
47       int a = 45;
48     }
49     a += 1;
50     aa += 1;
51     b[2] += 1;
52   }
53 
54   return a;
55 }
56 
57 int bar(int n){
58   int a = 0;
59 
60   a += ftemplate<int>(n);
61 
62   return a;
63 }
64 
65   // CHECK-NOT: define {{.*}}void {{@__omp_offloading_.+template.+l17}}_worker()
66 
67 
68 
69 
70 
71 
72   // CHECK-LABEL: define {{.*}}void {{@__omp_offloading_.+template.+l26}}_worker()
73   // CHECK-DAG: [[OMP_EXEC_STATUS:%.+]] = alloca i8,
74   // CHECK-DAG: [[OMP_WORK_FN:%.+]] = alloca i8*,
75   // CHECK: store i8* null, i8** [[OMP_WORK_FN]],
76   // CHECK: store i8 0, i8* [[OMP_EXEC_STATUS]],
77   // CHECK: br label {{%?}}[[AWAIT_WORK:.+]]
78   //
79   // CHECK: [[AWAIT_WORK]]
80   // CHECK: call void @llvm.nvvm.barrier0()
81   // CHECK: [[KPR:%.+]] = call i1 @__kmpc_kernel_parallel(i8** [[OMP_WORK_FN]])
82   // CHECK: [[KPRB:%.+]] = zext i1 [[KPR]] to i8
83   // store i8 [[KPRB]], i8* [[OMP_EXEC_STATUS]], align 1
84   // CHECK: [[WORK:%.+]] = load i8*, i8** [[OMP_WORK_FN]],
85   // CHECK: [[SHOULD_EXIT:%.+]] = icmp eq i8* [[WORK]], null
86   // CHECK: br i1 [[SHOULD_EXIT]], label {{%?}}[[EXIT:.+]], label {{%?}}[[SEL_WORKERS:.+]]
87   //
88   // CHECK: [[SEL_WORKERS]]
89   // CHECK: [[ST:%.+]] = load i8, i8* [[OMP_EXEC_STATUS]]
90   // CHECK: [[IS_ACTIVE:%.+]] = icmp ne i8 [[ST]], 0
91   // CHECK: br i1 [[IS_ACTIVE]], label {{%?}}[[EXEC_PARALLEL:.+]], label {{%?}}[[BAR_PARALLEL:.+]]
92   //
93   // CHECK: [[EXEC_PARALLEL]]
94   // CHECK: [[WF1:%.+]] = load i8*, i8** [[OMP_WORK_FN]],
95   // CHECK: [[WM1:%.+]] = icmp eq i8* [[WF1]], bitcast (void (i32*, i32*)* [[PARALLEL_FN1:@.+]] to i8*)
96   // CHECK: br i1 [[WM1]], label {{%?}}[[EXEC_PFN1:.+]], label {{%?}}[[CHECK_NEXT1:.+]]
97   //
98   // CHECK: [[EXEC_PFN1]]
99   // CHECK: call void [[PARALLEL_FN1]](
100   // CHECK: br label {{%?}}[[TERM_PARALLEL:.+]]
101   //
102   // CHECK: [[CHECK_NEXT1]]
103   // CHECK: [[WF2:%.+]] = load i8*, i8** [[OMP_WORK_FN]],
104   // CHECK: [[WM2:%.+]] = icmp eq i8* [[WF2]], bitcast (void (i32*, i32*)* [[PARALLEL_FN2:@.+]] to i8*)
105   // CHECK: br i1 [[WM2]], label {{%?}}[[EXEC_PFN2:.+]], label {{%?}}[[CHECK_NEXT2:.+]]
106   //
107   // CHECK: [[EXEC_PFN2]]
108   // CHECK: call void [[PARALLEL_FN2]](
109   // CHECK: br label {{%?}}[[TERM_PARALLEL:.+]]
110   //
111   // CHECK: [[CHECK_NEXT2]]
112   // CHECK: br label {{%?}}[[TERM_PARALLEL:.+]]
113   //
114   // CHECK: [[TERM_PARALLEL]]
115   // CHECK: call void @__kmpc_kernel_end_parallel()
116   // CHECK: br label {{%?}}[[BAR_PARALLEL]]
117   //
118   // CHECK: [[BAR_PARALLEL]]
119   // CHECK: call void @llvm.nvvm.barrier0()
120   // CHECK: br label {{%?}}[[AWAIT_WORK]]
121   //
122   // CHECK: [[EXIT]]
123   // CHECK: ret void
124 
125   // CHECK: define {{.*}}void [[T6:@__omp_offloading_.+template.+l26]](i[[SZ:32|64]]
126   // Create local storage for each capture.
127   // CHECK:  [[LOCAL_A:%.+]] = alloca i[[SZ]],
128   // CHECK-DAG:  store i[[SZ]] [[ARG_A:%.+]], i[[SZ]]* [[LOCAL_A]]
129   // Store captures in the context.
130   // CHECK-64-DAG:[[REF_A:%.+]] = bitcast i[[SZ]]* [[LOCAL_A]] to i32*
131   //
132   // CHECK-DAG: [[TID:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.tid.x()
133   // CHECK-DAG: [[NTH:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
134   // CHECK-DAG: [[WS:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.warpsize()
135   // CHECK-DAG: [[TH_LIMIT:%.+]] = sub i32 [[NTH]], [[WS]]
136   // CHECK: [[IS_WORKER:%.+]] = icmp ult i32 [[TID]], [[TH_LIMIT]]
137   // CHECK: br i1 [[IS_WORKER]], label {{%?}}[[WORKER:.+]], label {{%?}}[[CHECK_MASTER:.+]]
138   //
139   // CHECK: [[WORKER]]
140   // CHECK: {{call|invoke}} void [[T6]]_worker()
141   // CHECK: br label {{%?}}[[EXIT:.+]]
142   //
143   // CHECK: [[CHECK_MASTER]]
144   // CHECK-DAG: [[CMTID:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.tid.x()
145   // CHECK-DAG: [[CMNTH:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
146   // CHECK-DAG: [[CMWS:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.warpsize()
147   // CHECK: [[IS_MASTER:%.+]] = icmp eq i32 [[CMTID]],
148   // CHECK: br i1 [[IS_MASTER]], label {{%?}}[[MASTER:.+]], label {{%?}}[[EXIT]]
149   //
150   // CHECK: [[MASTER]]
151   // CHECK-DAG: [[MNTH:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
152   // CHECK-DAG: [[MWS:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.warpsize()
153   // CHECK: [[MTMP1:%.+]] = sub i32 [[MNTH]], [[MWS]]
154   // CHECK: call void @__kmpc_kernel_init(i32 [[MTMP1]]
155   // CHECK: call void @__kmpc_kernel_prepare_parallel(i8* bitcast (void (i32*, i32*)* [[PARALLEL_FN1]] to i8*))
156   // CHECK: call void @llvm.nvvm.barrier0()
157   // CHECK: call void @llvm.nvvm.barrier0()
158   // CHECK: call void @__kmpc_serialized_parallel(
159   // CHECK: {{call|invoke}} void [[PARALLEL_FN3:@.+]](
160   // CHECK: call void @__kmpc_end_serialized_parallel(
161   // CHECK: call void @__kmpc_kernel_prepare_parallel(i8* bitcast (void (i32*, i32*)* [[PARALLEL_FN2]] to i8*))
162   // CHECK: call void @llvm.nvvm.barrier0()
163   // CHECK: call void @llvm.nvvm.barrier0()
164   // CHECK-64-DAG: load i32, i32* [[REF_A]]
165   // CHECK-32-DAG: load i32, i32* [[LOCAL_A]]
166   // CHECK: br label {{%?}}[[TERMINATE:.+]]
167   //
168   // CHECK: [[TERMINATE]]
169   // CHECK: call void @__kmpc_kernel_deinit()
170   // CHECK: call void @llvm.nvvm.barrier0()
171   // CHECK: br label {{%?}}[[EXIT]]
172   //
173   // CHECK: [[EXIT]]
174   // CHECK: ret void
175 
176   // CHECK-DAG: define internal void [[PARALLEL_FN1]](
177   // CHECK: [[A:%.+]] = alloca i[[SZ:32|64]],
178   // CHECK: store i[[SZ]] 42, i[[SZ]]* %a,
179   // CHECK: ret void
180 
181   // CHECK-DAG: define internal void [[PARALLEL_FN3]](
182   // CHECK: [[A:%.+]] = alloca i[[SZ:32|64]],
183   // CHECK: store i[[SZ]] 43, i[[SZ]]* %a,
184   // CHECK: ret void
185 
186   // CHECK-DAG: define internal void [[PARALLEL_FN2]](
187   // CHECK: [[A:%.+]] = alloca i[[SZ:32|64]],
188   // CHECK: store i[[SZ]] 44, i[[SZ]]* %a,
189   // CHECK: ret void
190 
191 
192 
193 
194 
195 
196 
197   // CHECK-LABEL: define {{.*}}void {{@__omp_offloading_.+template.+l43}}_worker()
198   // CHECK-DAG: [[OMP_EXEC_STATUS:%.+]] = alloca i8,
199   // CHECK-DAG: [[OMP_WORK_FN:%.+]] = alloca i8*,
200   // CHECK: store i8* null, i8** [[OMP_WORK_FN]],
201   // CHECK: store i8 0, i8* [[OMP_EXEC_STATUS]],
202   // CHECK: br label {{%?}}[[AWAIT_WORK:.+]]
203   //
204   // CHECK: [[AWAIT_WORK]]
205   // CHECK: call void @llvm.nvvm.barrier0()
206   // CHECK: [[KPR:%.+]] = call i1 @__kmpc_kernel_parallel(i8** [[OMP_WORK_FN]])
207   // CHECK: [[KPRB:%.+]] = zext i1 [[KPR]] to i8
208   // store i8 [[KPRB]], i8* [[OMP_EXEC_STATUS]], align 1
209   // CHECK: [[WORK:%.+]] = load i8*, i8** [[OMP_WORK_FN]],
210   // CHECK: [[SHOULD_EXIT:%.+]] = icmp eq i8* [[WORK]], null
211   // CHECK: br i1 [[SHOULD_EXIT]], label {{%?}}[[EXIT:.+]], label {{%?}}[[SEL_WORKERS:.+]]
212   //
213   // CHECK: [[SEL_WORKERS]]
214   // CHECK: [[ST:%.+]] = load i8, i8* [[OMP_EXEC_STATUS]]
215   // CHECK: [[IS_ACTIVE:%.+]] = icmp ne i8 [[ST]], 0
216   // CHECK: br i1 [[IS_ACTIVE]], label {{%?}}[[EXEC_PARALLEL:.+]], label {{%?}}[[BAR_PARALLEL:.+]]
217   //
218   // CHECK: [[EXEC_PARALLEL]]
219   // CHECK: [[WF:%.+]] = load i8*, i8** [[OMP_WORK_FN]],
220   // CHECK: [[WM:%.+]] = icmp eq i8* [[WF]], bitcast (void (i32*, i32*)* [[PARALLEL_FN4:@.+]] to i8*)
221   // CHECK: br i1 [[WM]], label {{%?}}[[EXEC_PFN:.+]], label {{%?}}[[CHECK_NEXT:.+]]
222   //
223   // CHECK: [[EXEC_PFN]]
224   // CHECK: call void [[PARALLEL_FN4]](
225   // CHECK: br label {{%?}}[[TERM_PARALLEL:.+]]
226   //
227   // CHECK: [[CHECK_NEXT]]
228   // CHECK: br label {{%?}}[[TERM_PARALLEL:.+]]
229   //
230   // CHECK: [[TERM_PARALLEL]]
231   // CHECK: call void @__kmpc_kernel_end_parallel()
232   // CHECK: br label {{%?}}[[BAR_PARALLEL]]
233   //
234   // CHECK: [[BAR_PARALLEL]]
235   // CHECK: call void @llvm.nvvm.barrier0()
236   // CHECK: br label {{%?}}[[AWAIT_WORK]]
237   //
238   // CHECK: [[EXIT]]
239   // CHECK: ret void
240 
241   // CHECK: define {{.*}}void [[T6:@__omp_offloading_.+template.+l43]](i[[SZ:32|64]]
242   // Create local storage for each capture.
243   // CHECK:  [[LOCAL_N:%.+]] = alloca i[[SZ]],
244   // CHECK:  [[LOCAL_A:%.+]] = alloca i[[SZ]],
245   // CHECK:  [[LOCAL_AA:%.+]] = alloca i[[SZ]],
246   // CHECK:  [[LOCAL_B:%.+]] = alloca [10 x i32]*
247   // CHECK-DAG:  store i[[SZ]] [[ARG_N:%.+]], i[[SZ]]* [[LOCAL_N]]
248   // CHECK-DAG:  store i[[SZ]] [[ARG_A:%.+]], i[[SZ]]* [[LOCAL_A]]
249   // CHECK-DAG:  store i[[SZ]] [[ARG_AA:%.+]], i[[SZ]]* [[LOCAL_AA]]
250   // CHECK-DAG:   store [10 x i32]* [[ARG_B:%.+]], [10 x i32]** [[LOCAL_B]]
251   // Store captures in the context.
252   // CHECK-64-DAG:[[REF_N:%.+]] = bitcast i[[SZ]]* [[LOCAL_N]] to i32*
253   // CHECK-64-DAG:[[REF_A:%.+]] = bitcast i[[SZ]]* [[LOCAL_A]] to i32*
254   // CHECK-DAG:   [[REF_AA:%.+]] = bitcast i[[SZ]]* [[LOCAL_AA]] to i16*
255   // CHECK-DAG:   [[REF_B:%.+]] = load [10 x i32]*, [10 x i32]** [[LOCAL_B]],
256   //
257   // CHECK-DAG: [[TID:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.tid.x()
258   // CHECK-DAG: [[NTH:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
259   // CHECK-DAG: [[WS:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.warpsize()
260   // CHECK-DAG: [[TH_LIMIT:%.+]] = sub i32 [[NTH]], [[WS]]
261   // CHECK: [[IS_WORKER:%.+]] = icmp ult i32 [[TID]], [[TH_LIMIT]]
262   // CHECK: br i1 [[IS_WORKER]], label {{%?}}[[WORKER:.+]], label {{%?}}[[CHECK_MASTER:.+]]
263   //
264   // CHECK: [[WORKER]]
265   // CHECK: {{call|invoke}} void [[T6]]_worker()
266   // CHECK: br label {{%?}}[[EXIT:.+]]
267   //
268   // CHECK: [[CHECK_MASTER]]
269   // CHECK-DAG: [[CMTID:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.tid.x()
270   // CHECK-DAG: [[CMNTH:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
271   // CHECK-DAG: [[CMWS:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.warpsize()
272   // CHECK: [[IS_MASTER:%.+]] = icmp eq i32 [[CMTID]],
273   // CHECK: br i1 [[IS_MASTER]], label {{%?}}[[MASTER:.+]], label {{%?}}[[EXIT]]
274   //
275   // CHECK: [[MASTER]]
276   // CHECK-DAG: [[MNTH:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
277   // CHECK-DAG: [[MWS:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.warpsize()
278   // CHECK: [[MTMP1:%.+]] = sub i32 [[MNTH]], [[MWS]]
279   // CHECK: call void @__kmpc_kernel_init(i32 [[MTMP1]]
280   // CHECK-64: [[N:%.+]] = load i32, i32* [[REF_N]],
281   // CHECK-32: [[N:%.+]] = load i32, i32* [[LOCAL_N]],
282   // CHECK: [[CMP:%.+]] = icmp sgt i32 [[N]], 1000
283   // CHECK: br i1 [[CMP]], label {{%?}}[[IF_THEN:.+]], label {{%?}}[[IF_ELSE:.+]]
284   //
285   // CHECK: [[IF_THEN]]
286   // CHECK: call void @__kmpc_kernel_prepare_parallel(i8* bitcast (void (i32*, i32*)* [[PARALLEL_FN4]] to i8*))
287   // CHECK: call void @llvm.nvvm.barrier0()
288   // CHECK: call void @llvm.nvvm.barrier0()
289   // CHECK: br label {{%?}}[[IF_END:.+]]
290   //
291   // CHECK: [[IF_ELSE]]
292   // CHECK: call void @__kmpc_serialized_parallel(
293   // CHECK: {{call|invoke}} void [[PARALLEL_FN4]](
294   // CHECK: call void @__kmpc_end_serialized_parallel(
295   // br label [[IF_END]]
296   //
297   // CHECK: [[IF_END]]
298   // CHECK-64-DAG: load i32, i32* [[REF_A]]
299   // CHECK-32-DAG: load i32, i32* [[LOCAL_A]]
300   // CHECK-DAG:    load i16, i16* [[REF_AA]]
301   // CHECK-DAG:    getelementptr inbounds [10 x i32], [10 x i32]* [[REF_B]], i[[SZ]] 0, i[[SZ]] 2
302   //
303   // CHECK: br label {{%?}}[[TERMINATE:.+]]
304   //
305   // CHECK: [[TERMINATE]]
306   // CHECK: call void @__kmpc_kernel_deinit()
307   // CHECK: call void @llvm.nvvm.barrier0()
308   // CHECK: br label {{%?}}[[EXIT]]
309   //
310   // CHECK: [[EXIT]]
311   // CHECK: ret void
312 
313   // CHECK: define internal void [[PARALLEL_FN4]](
314   // CHECK: [[A:%.+]] = alloca i[[SZ:32|64]],
315   // CHECK: store i[[SZ]] 45, i[[SZ]]* %a,
316   // CHECK: ret void
317 #endif
318