1cdf7fb0aSAlexei Starovoitov /* SPDX-License-Identifier: GPL-2.0-only */
2cdf7fb0aSAlexei Starovoitov /* A pointer that can point to either kernel or userspace memory. */
3cdf7fb0aSAlexei Starovoitov #ifndef _LINUX_BPFPTR_H
4cdf7fb0aSAlexei Starovoitov #define _LINUX_BPFPTR_H
5cdf7fb0aSAlexei Starovoitov
614f267d9SKumar Kartikeya Dwivedi #include <linux/mm.h>
7cdf7fb0aSAlexei Starovoitov #include <linux/sockptr.h>
8cdf7fb0aSAlexei Starovoitov
9cdf7fb0aSAlexei Starovoitov typedef sockptr_t bpfptr_t;
10cdf7fb0aSAlexei Starovoitov
bpfptr_is_kernel(bpfptr_t bpfptr)11cdf7fb0aSAlexei Starovoitov static inline bool bpfptr_is_kernel(bpfptr_t bpfptr)
12cdf7fb0aSAlexei Starovoitov {
13cdf7fb0aSAlexei Starovoitov return bpfptr.is_kernel;
14cdf7fb0aSAlexei Starovoitov }
15cdf7fb0aSAlexei Starovoitov
KERNEL_BPFPTR(void * p)16cdf7fb0aSAlexei Starovoitov static inline bpfptr_t KERNEL_BPFPTR(void *p)
17cdf7fb0aSAlexei Starovoitov {
18cdf7fb0aSAlexei Starovoitov return (bpfptr_t) { .kernel = p, .is_kernel = true };
19cdf7fb0aSAlexei Starovoitov }
20cdf7fb0aSAlexei Starovoitov
USER_BPFPTR(void __user * p)21cdf7fb0aSAlexei Starovoitov static inline bpfptr_t USER_BPFPTR(void __user *p)
22cdf7fb0aSAlexei Starovoitov {
23cdf7fb0aSAlexei Starovoitov return (bpfptr_t) { .user = p };
24cdf7fb0aSAlexei Starovoitov }
25cdf7fb0aSAlexei Starovoitov
make_bpfptr(u64 addr,bool is_kernel)26cdf7fb0aSAlexei Starovoitov static inline bpfptr_t make_bpfptr(u64 addr, bool is_kernel)
27cdf7fb0aSAlexei Starovoitov {
28cdf7fb0aSAlexei Starovoitov if (is_kernel)
29cdf7fb0aSAlexei Starovoitov return KERNEL_BPFPTR((void*) (uintptr_t) addr);
30cdf7fb0aSAlexei Starovoitov else
31cdf7fb0aSAlexei Starovoitov return USER_BPFPTR(u64_to_user_ptr(addr));
32cdf7fb0aSAlexei Starovoitov }
33cdf7fb0aSAlexei Starovoitov
bpfptr_is_null(bpfptr_t bpfptr)34cdf7fb0aSAlexei Starovoitov static inline bool bpfptr_is_null(bpfptr_t bpfptr)
35cdf7fb0aSAlexei Starovoitov {
36cdf7fb0aSAlexei Starovoitov if (bpfptr_is_kernel(bpfptr))
37cdf7fb0aSAlexei Starovoitov return !bpfptr.kernel;
38cdf7fb0aSAlexei Starovoitov return !bpfptr.user;
39cdf7fb0aSAlexei Starovoitov }
40cdf7fb0aSAlexei Starovoitov
bpfptr_add(bpfptr_t * bpfptr,size_t val)41cdf7fb0aSAlexei Starovoitov static inline void bpfptr_add(bpfptr_t *bpfptr, size_t val)
42cdf7fb0aSAlexei Starovoitov {
43cdf7fb0aSAlexei Starovoitov if (bpfptr_is_kernel(*bpfptr))
44cdf7fb0aSAlexei Starovoitov bpfptr->kernel += val;
45cdf7fb0aSAlexei Starovoitov else
46cdf7fb0aSAlexei Starovoitov bpfptr->user += val;
47cdf7fb0aSAlexei Starovoitov }
48cdf7fb0aSAlexei Starovoitov
copy_from_bpfptr_offset(void * dst,bpfptr_t src,size_t offset,size_t size)49cdf7fb0aSAlexei Starovoitov static inline int copy_from_bpfptr_offset(void *dst, bpfptr_t src,
50cdf7fb0aSAlexei Starovoitov size_t offset, size_t size)
51cdf7fb0aSAlexei Starovoitov {
52e2dcac2fSJinghao Jia if (!bpfptr_is_kernel(src))
53e2dcac2fSJinghao Jia return copy_from_user(dst, src.user + offset, size);
54e2dcac2fSJinghao Jia return copy_from_kernel_nofault(dst, src.kernel + offset, size);
55cdf7fb0aSAlexei Starovoitov }
56cdf7fb0aSAlexei Starovoitov
copy_from_bpfptr(void * dst,bpfptr_t src,size_t size)57cdf7fb0aSAlexei Starovoitov static inline int copy_from_bpfptr(void *dst, bpfptr_t src, size_t size)
58cdf7fb0aSAlexei Starovoitov {
59cdf7fb0aSAlexei Starovoitov return copy_from_bpfptr_offset(dst, src, 0, size);
60cdf7fb0aSAlexei Starovoitov }
61cdf7fb0aSAlexei Starovoitov
copy_to_bpfptr_offset(bpfptr_t dst,size_t offset,const void * src,size_t size)62cdf7fb0aSAlexei Starovoitov static inline int copy_to_bpfptr_offset(bpfptr_t dst, size_t offset,
63cdf7fb0aSAlexei Starovoitov const void *src, size_t size)
64cdf7fb0aSAlexei Starovoitov {
65cdf7fb0aSAlexei Starovoitov return copy_to_sockptr_offset((sockptr_t) dst, offset, src, size);
66cdf7fb0aSAlexei Starovoitov }
67cdf7fb0aSAlexei Starovoitov
kvmemdup_bpfptr_noprof(bpfptr_t src,size_t len)68*2c321f3fSSuren Baghdasaryan static inline void *kvmemdup_bpfptr_noprof(bpfptr_t src, size_t len)
69cdf7fb0aSAlexei Starovoitov {
70*2c321f3fSSuren Baghdasaryan void *p = kvmalloc_noprof(len, GFP_USER | __GFP_NOWARN);
7144779a4bSStanislav Fomichev
7244779a4bSStanislav Fomichev if (!p)
7344779a4bSStanislav Fomichev return ERR_PTR(-ENOMEM);
7444779a4bSStanislav Fomichev if (copy_from_bpfptr(p, src, len)) {
7544779a4bSStanislav Fomichev kvfree(p);
7644779a4bSStanislav Fomichev return ERR_PTR(-EFAULT);
7744779a4bSStanislav Fomichev }
7844779a4bSStanislav Fomichev return p;
79cdf7fb0aSAlexei Starovoitov }
80*2c321f3fSSuren Baghdasaryan #define kvmemdup_bpfptr(...) alloc_hooks(kvmemdup_bpfptr_noprof(__VA_ARGS__))
81cdf7fb0aSAlexei Starovoitov
strncpy_from_bpfptr(char * dst,bpfptr_t src,size_t count)82cdf7fb0aSAlexei Starovoitov static inline long strncpy_from_bpfptr(char *dst, bpfptr_t src, size_t count)
83cdf7fb0aSAlexei Starovoitov {
84e2dcac2fSJinghao Jia if (bpfptr_is_kernel(src))
85e2dcac2fSJinghao Jia return strncpy_from_kernel_nofault(dst, src.kernel, count);
86e2dcac2fSJinghao Jia return strncpy_from_user(dst, src.user, count);
87cdf7fb0aSAlexei Starovoitov }
88cdf7fb0aSAlexei Starovoitov
89cdf7fb0aSAlexei Starovoitov #endif /* _LINUX_BPFPTR_H */
90