Home
last modified time | relevance | path

Searched refs:netmem_ref (Results 1 – 22 of 22) sorted by relevance

/linux-6.15/include/net/
H A Dnetmem.h87 typedef unsigned long __bitwise netmem_ref; typedef
89 static inline bool netmem_is_net_iov(const netmem_ref netmem) in netmem_is_net_iov()
113 static inline struct page *netmem_to_page(netmem_ref netmem) in netmem_to_page()
136 static inline netmem_ref page_to_netmem(struct page *page) in page_to_netmem()
138 return (__force netmem_ref)page; in page_to_netmem()
147 static inline netmem_ref virt_to_netmem(const void *data) in virt_to_netmem()
152 static inline int netmem_ref_count(netmem_ref netmem) in netmem_ref_count()
214 static inline netmem_ref netmem_compound_head(netmem_ref netmem) in netmem_compound_head()
234 static inline void *__netmem_address(netmem_ref netmem) in __netmem_address()
239 static inline void *netmem_address(netmem_ref netmem) in netmem_address()
[all …]
H A Dxdp.h169 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp);
190 static inline bool __xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in __xdp_buff_add_frag()
244 static inline bool xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in xdp_buff_add_frag()
284 netmem_ref q[XDP_BULK_QUEUE_SIZE];
409 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type,
/linux-6.15/net/core/
H A Dpage_pool.c382 netmem_ref netmem; in page_pool_refill_alloc_cache()
434 netmem_ref netmem; in __page_pool_get_cached()
449 netmem_ref netmem, in __page_pool_dma_sync_for_device()
463 netmem_ref netmem, in page_pool_dma_sync_for_device()
533 netmem_ref netmem; in __page_pool_alloc_pages_slow()
587 netmem_ref netmem; in page_pool_alloc_netmems()
657 netmem_ref netmem) in __page_pool_release_page_dma()
851 netmem_ref *bulk, in page_pool_recycle_ring_bulk()
1035 netmem_ref netmem; in page_pool_empty_ring()
1066 netmem_ref netmem; in page_pool_empty_alloc_cache_once()
[all …]
H A Dnetmem_priv.h6 static inline unsigned long netmem_get_pp_magic(netmem_ref netmem) in netmem_get_pp_magic()
11 static inline void netmem_or_pp_magic(netmem_ref netmem, unsigned long pp_magic) in netmem_or_pp_magic()
16 static inline void netmem_clear_pp_magic(netmem_ref netmem) in netmem_clear_pp_magic()
21 static inline void netmem_set_pp(netmem_ref netmem, struct page_pool *pool) in netmem_set_pp()
26 static inline void netmem_set_dma_addr(netmem_ref netmem, in netmem_set_dma_addr()
H A Dpage_pool_priv.h19 page_pool_set_dma_addr_netmem(netmem_ref netmem, dma_addr_t addr) in page_pool_set_dma_addr_netmem()
41 void page_pool_set_pp_info(struct page_pool *pool, netmem_ref netmem);
42 void page_pool_clear_pp_info(netmem_ref netmem);
47 netmem_ref netmem) in page_pool_set_pp_info()
50 static inline void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info()
H A Dmp_dmabuf_devmem.h16 netmem_ref mp_dmabuf_devmem_alloc_netmems(struct page_pool *pool, gfp_t gfp);
20 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem);
27 static inline netmem_ref
38 mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
H A Ddevmem.c321 netmem_ref mp_dmabuf_devmem_alloc_netmems(struct page_pool *pool, gfp_t gfp) in mp_dmabuf_devmem_alloc_netmems()
325 netmem_ref netmem; in mp_dmabuf_devmem_alloc_netmems()
347 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
H A Dxdp.c432 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type, in __xdp_return()
542 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp) in xdp_return_frag()
702 netmem_ref netmem; in xdp_copy_frags_from_zc()
H A Dsock.c1086 netmem_ref netmems[16]; in sock_devmem_dontneed()
1111 netmem_ref netmem = (__force netmem_ref)__xa_erase( in sock_devmem_dontneed()
H A Dskbuff.c851 void skb_add_rx_frag_netmem(struct sk_buff *skb, int i, netmem_ref netmem, in skb_add_rx_frag_netmem()
896 static bool is_pp_netmem(netmem_ref netmem) in is_pp_netmem()
994 bool napi_pp_put_page(netmem_ref netmem) in napi_pp_put_page()
1035 netmem_ref head_netmem; in skb_pp_frag_ref()
/linux-6.15/include/net/page_pool/
H A Dtypes.h54 netmem_ref cache[PP_ALLOC_CACHE_SIZE];
90 void (*init_callback)(netmem_ref netmem, void *arg);
178 netmem_ref frag_page;
249 netmem_ref page_pool_alloc_netmems(struct page_pool *pool, gfp_t gfp);
252 netmem_ref page_pool_alloc_frag_netmem(struct page_pool *pool,
266 void page_pool_put_netmem_bulk(netmem_ref *data, u32 count);
278 static inline void page_pool_put_netmem_bulk(netmem_ref *data, u32 count) in page_pool_put_netmem_bulk()
283 void page_pool_put_unrefed_netmem(struct page_pool *pool, netmem_ref netmem,
H A Dhelpers.h118 static inline netmem_ref page_pool_alloc_netmem(struct page_pool *pool, in page_pool_alloc_netmem()
123 netmem_ref netmem; in page_pool_alloc_netmem()
147 static inline netmem_ref page_pool_dev_alloc_netmem(struct page_pool *pool, in page_pool_dev_alloc_netmem()
230 static inline void page_pool_fragment_netmem(netmem_ref netmem, long nr) in page_pool_fragment_netmem()
258 static inline long page_pool_unref_netmem(netmem_ref netmem, long nr) in page_pool_unref_netmem()
308 static inline void page_pool_ref_netmem(netmem_ref netmem) in page_pool_ref_netmem()
318 static inline bool page_pool_unref_and_test(netmem_ref netmem) in page_pool_unref_and_test()
325 netmem_ref netmem, in page_pool_put_netmem()
363 netmem_ref netmem, in page_pool_put_full_netmem()
415 static inline dma_addr_t page_pool_get_dma_addr_netmem(netmem_ref netmem) in page_pool_get_dma_addr_netmem()
[all …]
H A Dmemory_provider.h13 netmem_ref (*alloc_netmems)(struct page_pool *pool, gfp_t gfp);
14 bool (*release_netmem)(struct page_pool *pool, netmem_ref netmem);
46 netmem_ref netmem) in net_mp_netmem_place_in_cache()
/linux-6.15/include/linux/
H A Dskbuff_ref.h35 bool napi_pp_put_page(netmem_ref netmem);
37 static inline void skb_page_unref(netmem_ref netmem, bool recycle) in skb_page_unref()
H A Dskbuff.h363 netmem_ref netmem;
2503 netmem_ref netmem, int off, in skb_frag_fill_netmem_desc()
2519 int i, netmem_ref netmem, in __skb_fill_netmem_desc_noacc()
2561 netmem_ref netmem, int off, int size) in __skb_fill_netmem_desc()
2590 netmem_ref netmem, int off, int size) in skb_fill_netmem_desc()
2637 void skb_add_rx_frag_netmem(struct sk_buff *skb, int i, netmem_ref netmem,
3633 static inline netmem_ref skb_frag_netmem(const skb_frag_t *frag) in skb_frag_netmem()
/linux-6.15/include/trace/events/
H A Dpage_pool.h45 netmem_ref netmem, u32 release),
71 netmem_ref netmem, u32 hold),
/linux-6.15/drivers/net/ethernet/google/gve/
H A Dgve_buffer_mgmt_dqo.c209 netmem_ref netmem = buf_state->page_info.netmem; in gve_free_to_page_pool()
221 netmem_ref netmem; in gve_alloc_from_page_pool()
H A Dgve.h115 netmem_ref netmem;
/linux-6.15/io_uring/
H A Dzcrx.c470 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_return_niov()
532 netmem_ref netmem; in io_zcrx_ring_refill()
588 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_refill_slow()
597 static netmem_ref io_pp_zc_alloc_netmems(struct page_pool *pp, gfp_t gfp) in io_pp_zc_alloc_netmems()
616 static bool io_pp_zc_release_netmem(struct page_pool *pp, netmem_ref netmem) in io_pp_zc_release_netmem()
/linux-6.15/net/bpf/
H A Dtest_run.c130 static void xdp_test_run_init_page(netmem_ref netmem, void *arg) in xdp_test_run_init_page()
/linux-6.15/net/ipv4/
H A Dtcp_ipv4.c2537 WARN_ON_ONCE(!napi_pp_put_page((__force netmem_ref)netmem));
H A Dtcp.c2367 netmem_ref netmems[MAX_SKB_FRAGS];