Lines Matching refs:src_folio
1037 struct folio *src_folio) in move_present_pte() argument
1048 if (folio_test_large(src_folio) || in move_present_pte()
1049 folio_maybe_dma_pinned(src_folio) || in move_present_pte()
1050 !PageAnonExclusive(&src_folio->page)) { in move_present_pte()
1057 if (folio_maybe_dma_pinned(src_folio)) { in move_present_pte()
1063 folio_move_anon_rmap(src_folio, dst_vma); in move_present_pte()
1064 src_folio->index = linear_page_index(dst_vma, dst_addr); in move_present_pte()
1066 orig_dst_pte = mk_pte(&src_folio->page, dst_vma->vm_page_prot); in move_present_pte()
1087 struct folio *src_folio) in move_swap_pte() argument
1102 if (src_folio) { in move_swap_pte()
1103 folio_move_anon_rmap(src_folio, dst_vma); in move_swap_pte()
1104 src_folio->index = linear_page_index(dst_vma, dst_addr); in move_swap_pte()
1165 struct folio *src_folio = NULL; in move_pages_pte() local
1236 if (src_folio && unlikely(!pte_same(src_folio_pte, orig_src_pte))) { in move_pages_pte()
1255 if (!src_folio) { in move_pages_pte()
1292 src_folio = folio; in move_pages_pte()
1301 folio_lock(src_folio); in move_pages_pte()
1305 if (WARN_ON_ONCE(!folio_test_anon(src_folio))) { in move_pages_pte()
1312 if (folio_test_large(src_folio)) { in move_pages_pte()
1317 err = split_folio(src_folio); in move_pages_pte()
1321 folio_unlock(src_folio); in move_pages_pte()
1322 folio_put(src_folio); in move_pages_pte()
1323 src_folio = NULL; in move_pages_pte()
1333 src_anon_vma = folio_get_anon_vma(src_folio); in move_pages_pte()
1352 dst_pmdval, dst_ptl, src_ptl, src_folio); in move_pages_pte()
1391 if (!src_folio) in move_pages_pte()
1400 src_folio = folio; in move_pages_pte()
1402 if (!folio_trylock(src_folio)) { in move_pages_pte()
1409 folio_lock(src_folio); in move_pages_pte()
1415 dst_ptl, src_ptl, src_folio); in move_pages_pte()
1423 if (src_folio) { in move_pages_pte()
1424 folio_unlock(src_folio); in move_pages_pte()
1425 folio_put(src_folio); in move_pages_pte()