Lines Matching refs:src_pte
1020 static inline bool is_pte_pages_stable(pte_t *dst_pte, pte_t *src_pte, in is_pte_pages_stable() argument
1024 return pte_same(ptep_get(src_pte), orig_src_pte) && in is_pte_pages_stable()
1033 pte_t *dst_pte, pte_t *src_pte, in move_present_pte() argument
1043 if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte, in move_present_pte()
1055 orig_src_pte = ptep_clear_flush(src_vma, src_addr, src_pte); in move_present_pte()
1058 set_pte_at(mm, src_addr, src_pte, orig_src_pte); in move_present_pte()
1083 pte_t *dst_pte, pte_t *src_pte, in move_swap_pte() argument
1091 if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte, in move_swap_pte()
1107 orig_src_pte = ptep_get_and_clear(mm, src_addr, src_pte); in move_swap_pte()
1121 pte_t *dst_pte, pte_t *src_pte, in move_zeropage_pte() argument
1129 if (!is_pte_pages_stable(dst_pte, src_pte, orig_dst_pte, orig_src_pte, in move_zeropage_pte()
1137 ptep_clear_flush(src_vma, src_addr, src_pte); in move_zeropage_pte()
1161 pte_t *src_pte = NULL; in move_pages_pte() local
1195 src_pte = pte_offset_map_rw_nolock(mm, src_pmd, src_addr, &dummy_pmdval, in move_pages_pte()
1204 if (unlikely(!src_pte)) { in move_pages_pte()
1225 orig_src_pte = ptep_get(src_pte); in move_pages_pte()
1244 dst_addr, src_addr, dst_pte, src_pte, in move_pages_pte()
1264 if (!pte_same(orig_src_pte, ptep_get(src_pte))) { in move_pages_pte()
1297 pte_unmap(src_pte); in move_pages_pte()
1299 src_pte = dst_pte = NULL; in move_pages_pte()
1314 pte_unmap(src_pte); in move_pages_pte()
1316 src_pte = dst_pte = NULL; in move_pages_pte()
1340 pte_unmap(src_pte); in move_pages_pte()
1342 src_pte = dst_pte = NULL; in move_pages_pte()
1350 dst_addr, src_addr, dst_pte, src_pte, in move_pages_pte()
1359 pte_unmap(src_pte); in move_pages_pte()
1361 src_pte = dst_pte = NULL; in move_pages_pte()
1403 pte_unmap(src_pte); in move_pages_pte()
1405 src_pte = dst_pte = NULL; in move_pages_pte()
1413 err = move_swap_pte(mm, dst_vma, dst_addr, src_addr, dst_pte, src_pte, in move_pages_pte()
1429 if (src_pte) in move_pages_pte()
1430 pte_unmap(src_pte); in move_pages_pte()