Lines Matching refs:pte
72 static inline phys_addr_t __pte_to_phys(pte_t pte) in __pte_to_phys() argument
74 pte_val(pte) &= ~PTE_MAYBE_SHARED; in __pte_to_phys()
75 return (pte_val(pte) & PTE_ADDR_LOW) | in __pte_to_phys()
76 ((pte_val(pte) & PTE_ADDR_HIGH) << PTE_ADDR_HIGH_SHIFT); in __pte_to_phys()
83 static inline phys_addr_t __pte_to_phys(pte_t pte) in __pte_to_phys() argument
85 return pte_val(pte) & PTE_ADDR_LOW; in __pte_to_phys()
94 #define pte_pfn(pte) (__pte_to_phys(pte) >> PAGE_SHIFT) argument
98 #define pte_none(pte) (!pte_val(pte)) argument
101 #define pte_page(pte) (pfn_to_page(pte_pfn(pte))) argument
106 #define pte_present(pte) (pte_valid(pte) || pte_present_invalid(pte)) argument
107 #define pte_young(pte) (!!(pte_val(pte) & PTE_AF)) argument
108 #define pte_special(pte) (!!(pte_val(pte) & PTE_SPECIAL)) argument
109 #define pte_write(pte) (!!(pte_val(pte) & PTE_WRITE)) argument
110 #define pte_rdonly(pte) (!!(pte_val(pte) & PTE_RDONLY)) argument
111 #define pte_user(pte) (!!(pte_val(pte) & PTE_USER)) argument
112 #define pte_user_exec(pte) (!(pte_val(pte) & PTE_UXN)) argument
113 #define pte_cont(pte) (!!(pte_val(pte) & PTE_CONT)) argument
114 #define pte_devmap(pte) (!!(pte_val(pte) & PTE_DEVMAP)) argument
115 #define pte_tagged(pte) ((pte_val(pte) & PTE_ATTRINDX_MASK) == \ argument
128 #define pte_hw_dirty(pte) (pte_write(pte) && !pte_rdonly(pte)) argument
129 #define pte_sw_dirty(pte) (!!(pte_val(pte) & PTE_DIRTY)) argument
130 #define pte_dirty(pte) (pte_sw_dirty(pte) || pte_hw_dirty(pte)) argument
132 #define pte_valid(pte) (!!(pte_val(pte) & PTE_VALID)) argument
133 #define pte_present_invalid(pte) \ argument
134 ((pte_val(pte) & (PTE_VALID | PTE_PRESENT_INVALID)) == PTE_PRESENT_INVALID)
139 #define pte_valid_not_user(pte) \ argument
140 ((pte_val(pte) & (PTE_VALID | PTE_USER | PTE_UXN)) == (PTE_VALID | PTE_UXN))
144 #define pte_valid_cont(pte) (pte_valid(pte) && pte_cont(pte)) argument
153 #define pte_accessible(mm, pte) \ argument
154 (mm_tlb_flush_pending(mm) ? pte_present(pte) : pte_valid(pte))
181 #define pte_access_permitted_no_overlay(pte, write) \ argument
182 …(((pte_val(pte) & (PTE_VALID | PTE_USER)) == (PTE_VALID | PTE_USER)) && (!(write) || pte_write(pte…
183 #define pte_access_permitted(pte, write) \ argument
184 (pte_access_permitted_no_overlay(pte, write) && \
185 por_el0_allows_pkey(FIELD_GET(PTE_PO_IDX_MASK, pte_val(pte)), write, false))
191 static inline pte_t clear_pte_bit(pte_t pte, pgprot_t prot) in clear_pte_bit() argument
193 pte_val(pte) &= ~pgprot_val(prot); in clear_pte_bit()
194 return pte; in clear_pte_bit()
197 static inline pte_t set_pte_bit(pte_t pte, pgprot_t prot) in set_pte_bit() argument
199 pte_val(pte) |= pgprot_val(prot); in set_pte_bit()
200 return pte; in set_pte_bit()
215 static inline pte_t pte_mkwrite_novma(pte_t pte) in pte_mkwrite_novma() argument
217 pte = set_pte_bit(pte, __pgprot(PTE_WRITE)); in pte_mkwrite_novma()
218 pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_mkwrite_novma()
219 return pte; in pte_mkwrite_novma()
222 static inline pte_t pte_mkclean(pte_t pte) in pte_mkclean() argument
224 pte = clear_pte_bit(pte, __pgprot(PTE_DIRTY)); in pte_mkclean()
225 pte = set_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_mkclean()
227 return pte; in pte_mkclean()
230 static inline pte_t pte_mkdirty(pte_t pte) in pte_mkdirty() argument
232 pte = set_pte_bit(pte, __pgprot(PTE_DIRTY)); in pte_mkdirty()
234 if (pte_write(pte)) in pte_mkdirty()
235 pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_mkdirty()
237 return pte; in pte_mkdirty()
240 static inline pte_t pte_wrprotect(pte_t pte) in pte_wrprotect() argument
246 if (pte_hw_dirty(pte)) in pte_wrprotect()
247 pte = set_pte_bit(pte, __pgprot(PTE_DIRTY)); in pte_wrprotect()
249 pte = clear_pte_bit(pte, __pgprot(PTE_WRITE)); in pte_wrprotect()
250 pte = set_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_wrprotect()
251 return pte; in pte_wrprotect()
254 static inline pte_t pte_mkold(pte_t pte) in pte_mkold() argument
256 return clear_pte_bit(pte, __pgprot(PTE_AF)); in pte_mkold()
259 static inline pte_t pte_mkyoung(pte_t pte) in pte_mkyoung() argument
261 return set_pte_bit(pte, __pgprot(PTE_AF)); in pte_mkyoung()
264 static inline pte_t pte_mkspecial(pte_t pte) in pte_mkspecial() argument
266 return set_pte_bit(pte, __pgprot(PTE_SPECIAL)); in pte_mkspecial()
269 static inline pte_t pte_mkcont(pte_t pte) in pte_mkcont() argument
271 return set_pte_bit(pte, __pgprot(PTE_CONT)); in pte_mkcont()
274 static inline pte_t pte_mknoncont(pte_t pte) in pte_mknoncont() argument
276 return clear_pte_bit(pte, __pgprot(PTE_CONT)); in pte_mknoncont()
279 static inline pte_t pte_mkvalid(pte_t pte) in pte_mkvalid() argument
281 return set_pte_bit(pte, __pgprot(PTE_VALID)); in pte_mkvalid()
284 static inline pte_t pte_mkinvalid(pte_t pte) in pte_mkinvalid() argument
286 pte = set_pte_bit(pte, __pgprot(PTE_PRESENT_INVALID)); in pte_mkinvalid()
287 pte = clear_pte_bit(pte, __pgprot(PTE_VALID)); in pte_mkinvalid()
288 return pte; in pte_mkinvalid()
296 static inline pte_t pte_mkdevmap(pte_t pte) in pte_mkdevmap() argument
298 return set_pte_bit(pte, __pgprot(PTE_DEVMAP | PTE_SPECIAL)); in pte_mkdevmap()
302 static inline int pte_uffd_wp(pte_t pte) in pte_uffd_wp() argument
304 return !!(pte_val(pte) & PTE_UFFD_WP); in pte_uffd_wp()
307 static inline pte_t pte_mkuffd_wp(pte_t pte) in pte_mkuffd_wp() argument
309 return pte_wrprotect(set_pte_bit(pte, __pgprot(PTE_UFFD_WP))); in pte_mkuffd_wp()
312 static inline pte_t pte_clear_uffd_wp(pte_t pte) in pte_clear_uffd_wp() argument
314 return clear_pte_bit(pte, __pgprot(PTE_UFFD_WP)); in pte_clear_uffd_wp()
318 static inline void __set_pte_nosync(pte_t *ptep, pte_t pte) in __set_pte_nosync() argument
320 WRITE_ONCE(*ptep, pte); in __set_pte_nosync()
323 static inline void __set_pte(pte_t *ptep, pte_t pte) in __set_pte() argument
325 __set_pte_nosync(ptep, pte); in __set_pte()
331 if (pte_valid_not_user(pte)) { in __set_pte()
362 pte_t pte) in __check_safe_pte_update() argument
371 if (!pte_valid(old_pte) || !pte_valid(pte)) in __check_safe_pte_update()
381 VM_WARN_ONCE(!pte_young(pte), in __check_safe_pte_update()
383 __func__, pte_val(old_pte), pte_val(pte)); in __check_safe_pte_update()
384 VM_WARN_ONCE(pte_write(old_pte) && !pte_dirty(pte), in __check_safe_pte_update()
386 __func__, pte_val(old_pte), pte_val(pte)); in __check_safe_pte_update()
387 VM_WARN_ONCE(!pgattr_change_is_safe(pte_val(old_pte), pte_val(pte)), in __check_safe_pte_update()
389 __func__, pte_val(old_pte), pte_val(pte)); in __check_safe_pte_update()
392 static inline void __sync_cache_and_tags(pte_t pte, unsigned int nr_pages) in __sync_cache_and_tags() argument
394 if (pte_present(pte) && pte_user_exec(pte) && !pte_special(pte)) in __sync_cache_and_tags()
395 __sync_icache_dcache(pte); in __sync_cache_and_tags()
404 if (system_supports_mte() && pte_access_permitted_no_overlay(pte, false) && in __sync_cache_and_tags()
405 !pte_special(pte) && pte_tagged(pte)) in __sync_cache_and_tags()
406 mte_sync_tags(pte, nr_pages); in __sync_cache_and_tags()
413 static inline pgprot_t pte_pgprot(pte_t pte) in pte_pgprot() argument
415 unsigned long pfn = pte_pfn(pte); in pte_pgprot()
417 return __pgprot(pte_val(pfn_pte(pfn, __pgprot(0))) ^ pte_val(pte)); in pte_pgprot()
421 static inline pte_t pte_advance_pfn(pte_t pte, unsigned long nr) in pte_advance_pfn() argument
423 return pfn_pte(pte_pfn(pte) + nr, pte_pgprot(pte)); in pte_advance_pfn()
428 pte_t *ptep, pte_t pte, unsigned int nr) in __set_ptes() argument
430 page_table_check_ptes_set(mm, ptep, pte, nr); in __set_ptes()
431 __sync_cache_and_tags(pte, nr); in __set_ptes()
434 __check_safe_pte_update(mm, ptep, pte); in __set_ptes()
435 __set_pte(ptep, pte); in __set_ptes()
439 pte = pte_advance_pfn(pte, 1); in __set_ptes()
467 static inline pud_t pte_pud(pte_t pte) in pte_pud() argument
469 return __pud(pte_val(pte)); in pte_pud()
482 static inline pmd_t pte_pmd(pte_t pte) in pte_pmd() argument
484 return __pmd(pte_val(pte)); in pte_pmd()
497 static inline pte_t pte_swp_mkexclusive(pte_t pte) in pte_swp_mkexclusive() argument
499 return set_pte_bit(pte, __pgprot(PTE_SWP_EXCLUSIVE)); in pte_swp_mkexclusive()
502 static inline int pte_swp_exclusive(pte_t pte) in pte_swp_exclusive() argument
504 return pte_val(pte) & PTE_SWP_EXCLUSIVE; in pte_swp_exclusive()
507 static inline pte_t pte_swp_clear_exclusive(pte_t pte) in pte_swp_clear_exclusive() argument
509 return clear_pte_bit(pte, __pgprot(PTE_SWP_EXCLUSIVE)); in pte_swp_clear_exclusive()
513 static inline pte_t pte_swp_mkuffd_wp(pte_t pte) in pte_swp_mkuffd_wp() argument
515 return set_pte_bit(pte, __pgprot(PTE_SWP_UFFD_WP)); in pte_swp_mkuffd_wp()
518 static inline int pte_swp_uffd_wp(pte_t pte) in pte_swp_uffd_wp() argument
520 return !!(pte_val(pte) & PTE_SWP_UFFD_WP); in pte_swp_uffd_wp()
523 static inline pte_t pte_swp_clear_uffd_wp(pte_t pte) in pte_swp_clear_uffd_wp() argument
525 return clear_pte_bit(pte, __pgprot(PTE_SWP_UFFD_WP)); in pte_swp_clear_uffd_wp()
533 static inline int pte_protnone(pte_t pte) in pte_protnone() argument
544 return pte_present_invalid(pte) && !pte_user(pte) && !pte_user_exec(pte); in pte_protnone()
601 #define pmd_special(pte) (!!((pmd_val(pte) & PTE_SPECIAL))) argument
654 pte_t *ptep, pte_t pte, unsigned int nr) in __set_pte_at() argument
656 __sync_cache_and_tags(pte, nr); in __set_pte_at()
657 __check_safe_pte_update(mm, ptep, pte); in __set_pte_at()
658 __set_pte(ptep, pte); in __set_pte_at()
733 #define pte_leaf_size(pte) (pte_cont(pte) ? CONT_PTE_SIZE : PAGE_SIZE) argument
1181 static inline pte_t pte_modify(pte_t pte, pgprot_t newprot) in pte_modify() argument
1192 if (pte_hw_dirty(pte)) in pte_modify()
1193 pte = set_pte_bit(pte, __pgprot(PTE_DIRTY)); in pte_modify()
1195 pte_val(pte) = (pte_val(pte) & ~mask) | (pgprot_val(newprot) & mask); in pte_modify()
1200 if (pte_sw_dirty(pte)) in pte_modify()
1201 pte = pte_mkdirty(pte); in pte_modify()
1202 return pte; in pte_modify()
1236 static inline bool pte_user_accessible_page(pte_t pte) in pte_user_accessible_page() argument
1238 return pte_valid(pte) && (pte_user(pte) || pte_user_exec(pte)); in pte_user_accessible_page()
1259 pte_t old_pte, pte; in __ptep_test_and_clear_young() local
1261 pte = __ptep_get(ptep); in __ptep_test_and_clear_young()
1263 old_pte = pte; in __ptep_test_and_clear_young()
1264 pte = pte_mkold(pte); in __ptep_test_and_clear_young()
1265 pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep), in __ptep_test_and_clear_young()
1266 pte_val(old_pte), pte_val(pte)); in __ptep_test_and_clear_young()
1267 } while (pte_val(pte) != pte_val(old_pte)); in __ptep_test_and_clear_young()
1269 return pte_young(pte); in __ptep_test_and_clear_young()
1307 pte_t pte = __pte(xchg_relaxed(&pte_val(*ptep), 0)); in __ptep_get_and_clear() local
1309 page_table_check_pte_clear(mm, pte); in __ptep_get_and_clear()
1311 return pte; in __ptep_get_and_clear()
1330 pte_t pte, tmp_pte; in __get_and_clear_full_ptes() local
1332 pte = __ptep_get_and_clear(mm, addr, ptep); in __get_and_clear_full_ptes()
1338 pte = pte_mkdirty(pte); in __get_and_clear_full_ptes()
1340 pte = pte_mkyoung(pte); in __get_and_clear_full_ptes()
1342 return pte; in __get_and_clear_full_ptes()
1360 pte_t pte) in ___ptep_set_wrprotect() argument
1365 old_pte = pte; in ___ptep_set_wrprotect()
1366 pte = pte_wrprotect(pte); in ___ptep_set_wrprotect()
1367 pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep), in ___ptep_set_wrprotect()
1368 pte_val(old_pte), pte_val(pte)); in ___ptep_set_wrprotect()
1369 } while (pte_val(pte) != pte_val(old_pte)); in ___ptep_set_wrprotect()
1393 pte_t pte, cydp_t flags) in __clear_young_dirty_pte() argument
1398 old_pte = pte; in __clear_young_dirty_pte()
1401 pte = pte_mkold(pte); in __clear_young_dirty_pte()
1403 pte = pte_mkclean(pte); in __clear_young_dirty_pte()
1405 pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep), in __clear_young_dirty_pte()
1406 pte_val(old_pte), pte_val(pte)); in __clear_young_dirty_pte()
1407 } while (pte_val(pte) != pte_val(old_pte)); in __clear_young_dirty_pte()
1414 pte_t pte; in __clear_young_dirty_ptes() local
1417 pte = __ptep_get(ptep); in __clear_young_dirty_ptes()
1420 __set_pte(ptep, pte_mkclean(pte_mkold(pte))); in __clear_young_dirty_ptes()
1422 __clear_young_dirty_pte(vma, addr, ptep, pte, flags); in __clear_young_dirty_ptes()
1468 #define __pte_to_swp_entry(pte) ((swp_entry_t) { pte_val(pte) }) argument
1571 pte_t *ptep, pte_t pte);
1573 pte_t *ptep, pte_t pte);
1577 pte_t *ptep, pte_t pte, unsigned int nr);
1597 unsigned long addr, pte_t *ptep, pte_t pte) in contpte_try_fold() argument
1611 bool palign = (pte_pfn(pte) & contmask) == contmask; in contpte_try_fold()
1614 pte_valid(pte) && !pte_cont(pte) && !pte_special(pte))) in contpte_try_fold()
1615 __contpte_try_fold(mm, addr, ptep, pte); in contpte_try_fold()
1620 unsigned long addr, pte_t *ptep, pte_t pte) in contpte_try_unfold() argument
1622 if (unlikely(pte_valid_cont(pte))) in contpte_try_unfold()
1623 __contpte_try_unfold(mm, addr, ptep, pte); in contpte_try_unfold()
1627 static inline unsigned int pte_batch_hint(pte_t *ptep, pte_t pte) in pte_batch_hint() argument
1629 if (!pte_valid_cont(pte)) in pte_batch_hint()
1656 pte_t pte = __ptep_get(ptep); in ptep_get() local
1658 if (likely(!pte_valid_cont(pte))) in ptep_get()
1659 return pte; in ptep_get()
1661 return contpte_ptep_get(ptep, pte); in ptep_get()
1667 pte_t pte = __ptep_get(ptep); in ptep_get_lockless() local
1669 if (likely(!pte_valid_cont(pte))) in ptep_get_lockless()
1670 return pte; in ptep_get_lockless()
1675 static inline void set_pte(pte_t *ptep, pte_t pte) in set_pte() argument
1687 __set_pte(ptep, pte_mknoncont(pte)); in set_pte()
1692 pte_t *ptep, pte_t pte, unsigned int nr) in set_ptes() argument
1694 pte = pte_mknoncont(pte); in set_ptes()
1698 __set_ptes(mm, addr, ptep, pte, 1); in set_ptes()
1699 contpte_try_fold(mm, addr, ptep, pte); in set_ptes()
1701 contpte_set_ptes(mm, addr, ptep, pte, nr); in set_ptes()
1729 pte_t pte; in get_and_clear_full_ptes() local
1733 pte = __get_and_clear_full_ptes(mm, addr, ptep, nr, full); in get_and_clear_full_ptes()
1735 pte = contpte_get_and_clear_full_ptes(mm, addr, ptep, nr, full); in get_and_clear_full_ptes()
1738 return pte; in get_and_clear_full_ptes()