Lines Matching refs:mem_alloc_list_tail
283 static struct mem_entry *mem_alloc_list_tail; variable
512 mem_alloc_list_tail = mem_alloc_list_head; in mem_list_add_item()
523 mem_alloc_list_tail->next = mem_alloc_list_cur; in mem_list_add_item()
524 mem_alloc_list_cur->prev = mem_alloc_list_tail; in mem_list_add_item()
525 mem_alloc_list_tail = mem_alloc_list_tail->next; in mem_list_add_item()
526 mem_alloc_list_tail->next = NULL; in mem_list_add_item()
531 return mem_alloc_list_tail; in mem_list_add_item()
739 mem_alloc_list_tail = mem_list_add_item(); in cuda_mem_alloc()
740 if (mem_alloc_list_tail == NULL) { in cuda_mem_alloc()
746 mem_alloc_list_tail->size = size; in cuda_mem_alloc()
747 mem_alloc_list_tail->size_orig = size + align; in cuda_mem_alloc()
749 res = pfn_cuMemAlloc(&(mem_alloc_list_tail->ptr_orig_d), in cuda_mem_alloc()
750 mem_alloc_list_tail->size_orig); in cuda_mem_alloc()
760 mem_alloc_list_tail->ptr_d = mem_alloc_list_tail->ptr_orig_d; in cuda_mem_alloc()
761 if (align && ((uintptr_t)mem_alloc_list_tail->ptr_d) % align) in cuda_mem_alloc()
762 mem_alloc_list_tail->ptr_d += (align - in cuda_mem_alloc()
763 (((uintptr_t)mem_alloc_list_tail->ptr_d) % align)); in cuda_mem_alloc()
768 mem_alloc_list_tail->ptr_d); in cuda_mem_alloc()
772 (uint32_t)mem_alloc_list_tail->ptr_d, res); in cuda_mem_alloc()
777 mem_alloc_list_tail->pkey = get_hash_from_ptr((void *)mem_alloc_list_tail->ptr_d); in cuda_mem_alloc()
778 mem_alloc_list_tail->ptr_h = NULL; in cuda_mem_alloc()
779 mem_alloc_list_tail->dev = dev; in cuda_mem_alloc()
780 mem_alloc_list_tail->ctx = (CUcontext)((uintptr_t)dev->mpshared->info.context); in cuda_mem_alloc()
781 mem_alloc_list_tail->mtype = GPU_MEM; in cuda_mem_alloc()
793 *ptr = (void *)mem_alloc_list_tail->ptr_d; in cuda_mem_alloc()
833 mem_alloc_list_tail = mem_list_add_item(); in cuda_mem_register()
834 if (mem_alloc_list_tail == NULL) { in cuda_mem_register()
840 mem_alloc_list_tail->size = size; in cuda_mem_register()
841 mem_alloc_list_tail->ptr_h = ptr; in cuda_mem_register()
843 res = pfn_cuMemHostRegister(mem_alloc_list_tail->ptr_h, in cuda_mem_register()
844 mem_alloc_list_tail->size, in cuda_mem_register()
851 mem_alloc_list_tail->ptr_h, in cuda_mem_register()
852 mem_alloc_list_tail->size); in cuda_mem_register()
869 res = pfn_cuMemHostGetDevicePointer(&(mem_alloc_list_tail->ptr_d), in cuda_mem_register()
870 mem_alloc_list_tail->ptr_h, 0); in cuda_mem_register()
879 if ((uintptr_t)mem_alloc_list_tail->ptr_d != in cuda_mem_register()
880 (uintptr_t)mem_alloc_list_tail->ptr_h) { in cuda_mem_register()
886 mem_alloc_list_tail->ptr_d = (CUdeviceptr)mem_alloc_list_tail->ptr_h; in cuda_mem_register()
892 mem_alloc_list_tail->ptr_d); in cuda_mem_register()
895 ", err %d", (uint32_t)mem_alloc_list_tail->ptr_d, res); in cuda_mem_register()
900 mem_alloc_list_tail->pkey = get_hash_from_ptr((void *)mem_alloc_list_tail->ptr_h); in cuda_mem_register()
901 mem_alloc_list_tail->size = size; in cuda_mem_register()
902 mem_alloc_list_tail->dev = dev; in cuda_mem_register()
903 mem_alloc_list_tail->ctx = (CUcontext)((uintptr_t)dev->mpshared->info.context); in cuda_mem_register()
904 mem_alloc_list_tail->mtype = CPU_REGISTERED; in cuda_mem_register()
905 mem_alloc_list_tail->ptr_orig_d = mem_alloc_list_tail->ptr_d; in cuda_mem_register()
1202 mem_alloc_list_tail = NULL; in cuda_gpu_probe()