| /linux-6.15/io_uring/ |
| H A D | io-wq.c | 52 struct io_wq *wq;
114 struct io_wq { struct
202 struct io_wq *wq = worker->wq; in io_worker_cancel_cb()
345 struct io_wq *wq; in create_worker_cb()
488 struct io_wq *wq) in io_get_next_work()
803 struct io_wq *wq; in create_worker_cont()
1177 struct io_wq *wq = container_of(wait, struct io_wq, wait); in io_wq_hash_wake()
1196 struct io_wq *wq; in io_wq_create()
1357 struct io_wq *wq = hlist_entry_safe(node, struct io_wq, cpuhp_node); in io_wq_cpu_online()
1364 struct io_wq *wq = hlist_entry_safe(node, struct io_wq, cpuhp_node); in io_wq_cpu_offline()
[all …]
|
| H A D | io-wq.h | 7 struct io_wq;
46 struct io_wq *io_wq_create(unsigned bounded, struct io_wq_data *data);
47 void io_wq_exit_start(struct io_wq *wq);
48 void io_wq_put_and_exit(struct io_wq *wq);
50 void io_wq_enqueue(struct io_wq *wq, struct io_wq_work *work);
54 int io_wq_max_workers(struct io_wq *wq, int *new_count);
69 enum io_wq_cancel io_wq_cancel_cb(struct io_wq *wq, work_cancel_fn *cancel,
|
| H A D | tctx.c | 15 static struct io_wq *io_init_wq_offload(struct io_ring_ctx *ctx, in io_init_wq_offload()
63 WARN_ON_ONCE(tctx->io_wq); in __io_uring_free()
87 tctx->io_wq = io_init_wq_offload(ctx, task); in io_uring_alloc_task_context()
88 if (IS_ERR(tctx->io_wq)) { in io_uring_alloc_task_context()
89 ret = PTR_ERR(tctx->io_wq); in io_uring_alloc_task_context()
122 ret = io_wq_max_workers(tctx->io_wq, limits); in __io_uring_add_tctx_node()
192 struct io_wq *wq = tctx->io_wq; in io_uring_clean_tctx()
206 tctx->io_wq = NULL; in io_uring_clean_tctx()
|
| H A D | cancel.c | 83 if (!tctx || !tctx->io_wq) in io_async_cancel_one()
87 cancel_ret = io_wq_cancel_cb(tctx->io_wq, io_cancel_cb, cd, all); in io_async_cancel_one()
|
| H A D | register.c | 299 if (tctx && tctx->io_wq) { in io_register_iowq_max_workers()
300 ret = io_wq_max_workers(tctx->io_wq, new_count); in io_register_iowq_max_workers()
324 if (WARN_ON_ONCE(!tctx->io_wq)) in io_register_iowq_max_workers()
330 (void)io_wq_max_workers(tctx->io_wq, new_count); in io_register_iowq_max_workers()
|
| H A D | io_uring.c | 507 if ((current->flags & PF_KTHREAD) || !tctx->io_wq) { in io_queue_iowq()
526 io_wq_enqueue(tctx->io_wq, &req->work); in io_queue_iowq()
2905 if (tsk && tsk->io_uring && tsk->io_uring->io_wq) in io_ring_exit_work()
2906 io_wq_cancel_cb(tsk->io_uring->io_wq, in io_ring_exit_work()
3052 if (!tctx || !tctx->io_wq) in io_uring_try_cancel_iowq()
3054 cret = io_wq_cancel_cb(tctx->io_wq, io_cancel_ctx_cb, ctx, true); in io_uring_try_cancel_iowq()
3083 } else if (tctx->io_wq) { in io_uring_try_cancel_requests()
3088 cret = io_wq_cancel_cb(tctx->io_wq, io_cancel_task_cb, in io_uring_try_cancel_requests()
3145 if (tctx->io_wq) in io_uring_cancel_generic()
3146 io_wq_exit_start(tctx->io_wq); in io_uring_cancel_generic()
|
| /linux-6.15/drivers/scsi/lpfc/ |
| H A D | lpfc_debugfs.h | 426 wq = phba->sli4_hba.hdwq[wqidx].io_wq; in lpfc_debug_dump_wq()
470 wq = phba->sli4_hba.hdwq[wqidx].io_wq; in lpfc_debug_dump_cq()
575 if (phba->sli4_hba.hdwq[wq_idx].io_wq->queue_id == qid) in lpfc_debug_dump_wq_by_id()
579 lpfc_debug_dump_q(phba->sli4_hba.hdwq[wq_idx].io_wq); in lpfc_debug_dump_wq_by_id()
|
| H A D | lpfc_nvme.c | 2250 if (!vport->localport || !qp || !qp->io_wq) in lpfc_nvme_lport_unreg_wait()
2253 pring = qp->io_wq->pring; in lpfc_nvme_lport_unreg_wait()
2771 if (!phba->sli4_hba.hdwq[i].io_wq) in lpfc_nvme_wait_for_io_drain()
2773 pring = phba->sli4_hba.hdwq[i].io_wq->pring; in lpfc_nvme_wait_for_io_drain()
|
| H A D | lpfc_sli4.h | 701 struct lpfc_queue *io_wq; /* Fast-path FCP & NVME work queue */ member
|
| H A D | lpfc_nvmet.c | 1103 wq = ctxp->hdwq->io_wq; in lpfc_nvmet_xmt_fcp_op()
1178 wq = ctxp->hdwq->io_wq; in lpfc_nvmet_xmt_fcp_abort()
2124 wq = phba->sli4_hba.hdwq[qidx].io_wq; in lpfc_nvmet_destroy_targetport()
|
| H A D | lpfc_sli.c | 4641 pring = phba->sli4_hba.hdwq[i].io_wq->pring; in lpfc_sli_abort_fcp_rings()
4677 !phba->sli4_hba.hdwq[i].io_wq) { in lpfc_sli_flush_io_rings()
4687 pring = phba->sli4_hba.hdwq[i].io_wq->pring; in lpfc_sli_flush_io_rings()
11759 pring = phba->sli4_hba.hdwq[i].io_wq->pring; in lpfc_sli4_queue_init()
21159 wq = phba->sli4_hba.hdwq[0].io_wq; in lpfc_drain_txq()
21402 wq = qp->io_wq; in lpfc_sli4_issue_wqe()
21424 wq = qp->io_wq; in lpfc_sli4_issue_wqe()
21564 txcmplq_cnt = qp->io_wq->pring->txcmplq_cnt; in lpfc_snapshot_mxp()
21634 txcmplq_cnt = qp->io_wq->pring->txcmplq_cnt; in lpfc_adjust_high_watermark()
22352 cpu_to_node(hdwq->io_wq->chann)); in lpfc_get_sgl_per_hdwq()
[all …]
|
| H A D | lpfc_scsi.c | 5565 if (!phba->sli4_hba.hdwq[iocb->hba_wqidx].io_wq || in lpfc_abort_handler()
5566 !phba->sli4_hba.hdwq[iocb->hba_wqidx].io_wq->pring) { in lpfc_abort_handler()
5577 pring_s4 = phba->sli4_hba.hdwq[iocb->hba_wqidx].io_wq->pring; in lpfc_abort_handler()
|
| H A D | lpfc_debugfs.c | 532 txcmplq_cnt = qp->io_wq->pring->txcmplq_cnt; in lpfc_debugfs_multixripools_data()
3890 qp = phba->sli4_hba.hdwq[qidx].io_wq; in lpfc_idiag_wqs_for_cq()
4481 qp = phba->sli4_hba.hdwq[qidx].io_wq; in lpfc_idiag_queacc_write()
|
| H A D | lpfc_init.c | 10408 phba->sli4_hba.hdwq[idx].io_wq = qdesc; in lpfc_alloc_io_wq_cq()
10840 lpfc_sli4_queue_free(hdwq[idx].io_wq); in lpfc_sli4_release_hdwq()
10843 hdwq[idx].io_wq = NULL; in lpfc_sli4_release_hdwq()
11177 qp[qidx].io_wq, in lpfc_sli4_queue_setup()
11484 lpfc_wq_destroy(phba, qp->io_wq); in lpfc_sli4_queue_unset()
|
| /linux-6.15/include/linux/ |
| H A D | io_uring_types.h | 98 struct io_wq *io_wq; member
|