89 	union ccb *ccb;  in isci_io_request_complete()  local
98 	ccb = isci_request->ccb;  in isci_io_request_complete()
99 	csio = &ccb->csio;  in isci_io_request_complete()
100 	ccb->ccb_h.status &= ~CAM_STATUS_MASK;  in isci_io_request_complete()
106 		if (ccb->ccb_h.func_code == XPT_SMP_IO) {  in isci_io_request_complete()
111 			memcpy(ccb->smpio.smp_response, smp_response,  in isci_io_request_complete()
112 			    ccb->smpio.smp_response_len);  in isci_io_request_complete()
115 		ccb->ccb_h.status |= CAM_REQ_CMP;  in isci_io_request_complete()
119 		ccb->ccb_h.status |= CAM_REQ_CMP;  in isci_io_request_complete()
120 		ccb->csio.resid = ccb->csio.dxfer_len -  in isci_io_request_complete()
144 		ccb->ccb_h.status |= CAM_SCSI_STATUS_ERROR;  in isci_io_request_complete()
145 		ccb->ccb_h.status |= CAM_AUTOSNS_VALID;  in isci_io_request_complete()
150 		    ccb->ccb_h.path_id, ccb->ccb_h.target_id,  in isci_io_request_complete()
151 		    ccb->ccb_h.target_lun, scsiio_cdb_ptr(csio),  in isci_io_request_complete()
158 		ccb->ccb_h.status |= CAM_REQ_TERMIO;  in isci_io_request_complete()
161 		    ccb->ccb_h.path_id, ccb->ccb_h.target_id,  in isci_io_request_complete()
162 		    ccb->ccb_h.target_lun, scsiio_cdb_ptr(csio));  in isci_io_request_complete()
166 		ccb->ccb_h.status |= CAM_REQ_TERMIO;  in isci_io_request_complete()
169 		    ccb->ccb_h.path_id, ccb->ccb_h.target_id,  in isci_io_request_complete()
170 		    ccb->ccb_h.target_lun, scsiio_cdb_ptr(csio));  in isci_io_request_complete()
179 		ccb->ccb_h.status |= CAM_DEV_NOT_THERE;  in isci_io_request_complete()
197 			xpt_action((union ccb *)&ccb_relsim);  in isci_io_request_complete()
212 		    ccb->ccb_h.path_id, ccb->ccb_h.target_id,  in isci_io_request_complete()
213 		    ccb->ccb_h.target_lun, scsiio_cdb_ptr(csio),  in isci_io_request_complete()
215 		ccb->ccb_h.status |= CAM_REQ_CMP_ERR;  in isci_io_request_complete()
227 	isci_request->ccb = NULL;  in isci_io_request_complete()
233 		if ((ccb->ccb_h.status & CAM_STATUS_MASK) != CAM_REQ_CMP) {  in isci_io_request_complete()
240 			ccb->ccb_h.status |= CAM_DEV_QFRZN;  in isci_io_request_complete()
241 			xpt_freeze_devq(ccb->ccb_h.path, 1);  in isci_io_request_complete()
244 		if (ccb->ccb_h.status & CAM_SIM_QUEUED) {  in isci_io_request_complete()
246 			KASSERT(ccb == isci_remote_device->queued_ccb_in_progress,  in isci_io_request_complete()
250 			    &ccb->ccb_h, sim_links.tqe);  in isci_io_request_complete()
251 			ccb->ccb_h.status &= ~CAM_SIM_QUEUED;  in isci_io_request_complete()
268 		xpt_done(ccb);  in isci_io_request_complete()
276 		    ccb->ccb_h.target_lun);  in isci_io_request_complete()
278 		if (ccb->ccb_h.status & CAM_SIM_QUEUED) {  in isci_io_request_complete()
280 			KASSERT(ccb == isci_remote_device->queued_ccb_in_progress,  in isci_io_request_complete()
290 			    ccb, scsiio_cdb_ptr(csio));  in isci_io_request_complete()
295 			isci_log_message(1, "ISCI", "queue %p %x\n", ccb,  in isci_io_request_complete()
297 			ccb->ccb_h.status |= CAM_SIM_QUEUED;  in isci_io_request_complete()
300 			    &ccb->ccb_h, sim_links.tqe);  in isci_io_request_complete()
378 	return (scsiio_cdb_ptr(&isci_request->ccb->csio));  in scif_cb_io_request_get_cdb_address()
397 	return (isci_request->ccb->csio.cdb_len);  in scif_cb_io_request_get_cdb_length()
421 	return (isci_request->ccb->ccb_h.target_lun);  in scif_cb_io_request_get_lun()
447 	if((isci_request->ccb->ccb_h.flags & CAM_TAG_ACTION_VALID) != 0)  in scif_cb_io_request_get_task_attribute()
448 		switch(isci_request->ccb->csio.tag_action) {  in scif_cb_io_request_get_task_attribute()
517 	union ccb		*ccb;  in scif_cb_io_request_get_virtual_address_from_sgl()  local
521 	ccb = isci_request->ccb;  in scif_cb_io_request_get_virtual_address_from_sgl()
537 	if ((ccb->ccb_h.flags & CAM_DATA_MASK) != CAM_DATA_VADDR)  in scif_cb_io_request_get_virtual_address_from_sgl()
540 	return (ccb->csio.data_ptr + byte_offset);  in scif_cb_io_request_get_virtual_address_from_sgl()
560 	return (isci_request->ccb->csio.dxfer_len);  in scif_cb_io_request_get_transfer_length()
581 	switch (isci_request->ccb->ccb_h.flags & CAM_DIR_MASK) {  in scif_cb_io_request_get_data_direction()
692 	union ccb *ccb;  in isci_io_request_construct()  local
699 	ccb = io_request->ccb;  in isci_io_request_construct()
702 		ccb->ccb_h.status = CAM_REQ_INVALID;  in isci_io_request_construct()
703 		xpt_done(ccb);  in isci_io_request_construct()
735 	if (ccb->ccb_h.timeout != CAM_TIME_INFINITY)  in isci_io_request_construct()
737 		    SBT_1MS * ccb->ccb_h.timeout, 0, isci_io_request_timeout,  in isci_io_request_construct()
742 isci_io_request_execute_scsi_io(union ccb *ccb,  in isci_io_request_execute_scsi_io()  argument
745 	target_id_t target_id = ccb->ccb_h.target_id;  in isci_io_request_execute_scsi_io()
753 		ccb->ccb_h.status &= ~CAM_SIM_QUEUED;  in isci_io_request_execute_scsi_io()
754 		ccb->ccb_h.status &= ~CAM_STATUS_MASK;  in isci_io_request_execute_scsi_io()
755 		ccb->ccb_h.status |= CAM_DEV_NOT_THERE;  in isci_io_request_execute_scsi_io()
756 		xpt_done(ccb);  in isci_io_request_execute_scsi_io()
761 		ccb->ccb_h.status &= ~CAM_SIM_QUEUED;  in isci_io_request_execute_scsi_io()
762 		ccb->ccb_h.status &= ~CAM_STATUS_MASK;  in isci_io_request_execute_scsi_io()
763 		ccb->ccb_h.status |= CAM_REQUEUE_REQ;  in isci_io_request_execute_scsi_io()
766 		xpt_done(ccb);  in isci_io_request_execute_scsi_io()
775 	io_request->ccb = ccb;  in isci_io_request_execute_scsi_io()
780 	    io_request->parent.dma_map, ccb,  in isci_io_request_execute_scsi_io()
788 		ccb->ccb_h.flags |= CAM_RELEASE_SIMQ;  in isci_io_request_execute_scsi_io()
826 	*smp_request_buffer = isci_request->ccb->smpio.smp_request +  in smp_io_request_cb_get_request_buffer()
829 	return (isci_request->ccb->smpio.smp_request_len -  in smp_io_request_cb_get_request_buffer()
847 	    (SMP_REQUEST_HEADER_T *)isci_request->ccb->smpio.smp_request;  in smp_io_request_cb_get_function()
866 	    (SMP_REQUEST_HEADER_T *)isci_request->ccb->smpio.smp_request;  in smp_io_request_cb_get_frame_type()
886 	    (SMP_REQUEST_HEADER_T *)isci_request->ccb->smpio.smp_request;  in smp_io_request_cb_get_allocated_response_length()
923 isci_io_request_execute_smp_io(union ccb *ccb,  in isci_io_request_execute_smp_io()  argument
927 	target_id_t target_id = ccb->ccb_h.target_id;  in isci_io_request_execute_smp_io()
943 		ccb->ccb_h.status &= ~CAM_SIM_QUEUED;  in isci_io_request_execute_smp_io()
944 		ccb->ccb_h.status &= ~CAM_STATUS_MASK;  in isci_io_request_execute_smp_io()
945 		ccb->ccb_h.status |= CAM_DEV_NOT_THERE;  in isci_io_request_execute_smp_io()
946 		xpt_done(ccb);  in isci_io_request_execute_smp_io()
951 		ccb->ccb_h.status &= ~CAM_SIM_QUEUED;  in isci_io_request_execute_smp_io()
952 		ccb->ccb_h.status &= ~CAM_STATUS_MASK;  in isci_io_request_execute_smp_io()
953 		ccb->ccb_h.status |= CAM_REQUEUE_REQ;  in isci_io_request_execute_smp_io()
956 		xpt_done(ccb);  in isci_io_request_execute_smp_io()
965 	io_request->ccb = ccb;  in isci_io_request_execute_smp_io()
988 	if (ccb->ccb_h.timeout != CAM_TIME_INFINITY)  in isci_io_request_execute_smp_io()
990 		    SBT_1MS *  ccb->ccb_h.timeout, 0, isci_io_request_timeout,  in isci_io_request_execute_smp_io()