| /freebsd-14.2/contrib/llvm-project/llvm/lib/Target/AMDGPU/ |
| H A D | GCNHazardRecognizer.cpp | 174 (SIInstrInfo::isMUBUF(MI) || SIInstrInfo::isFLAT(MI)); in isLdsDma()
223 if ((SIInstrInfo::isVALU(*MI) || SIInstrInfo::isVMEM(*MI) || in getHazardType()
224 SIInstrInfo::isFLAT(*MI) || SIInstrInfo::isDS(*MI) || in getHazardType()
346 if (SIInstrInfo::isVMEM(*MI) || SIInstrInfo::isFLAT(*MI)) in PreEmitNoopsCommon()
361 if ((SIInstrInfo::isVALU(*MI) || SIInstrInfo::isVMEM(*MI) || in PreEmitNoopsCommon()
362 SIInstrInfo::isFLAT(*MI) || SIInstrInfo::isDS(*MI) || in PreEmitNoopsCommon()
1158 if (!SIInstrInfo::isVMEM(I) && !SIInstrInfo::isDS(I) && in fixVMEMtoScalarWriteHazards()
1426 SIInstrInfo::isDS(I) || SIInstrInfo::isEXP(I); in fixLdsDirectVALUHazard()
1543 if (SIInstrInfo::isVMEM(I) || SIInstrInfo::isFLAT(I) || in fixVALUPartialForwardingHazard()
1544 SIInstrInfo::isDS(I) || SIInstrInfo::isEXP(I) || in fixVALUPartialForwardingHazard()
[all …]
|
| H A D | SIInsertHardClauses.cpp | 112 if (SIInstrInfo::isVMEM(MI) || SIInstrInfo::isSegmentSpecificFLAT(MI)) { in getHardClauseType()
120 if (SIInstrInfo::isFLAT(MI)) in getHardClauseType()
124 if (SIInstrInfo::isMIMG(MI)) { in getHardClauseType()
136 if (SIInstrInfo::isVMEM(MI) || SIInstrInfo::isSegmentSpecificFLAT(MI)) { in getHardClauseType()
141 if (SIInstrInfo::isFLAT(MI)) { in getHardClauseType()
148 if (SIInstrInfo::isSMRD(MI)) in getHardClauseType()
182 bool emitClause(const ClauseInfo &CI, const SIInstrInfo *SII) { in emitClause()
204 const SIInstrInfo *SII = ST->getInstrInfo(); in runOnMachineFunction()
|
| H A D | AMDGPUMCInstLower.cpp | 50 case SIInstrInfo::MO_GOTPCREL: in getVariantKind()
52 case SIInstrInfo::MO_GOTPCREL32_LO: in getVariantKind()
54 case SIInstrInfo::MO_GOTPCREL32_HI: in getVariantKind()
56 case SIInstrInfo::MO_REL32_LO: in getVariantKind()
58 case SIInstrInfo::MO_REL32_HI: in getVariantKind()
60 case SIInstrInfo::MO_ABS32_LO: in getVariantKind()
62 case SIInstrInfo::MO_ABS32_HI: in getVariantKind()
108 if (MO.getTargetFlags() == SIInstrInfo::MO_FAR_BRANCH_OFFSET) { in lowerOperand()
120 const auto *TII = static_cast<const SIInstrInfo*>(ST.getInstrInfo()); in lower()
|
| H A D | SIModeRegister.cpp | 138 void processBlockPhase1(MachineBasicBlock &MBB, const SIInstrInfo *TII);
140 void processBlockPhase2(MachineBasicBlock &MBB, const SIInstrInfo *TII);
142 void processBlockPhase3(MachineBasicBlock &MBB, const SIInstrInfo *TII);
144 Status getInstructionMode(MachineInstr &MI, const SIInstrInfo *TII);
147 const SIInstrInfo *TII, Status InstrMode);
165 const SIInstrInfo *TII) { in getInstructionMode()
223 const SIInstrInfo *TII, Status InstrMode) { in insertSetreg()
259 const SIInstrInfo *TII) { in processBlockPhase1()
361 const SIInstrInfo *TII) { in processBlockPhase2()
425 const SIInstrInfo *TII) { in processBlockPhase3()
[all …]
|
| H A D | AMDGPUExportClustering.cpp | 30 return SIInstrInfo::isEXP(*SU.getInstr()); in isExport()
33 static bool isPositionExport(const SIInstrInfo *TII, SUnit *SU) { in isPositionExport()
39 static void sortChain(const SIInstrInfo *TII, SmallVector<SUnit *, 8> &Chain, in sortChain()
109 const SIInstrInfo *TII = static_cast<const SIInstrInfo *>(DAG->TII); in apply()
|
| H A D | AMDGPUSetWavePriority.cpp | 60 const SIInstrInfo *TII;
98 return SIInstrInfo::isVMEM(MI) && MI.mayLoad(); in isVMEMLoad()
136 } else if (SIInstrInfo::isDS(MI)) { in runOnMachineFunction()
141 } else if (SIInstrInfo::isVALU(MI)) { in runOnMachineFunction()
173 while (I != E && !SIInstrInfo::isVALU(*I) && !I->isTerminator()) in runOnMachineFunction()
|
| H A D | SIInstrInfo.cpp | 66 SIInstrInfo::SIInstrInfo(const GCNSubtarget &ST) in SIInstrInfo() function in SIInstrInfo
112 if (SIInstrInfo::isVOP1(MI) || SIInstrInfo::isVOP2(MI) || in canRemat()
113 SIInstrInfo::isVOP3(MI) || SIInstrInfo::isSDWA(MI) || in canRemat()
114 SIInstrInfo::isSALU(MI)) in canRemat()
117 if (SIInstrInfo::isSMRD(MI)) { in canRemat()
2945 unsigned SIInstrInfo::getBranchOpcode(SIInstrInfo::BranchPredicate Cond) { in getBranchOpcode()
2951 case SIInstrInfo::VCCNZ: in getBranchOpcode()
2953 case SIInstrInfo::VCCZ: in getBranchOpcode()
2955 case SIInstrInfo::EXECNZ: in getBranchOpcode()
2957 case SIInstrInfo::EXECZ: in getBranchOpcode()
[all …]
|
| H A D | GCNVOPDUtils.h | 22 class SIInstrInfo; variable
24 bool checkVOPDRegConstraints(const SIInstrInfo &TII,
|
| H A D | SIInsertWaitcnts.cpp | 172 return SIInstrInfo::isVMEM(Inst) || SIInstrInfo::isFLATGlobal(Inst) || in updateVMCntOnly()
173 SIInstrInfo::isFLATScratch(Inst); in updateVMCntOnly()
184 if (!SIInstrInfo::isMIMG(Inst) && !SIInstrInfo::isVIMAGE(Inst) && in getVmemType()
185 !SIInstrInfo::isVSAMPLE(Inst)) in getVmemType()
444 const SIInstrInfo *TII = nullptr;
557 const SIInstrInfo *TII = nullptr;
672 assert(SIInstrInfo::isVMEM(Inst) || SIInstrInfo::isFLAT(Inst)); in getVmemWaitEventType()
805 } else if (SIInstrInfo::isAtomicRet(Inst) && !SIInstrInfo::isGWS(Inst) && in updateByEvent()
1926 SIInstrInfo::isVINTERP(*It)) { in generateWaitcnt()
2103 } else if (SIInstrInfo::isEXP(Inst)) { in updateEventWaitcntAfter()
[all …]
|
| H A D | AMDGPUMacroFusion.cpp | 30 const SIInstrInfo &TII = static_cast<const SIInstrInfo&>(TII_); in shouldScheduleAdjacent()
|
| H A D | SIFormMemoryClauses.cpp | 98 return SIInstrInfo::isFLAT(MI) || SIInstrInfo::isVMEM(MI); in isVMEMClauseInst()
102 return SIInstrInfo::isSMRD(MI); in isSMEMClauseInst()
113 if (SIInstrInfo::isAtomic(MI)) in isValidClauseInst()
265 const SIInstrInfo *TII = ST->getInstrInfo(); in runOnMachineFunction()
|
| H A D | AMDGPUInsertSingleUseVDST.cpp | 43 const SIInstrInfo *SII;
104 if (AllProducerOperandsAreSingleUse && SIInstrInfo::isVALU(MI)) { in runOnMachineFunction()
|
| H A D | SIPeepholeSDWA.cpp | 50 const SIInstrInfo *TII;
96 virtual MachineInstr *potentialToConvert(const SIInstrInfo *TII) = 0;
97 virtual bool convertToSDWA(MachineInstr &MI, const SIInstrInfo *TII) = 0;
129 MachineInstr *potentialToConvert(const SIInstrInfo *TII) override;
130 bool convertToSDWA(MachineInstr &MI, const SIInstrInfo *TII) override;
137 uint64_t getSrcMods(const SIInstrInfo *TII,
156 MachineInstr *potentialToConvert(const SIInstrInfo *TII) override;
157 bool convertToSDWA(MachineInstr &MI, const SIInstrInfo *TII) override;
177 bool convertToSDWA(MachineInstr &MI, const SIInstrInfo *TII) override;
305 uint64_t SDWASrcOperand::getSrcMods(const SIInstrInfo *TII, in getSrcMods()
[all …]
|
| H A D | GCNVOPDUtils.cpp | 37 bool llvm::checkVOPDRegConstraints(const SIInstrInfo &TII, in checkVOPDRegConstraints()
127 const SIInstrInfo &STII = static_cast<const SIInstrInfo &>(TII); in shouldScheduleVOPDAdjacent()
|
| H A D | AMDGPUIGroupLP.cpp | 91 const SIInstrInfo *TII;
104 InstructionRule(const SIInstrInfo *TII, unsigned SGID, in InstructionRule()
143 const SIInstrInfo *TII;
236 ScheduleDAGInstrs *DAG, const SIInstrInfo *TII) in SchedGroup()
242 ScheduleDAGInstrs *DAG, const SIInstrInfo *TII) in SchedGroup()
848 const SIInstrInfo *TII;
862 IGLPStrategy(ScheduleDAGInstrs *DAG, const SIInstrInfo *TII) in IGLPStrategy()
937 EnablesInitialMFMA(const SIInstrInfo *TII, unsigned SGID, in EnablesInitialMFMA()
1007 IsSuccOfPrevGroup(const SIInstrInfo *TII, unsigned SGID, in IsSuccOfPrevGroup()
1361 const SIInstrInfo *TII) { in createIGLPStrategy()
[all …]
|
| H A D | GCNHazardRecognizer.h | 28 class SIInstrInfo; variable
47 const SIInstrInfo &TII;
|
| H A D | GCNCreateVOPD.cpp | 69 bool doReplace(const SIInstrInfo *SII, VOPDCombineInfo &CI) { in doReplace()
125 const SIInstrInfo *SII = ST->getInstrInfo(); in runOnMachineFunction()
|
| H A D | SIFrameLowering.cpp | 231 const SIInstrInfo *TII;
386 const SIInstrInfo *TII = ST.getInstrInfo(); in emitEntryFunctionFlatScratchInit()
542 const SIInstrInfo *TII = ST.getInstrInfo(); in getEntryFunctionReservedScratchRsrcReg()
611 const SIInstrInfo *TII = ST.getInstrInfo(); in emitEntryFunctionPrologue()
729 const SIInstrInfo *TII = ST.getInstrInfo(); in emitEntryFunctionScratchRsrcRegSetup()
890 const SIInstrInfo *TII = ST.getInstrInfo(); in buildScratchExecCopy()
921 const SIInstrInfo *TII = ST.getInstrInfo(); in emitCSRSpillStores()
1007 const SIInstrInfo *TII = ST.getInstrInfo(); in emitCSRSpillRestores()
1079 const SIInstrInfo *TII = ST.getInstrInfo(); in emitPrologue()
1228 const SIInstrInfo *TII = ST.getInstrInfo(); in emitEpilogue()
[all …]
|
| H A D | AMDGPURegisterBankInfo.h | 29 class SIInstrInfo; variable
46 const SIInstrInfo *TII;
|
| H A D | SIRegisterInfo.cpp | 105 const SIInstrInfo &TII;
782 assert(SIInstrInfo::isMUBUF(*MI) || SIInstrInfo::isFLATScratch(*MI)); in getScratchInstrOffset()
791 if (!SIInstrInfo::isMUBUF(*MI) && !SIInstrInfo::isFLATScratch(*MI)) in getFrameIndexInstrOffset()
804 if (!SIInstrInfo::isMUBUF(*MI) && !SIInstrInfo::isFLATScratch(*MI)) in needsFrameBaseReg()
809 const SIInstrInfo *TII = ST.getInstrInfo(); in needsFrameBaseReg()
810 if (SIInstrInfo::isMUBUF(*MI)) in needsFrameBaseReg()
827 const SIInstrInfo *TII = ST.getInstrInfo(); in materializeFrameBaseRegister()
870 const SIInstrInfo *TII = ST.getInstrInfo(); in resolveFrameIndex()
919 if (!SIInstrInfo::isMUBUF(*MI) && !SIInstrInfo::isFLATScratch(*MI)) in isFrameOffsetLegal()
924 const SIInstrInfo *TII = ST.getInstrInfo(); in isFrameOffsetLegal()
[all …]
|
| H A D | SIFixVGPRCopies.cpp | 55 const SIInstrInfo *TII = ST.getInstrInfo(); in runOnMachineFunction()
|
| H A D | SILateBranchLowering.cpp | 30 const SIInstrInfo *TII = nullptr;
71 const SIInstrInfo *TII, MachineFunction &MF) { in generateEndPgm()
|
| H A D | SILowerI1Copies.h | 49 const SIInstrInfo *TII = nullptr;
|
| H A D | SIMachineScheduler.h | 26 class SIInstrInfo; variable
426 const SIInstrInfo *SITII;
|
| H A D | GCNPreRALongBranchReg.cpp | 105 const SIInstrInfo *TII = STM.getInstrInfo(); in runOnMachineFunction()
|