Lines Matching refs:isScalableVector
173 assert(VT.isScalableVector() && (VT.getVectorElementType() == MVT::i1) && in getPromotedVTForPredicate()
1729 if (VT.isScalableVector()) in getSetCCResultType()
3687 if (VT.isScalableVector()) in LowerFP_EXTEND()
3699 if (Op.getValueType().isScalableVector()) in LowerFP_ROUND()
3730 if (VT.isScalableVector()) { in LowerVectorFP_TO_INT()
3858 if (DstVT.isScalableVector()) in LowerVectorFP_TO_INT_SAT()
3977 if (VT.isScalableVector()) { in LowerVectorINT_TO_FP()
4115 if (OpVT.isScalableVector()) { in LowerBITCAST()
4345 if (VT.isScalableVector() || useSVEForFixedLengthVectorVT(VT, OverrideNEON)) in LowerMUL()
4432 assert(VT.isScalableVector() && DAG.getTargetLoweringInfo().isTypeLegal(VT) && in getSVEPredicateBitCast()
4433 InVT.isScalableVector() && in getSVEPredicateBitCast()
4869 return ExtVal.getValueType().isScalableVector() || in isVectorLoadExtDesirable()
5766 if (any_of(Outs, [](ISD::OutputArg &Out){ return Out.VT.isScalableVector(); })) in LowerFormalArguments()
5851 else if (RegVT.isScalableVector() && in LowerFormalArguments()
5855 } else if (RegVT.isScalableVector()) { in LowerFormalArguments()
5874 assert(VA.getValVT().isScalableVector() && in LowerFormalArguments()
5919 assert(VA.getValVT().isScalableVector() && in LowerFormalArguments()
5940 assert(VA.getValVT().isScalableVector() && in LowerFormalArguments()
6407 A.getValVT().isScalableVector()) && in isEligibleForTailCallOptimization()
6512 if (!Outs[i].IsFixed && Outs[i].VT.isScalableVector()) in LowerCall()
6677 assert(VA.getValVT().isScalableVector() && in LowerCall()
7737 if (VT.isScalableVector()) in LowerFCOPYSIGN()
7745 if (VT.isScalableVector()) in LowerFCOPYSIGN()
7862 if (VT.isScalableVector() || useSVEForFixedLengthVectorVT(VT)) in LowerCTPOP_PARITY()
7890 assert(VT.isScalableVector() || in LowerCTTZ()
7923 if (VT.isScalableVector() || in LowerMinMax()
7950 if (VT.isScalableVector() || in LowerBitreverse()
8291 assert(Ty.isScalableVector() && in LowerVECTOR_SPLICE()
8302 if (Ty.isScalableVector() && IdxVal < 0 && in LowerVECTOR_SPLICE()
8345 if (Ty.isScalableVector()) { in LowerSELECT()
8614 if (VT.isScalableVector()) in LowerVAARG()
9066 if (VT.isScalableVector()) in getRegForInlineAsmConstraint()
9076 if (VT.isScalableVector()) { in getRegForInlineAsmConstraint()
9097 if (VT.isScalableVector()) in getRegForInlineAsmConstraint()
9105 if (VT.isScalableVector()) in getRegForInlineAsmConstraint()
9112 if (!VT.isScalableVector() || VT.getVectorElementType() != MVT::i1) in getRegForInlineAsmConstraint()
9360 assert(!VT.isScalableVector() && in ReconstructShuffle()
9395 V.getOperand(0).getValueType().isScalableVector()) { in ReconstructShuffle()
10630 assert(VT.isScalableVector() && VT.getVectorElementType() == MVT::i1 && in LowerSPLAT_VECTOR()
10659 if (!isTypeLegal(VT) || !VT.isScalableVector()) in LowerDUPQLane()
11477 assert(Op.getValueType().isScalableVector() && in LowerCONCAT_VECTORS()
11627 if (InVT.isScalableVector()) { in LowerEXTRACT_SUBVECTOR()
11662 assert(Op.getValueType().isScalableVector() && in LowerINSERT_SUBVECTOR()
11673 if (InVT.isScalableVector()) { in LowerINSERT_SUBVECTOR()
11789 assert(VT.isScalableVector() && "Expected a scalable vector."); in LowerDIV()
11922 if (!VT.isVector() || VT.isScalableVector()) in LowerTRUNCATE()
11943 if (VT.isScalableVector() || useSVEForFixedLengthVectorVT(VT)) in LowerVectorSRA_SRL_SHL()
11955 if (VT.isScalableVector() || useSVEForFixedLengthVectorVT(VT)) { in LowerVectorSRA_SRL_SHL()
12089 if (Op.getValueType().isScalableVector()) in LowerVSETCC()
12176 if (SrcVT.isScalableVector() || in LowerVECREDUCE()
12551 if (Mem->getMemoryVT().isScalableVector()) in shouldReduceLoadWidth()
13382 assert(VT.isScalableVector() && "Can only lower scalable vectors"); in LowerSVEStructLoad()
13635 return (OptLevel >= CodeGenOpt::Aggressive) && !VT.isScalableVector() && in generateFMAsInMachineCombiner()
13991 if (VT.isScalableVector() || Subtarget->useSVEForFixedLengthVectors()) in BuildSDIVPow2()
14040 if (VT.isScalableVector() || Subtarget->useSVEForFixedLengthVectors()) in BuildSREMPow2()
14967 if (VT.isScalableVector()) in performANDCombine()
15053 if (!VT.isScalableVector() || VT.getVectorElementType() != MVT::i1 || in performFirstTrueTestVectorCombine()
15083 if (!OpVT.isScalableVector() || OpVT.getVectorElementType() != MVT::i1) in performLastTrueTestVectorCombine()
15184 if (VT.isScalableVector()) in performConcatVectorsCombine()
15351 if (!VT.isScalableVector() || VT.getVectorElementType() != MVT::i1) in performExtractSubvectorCombine()
15518 if (N.getOperand(0).getValueType().isScalableVector()) in isEssentiallyExtractHighSubvector()
16219 assert(VT.isScalableVector() && "Expected a scalable vector."); in LowerSVEIntrinsicEXT()
16309 assert(Op.getValueType().isScalableVector() && in getPTest()
17027 if (VT.isScalableVector()) in replaceZeroVectorStore()
18635 if (!NTy.isScalableVector()) in trySwapVSelectOperands()
18748 if (ResVT.isScalableVector()) in performSelectCombine()
18886 assert(Offset.getValueType().isScalableVector() && in getScaledOffsetForBitWidth()
18934 assert(SrcVT.isScalableVector() && in performScatterStoreCombine()
19037 assert(RetVT.isScalableVector() && in performGatherLoadCombine()
19438 if (!VT.isScalableVector() || Subtarget->hasSVE2() || Subtarget->hasSME()) in performBSPExpandForSVE()
19999 if (VT.isScalableVector() && !isTypeLegal(VT) && isTypeLegal(SrcVT)) { in ReplaceBITCASTResults()
20104 if (!InVT.isScalableVector() || !InVT.isInteger()) in ReplaceExtractSubVectorResults()
20945 assert(VT.isScalableVector() && DAG.getTargetLoweringInfo().isTypeLegal(VT) && in getPredicateForScalableVector()
20960 assert(VT.isScalableVector() && in convertToScalableVector()
20973 assert(V.getValueType().isScalableVector() && in convertFromScalableVector()
21343 assert(VT.isScalableVector() && "Only expect to lower scalable vector op!"); in LowerToPredicatedOp()
21348 V.getValueType().isScalableVector()) && in LowerToPredicatedOp()
21425 if (!OpVT.isScalableVector() || OpVT.getVectorElementType() != MVT::i1) in LowerPredReductionToSVE()
21859 assert(VT.isScalableVector() && isTypeLegal(VT) && in getSVESafeBitCast()
21860 InVT.isScalableVector() && isTypeLegal(InVT) && in getSVESafeBitCast()