5166   StoreSDNode *StoreNode = cast<StoreSDNode>(Op);  in LowerSTORE()  local
5167   assert (StoreNode && "Can only custom lower store nodes");  in LowerSTORE()
5169   SDValue Value = StoreNode->getValue();  in LowerSTORE()
5172   EVT MemVT = StoreNode->getMemoryVT();  in LowerSTORE()
5180     unsigned AS = StoreNode->getAddressSpace();  in LowerSTORE()
5181     Align Alignment = StoreNode->getAlign();  in LowerSTORE()
5184                                         StoreNode->getMemOperand()->getFlags(),  in LowerSTORE()
5186       return scalarizeVectorStore(StoreNode, DAG);  in LowerSTORE()
5189     if (StoreNode->isTruncatingStore() && VT == MVT::v4i16 &&  in LowerSTORE()
5191       return LowerTruncateVectorStore(Dl, StoreNode, VT, MemVT, DAG);  in LowerSTORE()
5197     if (StoreNode->isNonTemporal() && MemVT.getSizeInBits() == 256u &&  in LowerSTORE()
5206                       StoreNode->getValue(), DAG.getConstant(0, Dl, MVT::i64));  in LowerSTORE()
5210                       StoreNode->getValue(),  in LowerSTORE()
5214           {StoreNode->getChain(), Lo, Hi, StoreNode->getBasePtr()},  in LowerSTORE()
5215           StoreNode->getMemoryVT(), StoreNode->getMemOperand());  in LowerSTORE()
5218   } else if (MemVT == MVT::i128 && StoreNode->isVolatile()) {  in LowerSTORE()
5221     SDValue Value = StoreNode->getValue();  in LowerSTORE()
5223     SDValue Chain = StoreNode->getChain();  in LowerSTORE()
5224     SDValue Base = StoreNode->getBasePtr();  in LowerSTORE()
5231       Chain = DAG.getStore(Chain, Dl, Part, Ptr, StoreNode->getPointerInfo(),  in LowerSTORE()
5232                            StoreNode->getOriginalAlign());  in LowerSTORE()
5243   MemSDNode *StoreNode = cast<MemSDNode>(Op);  in LowerStore128()  local
5244   assert(StoreNode->getMemoryVT() == MVT::i128);  in LowerStore128()
5245   assert(StoreNode->isVolatile() || StoreNode->isAtomic());  in LowerStore128()
5246   assert(!StoreNode->isAtomic() ||  in LowerStore128()
5247          StoreNode->getMergedOrdering() == AtomicOrdering::Unordered ||  in LowerStore128()
5248          StoreNode->getMergedOrdering() == AtomicOrdering::Monotonic);  in LowerStore128()
5250   SDValue Value = StoreNode->getOpcode() == ISD::STORE  in LowerStore128()
5251                       ? StoreNode->getOperand(1)  in LowerStore128()
5252                       : StoreNode->getOperand(2);  in LowerStore128()
5260       {StoreNode->getChain(), Lo, Hi, StoreNode->getBasePtr()},  in LowerStore128()
5261       StoreNode->getMemoryVT(), StoreNode->getMemOperand());  in LowerStore128()