20 #include "../../pci.h"
44 	.name = "PCI-MSI",
64 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_handle_msi_irq()  local
69 		status = dw_pcie_readl_dbi(pci, PCIE_MSI_INTR0_STATUS +  in dw_handle_msi_irq()
106 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_setup_msi_msg()  local
116 	dev_dbg(pci->dev, "msi#%d address_hi %#x address_lo %#x\n",  in dw_pci_setup_msi_msg()
123 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_mask()  local
134 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]);  in dw_pci_bottom_mask()
142 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_unmask()  local
153 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]);  in dw_pci_bottom_unmask()
161 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_ack()  local
168 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_STATUS + res, BIT(bit));  in dw_pci_bottom_ack()
229 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_allocate_domains()  local
230 	struct fwnode_handle *fwnode = of_node_to_fwnode(pci->dev->of_node);  in dw_pcie_allocate_domains()
235 		dev_err(pci->dev, "Failed to create IRQ domain\n");  in dw_pcie_allocate_domains()
245 		dev_err(pci->dev, "Failed to create MSI domain\n");  in dw_pcie_allocate_domains()
269 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_msi_init()  local
276 	dw_pcie_writel_dbi(pci, PCIE_MSI_ADDR_LO, lower_32_bits(msi_target));  in dw_pcie_msi_init()
277 	dw_pcie_writel_dbi(pci, PCIE_MSI_ADDR_HI, upper_32_bits(msi_target));  in dw_pcie_msi_init()
282 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_parse_split_msi_irq()  local
283 	struct device *dev = pci->dev;  in dw_pcie_parse_split_msi_irq()
322 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_msi_host_init()  local
323 	struct device *dev = pci->dev;  in dw_pcie_msi_host_init()
397 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_host_request_msg_tlp_res()  local
403 		res = devm_kzalloc(pci->dev, sizeof(*res), GFP_KERNEL);  in dw_pcie_host_request_msg_tlp_res()
411 		res->start = win->res->end - pci->region_align + 1;  in dw_pcie_host_request_msg_tlp_res()
416 		if (!devm_request_resource(pci->dev, win->res, res))  in dw_pcie_host_request_msg_tlp_res()
423 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_host_init()  local
424 	struct device *dev = pci->dev;  in dw_pcie_host_init()
434 	ret = dw_pcie_get_resources(pci);  in dw_pcie_host_init()
503 	dw_pcie_version_detect(pci);  in dw_pcie_host_init()
505 	dw_pcie_iatu_detect(pci);  in dw_pcie_host_init()
519 	ret = dw_pcie_edma_detect(pci);  in dw_pcie_host_init()
527 	if (!dw_pcie_link_up(pci)) {  in dw_pcie_host_init()
528 		ret = dw_pcie_start_link(pci);  in dw_pcie_host_init()
540 		dw_pcie_wait_for_link(pci);  in dw_pcie_host_init()
554 	dw_pcie_stop_link(pci);  in dw_pcie_host_init()
557 	dw_pcie_edma_remove(pci);  in dw_pcie_host_init()
573 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_host_deinit()  local
578 	dw_pcie_stop_link(pci);  in dw_pcie_host_deinit()
580 	dw_pcie_edma_remove(pci);  in dw_pcie_host_deinit()
594 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_other_conf_map_bus()  local
602 	 * SError upon PCI configuration transactions issued when the link  in dw_pcie_other_conf_map_bus()
607 	if (!dw_pcie_link_up(pci))  in dw_pcie_other_conf_map_bus()
623 	ret = dw_pcie_prog_outbound_atu(pci, &atu);  in dw_pcie_other_conf_map_bus()
634 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_rd_other_conf()  local
648 		ret = dw_pcie_prog_outbound_atu(pci, &atu);  in dw_pcie_rd_other_conf()
660 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_wr_other_conf()  local
674 		ret = dw_pcie_prog_outbound_atu(pci, &atu);  in dw_pcie_wr_other_conf()
691 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_own_conf_map_bus()  local
696 	return pci->dbi_base + where;  in dw_pcie_own_conf_map_bus()
708 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_iatu_setup()  local
714 	if (!pci->num_ob_windows) {  in dw_pcie_iatu_setup()
715 		dev_err(pci->dev, "No outbound iATU found\n");  in dw_pcie_iatu_setup()
723 	for (i = 0; i < pci->num_ob_windows; i++)  in dw_pcie_iatu_setup()
724 		dw_pcie_disable_atu(pci, PCIE_ATU_REGION_DIR_OB, i);  in dw_pcie_iatu_setup()
726 	for (i = 0; i < pci->num_ib_windows; i++)  in dw_pcie_iatu_setup()
727 		dw_pcie_disable_atu(pci, PCIE_ATU_REGION_DIR_IB, i);  in dw_pcie_iatu_setup()
734 		if (pci->num_ob_windows <= ++i)  in dw_pcie_iatu_setup()
749 		ret = dw_pcie_prog_outbound_atu(pci, &atu);  in dw_pcie_iatu_setup()
751 			dev_err(pci->dev, "Failed to set MEM range %pr\n",  in dw_pcie_iatu_setup()
758 		if (pci->num_ob_windows > ++i) {  in dw_pcie_iatu_setup()
765 			ret = dw_pcie_prog_outbound_atu(pci, &atu);  in dw_pcie_iatu_setup()
767 				dev_err(pci->dev, "Failed to set IO range %pr\n",  in dw_pcie_iatu_setup()
776 	if (pci->num_ob_windows <= i)  in dw_pcie_iatu_setup()
777 		dev_warn(pci->dev, "Ranges exceed outbound iATU size (%d)\n",  in dw_pcie_iatu_setup()
778 			 pci->num_ob_windows);  in dw_pcie_iatu_setup()
787 		if (pci->num_ib_windows <= i)  in dw_pcie_iatu_setup()
790 		ret = dw_pcie_prog_inbound_atu(pci, i++, PCIE_ATU_TYPE_MEM,  in dw_pcie_iatu_setup()
795 			dev_err(pci->dev, "Failed to set DMA range %pr\n",  in dw_pcie_iatu_setup()
801 	if (pci->num_ib_windows <= i)  in dw_pcie_iatu_setup()
802 		dev_warn(pci->dev, "Dma-ranges exceed inbound iATU size (%u)\n",  in dw_pcie_iatu_setup()
803 			 pci->num_ib_windows);  in dw_pcie_iatu_setup()
810 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_setup_rc()  local
818 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_setup_rc()
820 	dw_pcie_setup(pci);  in dw_pcie_setup_rc()
827 			dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK +  in dw_pcie_setup_rc()
830 			dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_ENABLE +  in dw_pcie_setup_rc()
839 	dw_pcie_writel_dbi(pci, PCI_BASE_ADDRESS_0, 0x00000004);  in dw_pcie_setup_rc()
840 	dw_pcie_writel_dbi(pci, PCI_BASE_ADDRESS_1, 0x00000000);  in dw_pcie_setup_rc()
843 	val = dw_pcie_readl_dbi(pci, PCI_INTERRUPT_LINE);  in dw_pcie_setup_rc()
846 	dw_pcie_writel_dbi(pci, PCI_INTERRUPT_LINE, val);  in dw_pcie_setup_rc()
849 	val = dw_pcie_readl_dbi(pci, PCI_PRIMARY_BUS);  in dw_pcie_setup_rc()
852 	dw_pcie_writel_dbi(pci, PCI_PRIMARY_BUS, val);  in dw_pcie_setup_rc()
855 	val = dw_pcie_readl_dbi(pci, PCI_COMMAND);  in dw_pcie_setup_rc()
859 	dw_pcie_writel_dbi(pci, PCI_COMMAND, val);  in dw_pcie_setup_rc()
872 	dw_pcie_writel_dbi(pci, PCI_BASE_ADDRESS_0, 0);  in dw_pcie_setup_rc()
875 	dw_pcie_writew_dbi(pci, PCI_CLASS_DEVICE, PCI_CLASS_BRIDGE_PCI);  in dw_pcie_setup_rc()
877 	val = dw_pcie_readl_dbi(pci, PCIE_LINK_WIDTH_SPEED_CONTROL);  in dw_pcie_setup_rc()
879 	dw_pcie_writel_dbi(pci, PCIE_LINK_WIDTH_SPEED_CONTROL, val);  in dw_pcie_setup_rc()
881 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_setup_rc()
887 static int dw_pcie_pme_turn_off(struct dw_pcie *pci)  in dw_pcie_pme_turn_off()  argument
893 	if (pci->num_ob_windows <= pci->pp.msg_atu_index)  in dw_pcie_pme_turn_off()
896 	if (!pci->pp.msg_res)  in dw_pcie_pme_turn_off()
902 	atu.size = resource_size(pci->pp.msg_res);  in dw_pcie_pme_turn_off()
903 	atu.index = pci->pp.msg_atu_index;  in dw_pcie_pme_turn_off()
905 	atu.cpu_addr = pci->pp.msg_res->start;  in dw_pcie_pme_turn_off()
907 	ret = dw_pcie_prog_outbound_atu(pci, &atu);  in dw_pcie_pme_turn_off()
911 	mem = ioremap(atu.cpu_addr, pci->region_align);  in dw_pcie_pme_turn_off()
923 int dw_pcie_suspend_noirq(struct dw_pcie *pci)  in dw_pcie_suspend_noirq()  argument
925 	u8 offset = dw_pcie_find_capability(pci, PCI_CAP_ID_EXP);  in dw_pcie_suspend_noirq()
933 	if (dw_pcie_readw_dbi(pci, offset + PCI_EXP_LNKCTL) & PCI_EXP_LNKCTL_ASPM_L1)  in dw_pcie_suspend_noirq()
936 	if (pci->pp.ops->pme_turn_off) {  in dw_pcie_suspend_noirq()
937 		pci->pp.ops->pme_turn_off(&pci->pp);  in dw_pcie_suspend_noirq()
939 		ret = dw_pcie_pme_turn_off(pci);  in dw_pcie_suspend_noirq()
948 				PCIE_PME_TO_L2_TIMEOUT_US, false, pci);  in dw_pcie_suspend_noirq()
951 		dev_err(pci->dev, "Timeout waiting for L2 entry! LTSSM: 0x%x\n", val);  in dw_pcie_suspend_noirq()
962 	dw_pcie_stop_link(pci);  in dw_pcie_suspend_noirq()
963 	if (pci->pp.ops->deinit)  in dw_pcie_suspend_noirq()
964 		pci->pp.ops->deinit(&pci->pp);  in dw_pcie_suspend_noirq()
966 	pci->suspended = true;  in dw_pcie_suspend_noirq()
972 int dw_pcie_resume_noirq(struct dw_pcie *pci)  in dw_pcie_resume_noirq()  argument
976 	if (!pci->suspended)  in dw_pcie_resume_noirq()
979 	pci->suspended = false;  in dw_pcie_resume_noirq()
981 	if (pci->pp.ops->init) {  in dw_pcie_resume_noirq()
982 		ret = pci->pp.ops->init(&pci->pp);  in dw_pcie_resume_noirq()
984 			dev_err(pci->dev, "Host init failed: %d\n", ret);  in dw_pcie_resume_noirq()
989 	dw_pcie_setup_rc(&pci->pp);  in dw_pcie_resume_noirq()
991 	ret = dw_pcie_start_link(pci);  in dw_pcie_resume_noirq()
995 	ret = dw_pcie_wait_for_link(pci);  in dw_pcie_resume_noirq()