#include "cx18-io.h"
 #include "cx18-irq.h"
 
+void cx18_log_statistics(struct cx18 *cx)
+{
+       int i;
+
+       if (!(cx18_debug & CX18_DBGFLG_INFO))
+               return;
+
+       for (i = 0; i <= CX18_MAX_MMIO_RETRIES; i++)
+               CX18_DEBUG_INFO("retried_write[%d] = %d\n", i,
+                               atomic_read(&cx->mmio_stats.retried_write[i]));
+       for (i = 0; i <= CX18_MAX_MMIO_RETRIES; i++)
+               CX18_DEBUG_INFO("retried_read[%d] = %d\n", i,
+                               atomic_read(&cx->mmio_stats.retried_read[i]));
+       return;
+}
+
+void cx18_raw_writel_retry(struct cx18 *cx, u32 val, void __iomem *addr)
+{
+       int i;
+       for (i = 0; i < CX18_MAX_MMIO_RETRIES; i++) {
+               cx18_raw_writel_noretry(cx, val, addr);
+               if (val == cx18_raw_readl_noretry(cx, addr))
+                       break;
+       }
+       cx18_log_write_retries(cx, i, addr);
+}
+
+u32 cx18_raw_readl_retry(struct cx18 *cx, const void __iomem *addr)
+{
+       int i;
+       u32 val;
+       for (i = 0; i < CX18_MAX_MMIO_RETRIES; i++) {
+               val = cx18_raw_readl_noretry(cx, addr);
+               if (val != 0xffffffff) /* PCI bus read error */
+                       break;
+       }
+       cx18_log_read_retries(cx, i, addr);
+       return val;
+}
+
+u16 cx18_raw_readw_retry(struct cx18 *cx, const void __iomem *addr)
+{
+       int i;
+       u16 val;
+       for (i = 0; i < CX18_MAX_MMIO_RETRIES; i++) {
+               val = cx18_raw_readw_noretry(cx, addr);
+               if (val != 0xffff) /* PCI bus read error */
+                       break;
+       }
+       cx18_log_read_retries(cx, i, addr);
+       return val;
+}
+
+void cx18_writel_retry(struct cx18 *cx, u32 val, void __iomem *addr)
+{
+       int i;
+       for (i = 0; i < CX18_MAX_MMIO_RETRIES; i++) {
+               cx18_writel_noretry(cx, val, addr);
+               if (val == cx18_readl_noretry(cx, addr))
+                       break;
+       }
+       cx18_log_write_retries(cx, i, addr);
+}
+
+void cx18_writew_retry(struct cx18 *cx, u16 val, void __iomem *addr)
+{
+       int i;
+       for (i = 0; i < CX18_MAX_MMIO_RETRIES; i++) {
+               cx18_writew_noretry(cx, val, addr);
+               if (val == cx18_readw_noretry(cx, addr))
+                       break;
+       }
+       cx18_log_write_retries(cx, i, addr);
+}
+
+void cx18_writeb_retry(struct cx18 *cx, u8 val, void __iomem *addr)
+{
+       int i;
+       for (i = 0; i < CX18_MAX_MMIO_RETRIES; i++) {
+               cx18_writeb_noretry(cx, val, addr);
+               if (val == cx18_readb_noretry(cx, addr))
+                       break;
+       }
+       cx18_log_write_retries(cx, i, addr);
+}
+
+u32 cx18_readl_retry(struct cx18 *cx, const void __iomem *addr)
+{
+       int i;
+       u32 val;
+       for (i = 0; i < CX18_MAX_MMIO_RETRIES; i++) {
+               val = cx18_readl_noretry(cx, addr);
+               if (val != 0xffffffff) /* PCI bus read error */
+                       break;
+       }
+       cx18_log_read_retries(cx, i, addr);
+       return val;
+}
+
+u16 cx18_readw_retry(struct cx18 *cx, const void __iomem *addr)
+{
+       int i;
+       u16 val;
+       for (i = 0; i < CX18_MAX_MMIO_RETRIES; i++) {
+               val = cx18_readw_noretry(cx, addr);
+               if (val != 0xffff) /* PCI bus read error */
+                       break;
+       }
+       cx18_log_read_retries(cx, i, addr);
+       return val;
+}
+
+u8 cx18_readb_retry(struct cx18 *cx, const void __iomem *addr)
+{
+       int i;
+       u8 val;
+       for (i = 0; i < CX18_MAX_MMIO_RETRIES; i++) {
+               val = cx18_readb_noretry(cx, addr);
+               if (val != 0xff) /* PCI bus read error */
+                       break;
+       }
+       cx18_log_read_retries(cx, i, addr);
+       return val;
+}
+
 void cx18_memcpy_fromio(struct cx18 *cx, void *to,
                        const void __iomem *from, unsigned int len)
 {
        val = (val & ~0x1f00) | ((addr >> 17) & 0x1f00);
        cx18_write_reg(cx, val, 0xD000F8);
 }
-
-/* Tries to recover from the CX23418 responding improperly on the PCI bus */
-int cx18_pci_try_recover(struct cx18 *cx)
-{
-       u16 status;
-
-       pci_read_config_word(cx->dev, PCI_STATUS, &status);
-       pci_write_config_word(cx->dev, PCI_STATUS, status);
-       return 0;
-}
 
                ndelay(cx->options.mmio_ndelay);
 }
 
+/*
+ * Readback and retry of MMIO access for reliability:
+ * The concept was suggested by Steve Toth <stoth@linuxtv.org>.
+ * The implmentation is the fault of Andy Walls <awalls@radix.net>.
+ */
+
+/* Statistics gathering */
+static inline
+void cx18_log_write_retries(struct cx18 *cx, int i, const void *addr)
+{
+       if (i > CX18_MAX_MMIO_RETRIES)
+               i = CX18_MAX_MMIO_RETRIES;
+       atomic_inc(&cx->mmio_stats.retried_write[i]);
+       return;
+}
+
+static inline
+void cx18_log_read_retries(struct cx18 *cx, int i, const void *addr)
+{
+       if (i > CX18_MAX_MMIO_RETRIES)
+               i = CX18_MAX_MMIO_RETRIES;
+       atomic_inc(&cx->mmio_stats.retried_read[i]);
+       return;
+}
+
+void cx18_log_statistics(struct cx18 *cx);
+
 /* Non byteswapping memory mapped IO */
-static inline void cx18_raw_writel(struct cx18 *cx, u32 val, void __iomem *addr)
+static inline
+void cx18_raw_writel_noretry(struct cx18 *cx, u32 val, void __iomem *addr)
 {
        __raw_writel(val, addr);
        cx18_io_delay(cx);
 }
 
-static inline u32 cx18_raw_readl(struct cx18 *cx, const void __iomem *addr)
+void cx18_raw_writel_retry(struct cx18 *cx, u32 val, void __iomem *addr);
+
+static inline void cx18_raw_writel(struct cx18 *cx, u32 val, void __iomem *addr)
+{
+       if (cx18_retry_mmio)
+               cx18_raw_writel_retry(cx, val, addr);
+       else
+               cx18_raw_writel_noretry(cx, val, addr);
+}
+
+
+static inline
+u32 cx18_raw_readl_noretry(struct cx18 *cx, const void __iomem *addr)
 {
        u32 ret = __raw_readl(addr);
        cx18_io_delay(cx);
        return ret;
 }
 
-static inline u16 cx18_raw_readw(struct cx18 *cx, const void __iomem *addr)
+u32 cx18_raw_readl_retry(struct cx18 *cx, const void __iomem *addr);
+
+static inline u32 cx18_raw_readl(struct cx18 *cx, const void __iomem *addr)
+{
+       if (cx18_retry_mmio)
+               return cx18_raw_readl_retry(cx, addr);
+
+       return cx18_raw_readl_noretry(cx, addr);
+}
+
+
+static inline
+u16 cx18_raw_readw_noretry(struct cx18 *cx, const void __iomem *addr)
 {
        u16 ret = __raw_readw(addr);
        cx18_io_delay(cx);
        return ret;
 }
 
+u16 cx18_raw_readw_retry(struct cx18 *cx, const void __iomem *addr);
+
+static inline u16 cx18_raw_readw(struct cx18 *cx, const void __iomem *addr)
+{
+       if (cx18_retry_mmio)
+               return cx18_raw_readw_retry(cx, addr);
+
+       return cx18_raw_readw_noretry(cx, addr);
+}
+
+
 /* Normal memory mapped IO */
-static inline void cx18_writel(struct cx18 *cx, u32 val, void __iomem *addr)
+static inline
+void cx18_writel_noretry(struct cx18 *cx, u32 val, void __iomem *addr)
 {
        writel(val, addr);
        cx18_io_delay(cx);
 }
 
-static inline void cx18_writew(struct cx18 *cx, u16 val, void __iomem *addr)
+void cx18_writel_retry(struct cx18 *cx, u32 val, void __iomem *addr);
+
+static inline void cx18_writel(struct cx18 *cx, u32 val, void __iomem *addr)
+{
+       if (cx18_retry_mmio)
+               cx18_writel_retry(cx, val, addr);
+       else
+               cx18_writel_noretry(cx, val, addr);
+}
+
+
+static inline
+void cx18_writew_noretry(struct cx18 *cx, u16 val, void __iomem *addr)
 {
        writew(val, addr);
        cx18_io_delay(cx);
 }
 
-static inline void cx18_writeb(struct cx18 *cx, u8 val, void __iomem *addr)
+void cx18_writew_retry(struct cx18 *cx, u16 val, void __iomem *addr);
+
+static inline void cx18_writew(struct cx18 *cx, u16 val, void __iomem *addr)
+{
+       if (cx18_retry_mmio)
+               cx18_writew_retry(cx, val, addr);
+       else
+               cx18_writew_noretry(cx, val, addr);
+}
+
+
+static inline
+void cx18_writeb_noretry(struct cx18 *cx, u8 val, void __iomem *addr)
 {
        writeb(val, addr);
        cx18_io_delay(cx);
 }
 
-static inline u32 cx18_readl(struct cx18 *cx, const void __iomem *addr)
+void cx18_writeb_retry(struct cx18 *cx, u8 val, void __iomem *addr);
+
+static inline void cx18_writeb(struct cx18 *cx, u8 val, void __iomem *addr)
+{
+       if (cx18_retry_mmio)
+               cx18_writeb_retry(cx, val, addr);
+       else
+               cx18_writeb_noretry(cx, val, addr);
+}
+
+
+static inline u32 cx18_readl_noretry(struct cx18 *cx, const void __iomem *addr)
 {
        u32 ret = readl(addr);
        cx18_io_delay(cx);
        return ret;
 }
 
-static inline u8 cx18_readb(struct cx18 *cx, const void __iomem *addr)
+u32 cx18_readl_retry(struct cx18 *cx, const void __iomem *addr);
+
+static inline u32 cx18_readl(struct cx18 *cx, const void __iomem *addr)
+{
+       if (cx18_retry_mmio)
+               return cx18_readl_retry(cx, addr);
+
+       return cx18_readl_noretry(cx, addr);
+}
+
+
+static inline u16 cx18_readw_noretry(struct cx18 *cx, const void __iomem *addr)
+{
+       u16 ret = readw(addr);
+       cx18_io_delay(cx);
+       return ret;
+}
+
+u16 cx18_readw_retry(struct cx18 *cx, const void __iomem *addr);
+
+static inline u16 cx18_readw(struct cx18 *cx, const void __iomem *addr)
+{
+       if (cx18_retry_mmio)
+               return cx18_readw_retry(cx, addr);
+
+       return cx18_readw_noretry(cx, addr);
+}
+
+
+static inline u8 cx18_readb_noretry(struct cx18 *cx, const void __iomem *addr)
 {
        u8 ret = readb(addr);
        cx18_io_delay(cx);
        return ret;
 }
 
+u8 cx18_readb_retry(struct cx18 *cx, const void __iomem *addr);
+
+static inline u8 cx18_readb(struct cx18 *cx, const void __iomem *addr)
+{
+       if (cx18_retry_mmio)
+               return cx18_readb_retry(cx, addr);
+
+       return cx18_readb_noretry(cx, addr);
+}
+
+
+static inline
+u32 cx18_write_sync_noretry(struct cx18 *cx, u32 val, void __iomem *addr)
+{
+       cx18_writel_noretry(cx, val, addr);
+       return cx18_readl_noretry(cx, addr);
+}
+
+static inline
+u32 cx18_write_sync_retry(struct cx18 *cx, u32 val, void __iomem *addr)
+{
+       cx18_writel_retry(cx, val, addr);
+       return cx18_readl_retry(cx, addr);
+}
+
 static inline u32 cx18_write_sync(struct cx18 *cx, u32 val, void __iomem *addr)
 {
-       cx18_writel(cx, val, addr);
-       return cx18_readl(cx, addr);
+       if (cx18_retry_mmio)
+               return cx18_write_sync_retry(cx, val, addr);
+
+       return cx18_write_sync_noretry(cx, val, addr);
 }
 
+
 void cx18_memcpy_fromio(struct cx18 *cx, void *to,
                        const void __iomem *from, unsigned int len);
 void cx18_memset_io(struct cx18 *cx, void __iomem *addr, int val, size_t count);
 
+
 /* Access "register" region of CX23418 memory mapped I/O */
+static inline void cx18_write_reg_noretry(struct cx18 *cx, u32 val, u32 reg)
+{
+       cx18_writel_noretry(cx, val, cx->reg_mem + reg);
+}
+
+static inline void cx18_write_reg_retry(struct cx18 *cx, u32 val, u32 reg)
+{
+       cx18_writel_retry(cx, val, cx->reg_mem + reg);
+}
+
 static inline void cx18_write_reg(struct cx18 *cx, u32 val, u32 reg)
 {
-       cx18_writel(cx, val, cx->reg_mem + reg);
+       if (cx18_retry_mmio)
+               cx18_write_reg_retry(cx, val, reg);
+       else
+               cx18_write_reg_noretry(cx, val, reg);
+}
+
+
+static inline u32 cx18_read_reg_noretry(struct cx18 *cx, u32 reg)
+{
+       return cx18_readl_noretry(cx, cx->reg_mem + reg);
+}
+
+static inline u32 cx18_read_reg_retry(struct cx18 *cx, u32 reg)
+{
+       return cx18_readl_retry(cx, cx->reg_mem + reg);
 }
 
 static inline u32 cx18_read_reg(struct cx18 *cx, u32 reg)
 {
-       return cx18_readl(cx, cx->reg_mem + reg);
+       if (cx18_retry_mmio)
+               return cx18_read_reg_retry(cx, reg);
+
+       return cx18_read_reg_noretry(cx, reg);
+}
+
+
+static inline u32 cx18_write_reg_sync_noretry(struct cx18 *cx, u32 val, u32 reg)
+{
+       return cx18_write_sync_noretry(cx, val, cx->reg_mem + reg);
+}
+
+static inline u32 cx18_write_reg_sync_retry(struct cx18 *cx, u32 val, u32 reg)
+{
+       return cx18_write_sync_retry(cx, val, cx->reg_mem + reg);
 }
 
 static inline u32 cx18_write_reg_sync(struct cx18 *cx, u32 val, u32 reg)
 {
-       return cx18_write_sync(cx, val, cx->reg_mem + reg);
+       if (cx18_retry_mmio)
+               return cx18_write_reg_sync_retry(cx, val, reg);
+
+       return cx18_write_reg_sync_noretry(cx, val, reg);
 }
 
+
 /* Access "encoder memory" region of CX23418 memory mapped I/O */
+static inline void cx18_write_enc_noretry(struct cx18 *cx, u32 val, u32 addr)
+{
+       cx18_writel_noretry(cx, val, cx->enc_mem + addr);
+}
+
+static inline void cx18_write_enc_retry(struct cx18 *cx, u32 val, u32 addr)
+{
+       cx18_writel_retry(cx, val, cx->enc_mem + addr);
+}
+
 static inline void cx18_write_enc(struct cx18 *cx, u32 val, u32 addr)
 {
-       cx18_writel(cx, val, cx->enc_mem + addr);
+       if (cx18_retry_mmio)
+               cx18_write_enc_retry(cx, val, addr);
+       else
+               cx18_write_enc_noretry(cx, val, addr);
+}
+
+
+static inline u32 cx18_read_enc_noretry(struct cx18 *cx, u32 addr)
+{
+       return cx18_readl_noretry(cx, cx->enc_mem + addr);
+}
+
+static inline u32 cx18_read_enc_retry(struct cx18 *cx, u32 addr)
+{
+       return cx18_readl_retry(cx, cx->enc_mem + addr);
 }
 
 static inline u32 cx18_read_enc(struct cx18 *cx, u32 addr)
 {
-       return cx18_readl(cx, cx->enc_mem + addr);
+       if (cx18_retry_mmio)
+               return cx18_read_enc_retry(cx, addr);
+
+       return cx18_read_enc_noretry(cx, addr);
+}
+
+static inline
+u32 cx18_write_enc_sync_noretry(struct cx18 *cx, u32 val, u32 addr)
+{
+       return cx18_write_sync_noretry(cx, val, cx->enc_mem + addr);
 }
 
-static inline u32 cx18_write_enc_sync(struct cx18 *cx, u32 val, u32 addr)
+static inline
+u32 cx18_write_enc_sync_retry(struct cx18 *cx, u32 val, u32 addr)
 {
-       return cx18_write_sync(cx, val, cx->enc_mem + addr);
+       return cx18_write_sync_retry(cx, val, cx->enc_mem + addr);
 }
 
+static inline
+u32 cx18_write_enc_sync(struct cx18 *cx, u32 val, u32 addr)
+{
+       if (cx18_retry_mmio)
+               return cx18_write_enc_sync_retry(cx, val, addr);
+
+       return cx18_write_enc_sync_noretry(cx, val, addr);
+}
 
 void cx18_sw1_irq_enable(struct cx18 *cx, u32 val);
 void cx18_sw1_irq_disable(struct cx18 *cx, u32 val);
 void cx18_sw2_irq_disable(struct cx18 *cx, u32 val);
 void cx18_setup_page(struct cx18 *cx, u32 addr);
 
-/* Tries to recover from the CX23418 responding improperly on the PCI bus */
-int cx18_pci_try_recover(struct cx18 *cx);
-
 #endif /* CX18_IO_H */