]> pilppa.org Git - linux-2.6-omap-h63xx.git/blobdiff - drivers/net/mv643xx_eth.c
mm: make register_page_bootmem_info_section() static
[linux-2.6-omap-h63xx.git] / drivers / net / mv643xx_eth.c
index 9ce7be09e29501aa80cfd9ba4b4c8207a16ff2d8..8a97a0066a886d5bae454fb7c703900c13dc2326 100644 (file)
@@ -55,7 +55,7 @@
 #include <asm/system.h>
 
 static char mv643xx_eth_driver_name[] = "mv643xx_eth";
-static char mv643xx_eth_driver_version[] = "1.0";
+static char mv643xx_eth_driver_version[] = "1.1";
 
 #define MV643XX_ETH_CHECKSUM_OFFLOAD_TX
 #define MV643XX_ETH_NAPI
@@ -96,23 +96,28 @@ static char mv643xx_eth_driver_version[] = "1.0";
 #define TX_BW_MTU(p)                   (0x0458 + ((p) << 10))
 #define TX_BW_BURST(p)                 (0x045c + ((p) << 10))
 #define INT_CAUSE(p)                   (0x0460 + ((p) << 10))
-#define  INT_RX                                0x00000804
+#define  INT_TX_END                    0x07f80000
+#define  INT_RX                                0x0007fbfc
 #define  INT_EXT                       0x00000002
 #define INT_CAUSE_EXT(p)               (0x0464 + ((p) << 10))
 #define  INT_EXT_LINK                  0x00100000
 #define  INT_EXT_PHY                   0x00010000
 #define  INT_EXT_TX_ERROR_0            0x00000100
 #define  INT_EXT_TX_0                  0x00000001
-#define  INT_EXT_TX                    0x00000101
+#define  INT_EXT_TX                    0x0000ffff
 #define INT_MASK(p)                    (0x0468 + ((p) << 10))
 #define INT_MASK_EXT(p)                        (0x046c + ((p) << 10))
 #define TX_FIFO_URGENT_THRESHOLD(p)    (0x0474 + ((p) << 10))
-#define RXQ_CURRENT_DESC_PTR(p)                (0x060c + ((p) << 10))
+#define TXQ_FIX_PRIO_CONF_MOVED(p)     (0x04dc + ((p) << 10))
+#define TX_BW_RATE_MOVED(p)            (0x04e0 + ((p) << 10))
+#define TX_BW_MTU_MOVED(p)             (0x04e8 + ((p) << 10))
+#define TX_BW_BURST_MOVED(p)           (0x04ec + ((p) << 10))
+#define RXQ_CURRENT_DESC_PTR(p, q)     (0x060c + ((p) << 10) + ((q) << 4))
 #define RXQ_COMMAND(p)                 (0x0680 + ((p) << 10))
-#define TXQ_CURRENT_DESC_PTR(p)                (0x06c0 + ((p) << 10))
-#define TXQ_BW_TOKENS(p)               (0x0700 + ((p) << 10))
-#define TXQ_BW_CONF(p)                 (0x0704 + ((p) << 10))
-#define TXQ_BW_WRR_CONF(p)             (0x0708 + ((p) << 10))
+#define TXQ_CURRENT_DESC_PTR(p, q)     (0x06c0 + ((p) << 10) + ((q) << 2))
+#define TXQ_BW_TOKENS(p, q)            (0x0700 + ((p) << 10) + ((q) << 4))
+#define TXQ_BW_CONF(p, q)              (0x0704 + ((p) << 10) + ((q) << 4))
+#define TXQ_BW_WRR_CONF(p, q)          (0x0708 + ((p) << 10) + ((q) << 4))
 #define MIB_COUNTERS(p)                        (0x1000 + ((p) << 7))
 #define SPECIAL_MCAST_TABLE(p)         (0x1400 + ((p) << 10))
 #define OTHER_MCAST_TABLE(p)           (0x1500 + ((p) << 10))
@@ -248,6 +253,8 @@ struct mv643xx_eth_shared_private {
         * Hardware-specific parameters.
         */
        unsigned int t_clk;
+       int extended_rx_coal_limit;
+       int tx_bw_control_moved;
 };
 
 
@@ -286,6 +293,8 @@ struct mib_counters {
 };
 
 struct rx_queue {
+       int index;
+
        int rx_ring_size;
 
        int rx_desc_count;
@@ -301,6 +310,8 @@ struct rx_queue {
 };
 
 struct tx_queue {
+       int index;
+
        int tx_ring_size;
 
        int tx_desc_count;
@@ -334,8 +345,10 @@ struct mv643xx_eth_private {
        int default_rx_ring_size;
        unsigned long rx_desc_sram_addr;
        int rx_desc_sram_size;
+       u8 rxq_mask;
+       int rxq_primary;
        struct napi_struct napi;
-       struct rx_queue rxq[1];
+       struct rx_queue rxq[8];
 
        /*
         * TX state.
@@ -343,7 +356,9 @@ struct mv643xx_eth_private {
        int default_tx_ring_size;
        unsigned long tx_desc_sram_addr;
        int tx_desc_sram_size;
-       struct tx_queue txq[1];
+       u8 txq_mask;
+       int txq_primary;
+       struct tx_queue txq[8];
 #ifdef MV643XX_ETH_TX_FAST_REFILL
        int tx_clean_threshold;
 #endif
@@ -365,24 +380,24 @@ static inline void wrl(struct mv643xx_eth_private *mp, int offset, u32 data)
 /* rxq/txq helper functions *************************************************/
 static struct mv643xx_eth_private *rxq_to_mp(struct rx_queue *rxq)
 {
-       return container_of(rxq, struct mv643xx_eth_private, rxq[0]);
+       return container_of(rxq, struct mv643xx_eth_private, rxq[rxq->index]);
 }
 
 static struct mv643xx_eth_private *txq_to_mp(struct tx_queue *txq)
 {
-       return container_of(txq, struct mv643xx_eth_private, txq[0]);
+       return container_of(txq, struct mv643xx_eth_private, txq[txq->index]);
 }
 
 static void rxq_enable(struct rx_queue *rxq)
 {
        struct mv643xx_eth_private *mp = rxq_to_mp(rxq);
-       wrl(mp, RXQ_COMMAND(mp->port_num), 1);
+       wrl(mp, RXQ_COMMAND(mp->port_num), 1 << rxq->index);
 }
 
 static void rxq_disable(struct rx_queue *rxq)
 {
        struct mv643xx_eth_private *mp = rxq_to_mp(rxq);
-       u8 mask = 1;
+       u8 mask = 1 << rxq->index;
 
        wrl(mp, RXQ_COMMAND(mp->port_num), mask << 8);
        while (rdl(mp, RXQ_COMMAND(mp->port_num)) & mask)
@@ -392,13 +407,13 @@ static void rxq_disable(struct rx_queue *rxq)
 static void txq_enable(struct tx_queue *txq)
 {
        struct mv643xx_eth_private *mp = txq_to_mp(txq);
-       wrl(mp, TXQ_COMMAND(mp->port_num), 1);
+       wrl(mp, TXQ_COMMAND(mp->port_num), 1 << txq->index);
 }
 
 static void txq_disable(struct tx_queue *txq)
 {
        struct mv643xx_eth_private *mp = txq_to_mp(txq);
-       u8 mask = 1;
+       u8 mask = 1 << txq->index;
 
        wrl(mp, TXQ_COMMAND(mp->port_num), mask << 8);
        while (rdl(mp, TXQ_COMMAND(mp->port_num)) & mask)
@@ -409,6 +424,12 @@ static void __txq_maybe_wake(struct tx_queue *txq)
 {
        struct mv643xx_eth_private *mp = txq_to_mp(txq);
 
+       /*
+        * netif_{stop,wake}_queue() flow control only applies to
+        * the primary queue.
+        */
+       BUG_ON(txq->index != mp->txq_primary);
+
        if (txq->tx_ring_size - txq->tx_desc_count >= MAX_DESCS_PER_SKB)
                netif_wake_queue(mp->dev);
 }
@@ -468,7 +489,7 @@ static void rxq_refill(struct rx_queue *rxq)
                skb_reserve(skb, 2);
        }
 
-       if (rxq->rx_desc_count == 0) {
+       if (rxq->rx_desc_count != rxq->rx_ring_size) {
                rxq->rx_oom.expires = jiffies + (HZ / 10);
                add_timer(&rxq->rx_oom);
        }
@@ -583,23 +604,29 @@ static int mv643xx_eth_poll(struct napi_struct *napi, int budget)
 {
        struct mv643xx_eth_private *mp;
        int rx;
+       int i;
 
        mp = container_of(napi, struct mv643xx_eth_private, napi);
 
 #ifdef MV643XX_ETH_TX_FAST_REFILL
        if (++mp->tx_clean_threshold > 5) {
-               txq_reclaim(mp->txq, 0);
                mp->tx_clean_threshold = 0;
+               for (i = 0; i < 8; i++)
+                       if (mp->txq_mask & (1 << i))
+                               txq_reclaim(mp->txq + i, 0);
        }
 #endif
 
-       rx = rxq_process(mp->rxq, budget);
+       rx = 0;
+       for (i = 7; rx < budget && i >= 0; i--)
+               if (mp->rxq_mask & (1 << i))
+                       rx += rxq_process(mp->rxq + i, budget - rx);
 
        if (rx < budget) {
                netif_rx_complete(mp->dev, napi);
                wrl(mp, INT_CAUSE(mp->port_num), 0);
                wrl(mp, INT_CAUSE_EXT(mp->port_num), 0);
-               wrl(mp, INT_MASK(mp->port_num), INT_RX | INT_EXT);
+               wrl(mp, INT_MASK(mp->port_num), INT_TX_END | INT_RX | INT_EXT);
        }
 
        return rx;
@@ -746,8 +773,6 @@ static int mv643xx_eth_xmit(struct sk_buff *skb, struct net_device *dev)
        struct tx_queue *txq;
        unsigned long flags;
 
-       BUG_ON(netif_queue_stopped(dev));
-
        if (has_tiny_unaligned_frags(skb) && __skb_linearize(skb)) {
                stats->tx_dropped++;
                dev_printk(KERN_DEBUG, &dev->dev,
@@ -758,13 +783,15 @@ static int mv643xx_eth_xmit(struct sk_buff *skb, struct net_device *dev)
 
        spin_lock_irqsave(&mp->lock, flags);
 
-       txq = mp->txq;
+       txq = mp->txq + mp->txq_primary;
 
        if (txq->tx_ring_size - txq->tx_desc_count < MAX_DESCS_PER_SKB) {
-               printk(KERN_ERR "%s: transmit with queue full\n", dev->name);
-               netif_stop_queue(dev);
                spin_unlock_irqrestore(&mp->lock, flags);
-               return NETDEV_TX_BUSY;
+               if (txq->index == mp->txq_primary && net_ratelimit())
+                       dev_printk(KERN_ERR, &dev->dev,
+                                  "primary tx queue full?!\n");
+               kfree_skb(skb);
+               return NETDEV_TX_OK;
        }
 
        txq_submit_skb(txq, skb);
@@ -772,8 +799,13 @@ static int mv643xx_eth_xmit(struct sk_buff *skb, struct net_device *dev)
        stats->tx_packets++;
        dev->trans_start = jiffies;
 
-       if (txq->tx_ring_size - txq->tx_desc_count < MAX_DESCS_PER_SKB)
-               netif_stop_queue(dev);
+       if (txq->index == mp->txq_primary) {
+               int entries_left;
+
+               entries_left = txq->tx_ring_size - txq->tx_desc_count;
+               if (entries_left < MAX_DESCS_PER_SKB)
+                       netif_stop_queue(dev);
+       }
 
        spin_unlock_irqrestore(&mp->lock, flags);
 
@@ -804,9 +836,15 @@ static void tx_set_rate(struct mv643xx_eth_private *mp, int rate, int burst)
        if (bucket_size > 65535)
                bucket_size = 65535;
 
-       wrl(mp, TX_BW_RATE(mp->port_num), token_rate);
-       wrl(mp, TX_BW_MTU(mp->port_num), mtu);
-       wrl(mp, TX_BW_BURST(mp->port_num), bucket_size);
+       if (mp->shared->tx_bw_control_moved) {
+               wrl(mp, TX_BW_RATE_MOVED(mp->port_num), token_rate);
+               wrl(mp, TX_BW_MTU_MOVED(mp->port_num), mtu);
+               wrl(mp, TX_BW_BURST_MOVED(mp->port_num), bucket_size);
+       } else {
+               wrl(mp, TX_BW_RATE(mp->port_num), token_rate);
+               wrl(mp, TX_BW_MTU(mp->port_num), mtu);
+               wrl(mp, TX_BW_BURST(mp->port_num), bucket_size);
+       }
 }
 
 static void txq_set_rate(struct tx_queue *txq, int rate, int burst)
@@ -823,8 +861,8 @@ static void txq_set_rate(struct tx_queue *txq, int rate, int burst)
        if (bucket_size > 65535)
                bucket_size = 65535;
 
-       wrl(mp, TXQ_BW_TOKENS(mp->port_num), token_rate << 14);
-       wrl(mp, TXQ_BW_CONF(mp->port_num),
+       wrl(mp, TXQ_BW_TOKENS(mp->port_num, txq->index), token_rate << 14);
+       wrl(mp, TXQ_BW_CONF(mp->port_num, txq->index),
                        (bucket_size << 10) | token_rate);
 }
 
@@ -837,10 +875,13 @@ static void txq_set_fixed_prio_mode(struct tx_queue *txq)
        /*
         * Turn on fixed priority mode.
         */
-       off = TXQ_FIX_PRIO_CONF(mp->port_num);
+       if (mp->shared->tx_bw_control_moved)
+               off = TXQ_FIX_PRIO_CONF_MOVED(mp->port_num);
+       else
+               off = TXQ_FIX_PRIO_CONF(mp->port_num);
 
        val = rdl(mp, off);
-       val |= 1;
+       val |= 1 << txq->index;
        wrl(mp, off, val);
 }
 
@@ -853,16 +894,19 @@ static void txq_set_wrr(struct tx_queue *txq, int weight)
        /*
         * Turn off fixed priority mode.
         */
-       off = TXQ_FIX_PRIO_CONF(mp->port_num);
+       if (mp->shared->tx_bw_control_moved)
+               off = TXQ_FIX_PRIO_CONF_MOVED(mp->port_num);
+       else
+               off = TXQ_FIX_PRIO_CONF(mp->port_num);
 
        val = rdl(mp, off);
-       val &= ~1;
+       val &= ~(1 << txq->index);
        wrl(mp, off, val);
 
        /*
         * Configure WRR weight for this queue.
         */
-       off = TXQ_BW_WRR_CONF(mp->port_num);
+       off = TXQ_BW_WRR_CONF(mp->port_num, txq->index);
 
        val = rdl(mp, off);
        val = (val & ~0xff) | (weight & 0xff);
@@ -1066,6 +1110,22 @@ static int mv643xx_eth_get_settings(struct net_device *dev, struct ethtool_cmd *
        return err;
 }
 
+static int mv643xx_eth_get_settings_phyless(struct net_device *dev, struct ethtool_cmd *cmd)
+{
+       cmd->supported = SUPPORTED_MII;
+       cmd->advertising = ADVERTISED_MII;
+       cmd->speed = SPEED_1000;
+       cmd->duplex = DUPLEX_FULL;
+       cmd->port = PORT_MII;
+       cmd->phy_address = 0;
+       cmd->transceiver = XCVR_INTERNAL;
+       cmd->autoneg = AUTONEG_DISABLE;
+       cmd->maxtxpkt = 1;
+       cmd->maxrxpkt = 1;
+
+       return 0;
+}
+
 static int mv643xx_eth_set_settings(struct net_device *dev, struct ethtool_cmd *cmd)
 {
        struct mv643xx_eth_private *mp = netdev_priv(dev);
@@ -1083,6 +1143,11 @@ static int mv643xx_eth_set_settings(struct net_device *dev, struct ethtool_cmd *
        return err;
 }
 
+static int mv643xx_eth_set_settings_phyless(struct net_device *dev, struct ethtool_cmd *cmd)
+{
+       return -EINVAL;
+}
+
 static void mv643xx_eth_get_drvinfo(struct net_device *dev,
                                    struct ethtool_drvinfo *drvinfo)
 {
@@ -1100,6 +1165,11 @@ static int mv643xx_eth_nway_reset(struct net_device *dev)
        return mii_nway_restart(&mp->mii);
 }
 
+static int mv643xx_eth_nway_reset_phyless(struct net_device *dev)
+{
+       return -EINVAL;
+}
+
 static u32 mv643xx_eth_get_link(struct net_device *dev)
 {
        struct mv643xx_eth_private *mp = netdev_priv(dev);
@@ -1107,6 +1177,11 @@ static u32 mv643xx_eth_get_link(struct net_device *dev)
        return mii_link_ok(&mp->mii);
 }
 
+static u32 mv643xx_eth_get_link_phyless(struct net_device *dev)
+{
+       return 1;
+}
+
 static void mv643xx_eth_get_strings(struct net_device *dev,
                                    uint32_t stringset, uint8_t *data)
 {
@@ -1166,6 +1241,18 @@ static const struct ethtool_ops mv643xx_eth_ethtool_ops = {
        .get_sset_count         = mv643xx_eth_get_sset_count,
 };
 
+static const struct ethtool_ops mv643xx_eth_ethtool_ops_phyless = {
+       .get_settings           = mv643xx_eth_get_settings_phyless,
+       .set_settings           = mv643xx_eth_set_settings_phyless,
+       .get_drvinfo            = mv643xx_eth_get_drvinfo,
+       .nway_reset             = mv643xx_eth_nway_reset_phyless,
+       .get_link               = mv643xx_eth_get_link_phyless,
+       .set_sg                 = ethtool_op_set_sg,
+       .get_strings            = mv643xx_eth_get_strings,
+       .get_ethtool_stats      = mv643xx_eth_get_ethtool_stats,
+       .get_sset_count         = mv643xx_eth_get_sset_count,
+};
+
 
 /* address handling *********************************************************/
 static void uc_addr_get(struct mv643xx_eth_private *mp, unsigned char *addr)
@@ -1306,13 +1393,15 @@ static void mv643xx_eth_set_rx_mode(struct net_device *dev)
 
 
 /* rx/tx queue initialisation ***********************************************/
-static int rxq_init(struct mv643xx_eth_private *mp)
+static int rxq_init(struct mv643xx_eth_private *mp, int index)
 {
-       struct rx_queue *rxq = mp->rxq;
+       struct rx_queue *rxq = mp->rxq + index;
        struct rx_desc *rx_desc;
        int size;
        int i;
 
+       rxq->index = index;
+
        rxq->rx_ring_size = mp->default_rx_ring_size;
 
        rxq->rx_desc_count = 0;
@@ -1321,7 +1410,7 @@ static int rxq_init(struct mv643xx_eth_private *mp)
 
        size = rxq->rx_ring_size * sizeof(struct rx_desc);
 
-       if (size <= mp->rx_desc_sram_size) {
+       if (index == mp->rxq_primary && size <= mp->rx_desc_sram_size) {
                rxq->rx_desc_area = ioremap(mp->rx_desc_sram_addr,
                                                mp->rx_desc_sram_size);
                rxq->rx_desc_dma = mp->rx_desc_sram_addr;
@@ -1362,7 +1451,7 @@ static int rxq_init(struct mv643xx_eth_private *mp)
 
 
 out_free:
-       if (size <= mp->rx_desc_sram_size)
+       if (index == mp->rxq_primary && size <= mp->rx_desc_sram_size)
                iounmap(rxq->rx_desc_area);
        else
                dma_free_coherent(NULL, size,
@@ -1395,7 +1484,8 @@ static void rxq_deinit(struct rx_queue *rxq)
                           rxq->rx_desc_count);
        }
 
-       if (rxq->rx_desc_area_size <= mp->rx_desc_sram_size)
+       if (rxq->index == mp->rxq_primary &&
+           rxq->rx_desc_area_size <= mp->rx_desc_sram_size)
                iounmap(rxq->rx_desc_area);
        else
                dma_free_coherent(NULL, rxq->rx_desc_area_size,
@@ -1404,13 +1494,15 @@ static void rxq_deinit(struct rx_queue *rxq)
        kfree(rxq->rx_skb);
 }
 
-static int txq_init(struct mv643xx_eth_private *mp)
+static int txq_init(struct mv643xx_eth_private *mp, int index)
 {
-       struct tx_queue *txq = mp->txq;
+       struct tx_queue *txq = mp->txq + index;
        struct tx_desc *tx_desc;
        int size;
        int i;
 
+       txq->index = index;
+
        txq->tx_ring_size = mp->default_tx_ring_size;
 
        txq->tx_desc_count = 0;
@@ -1419,7 +1511,7 @@ static int txq_init(struct mv643xx_eth_private *mp)
 
        size = txq->tx_ring_size * sizeof(struct tx_desc);
 
-       if (size <= mp->tx_desc_sram_size) {
+       if (index == mp->txq_primary && size <= mp->tx_desc_sram_size) {
                txq->tx_desc_area = ioremap(mp->tx_desc_sram_addr,
                                                mp->tx_desc_sram_size);
                txq->tx_desc_dma = mp->tx_desc_sram_addr;
@@ -1456,7 +1548,7 @@ static int txq_init(struct mv643xx_eth_private *mp)
 
 
 out_free:
-       if (size <= mp->tx_desc_sram_size)
+       if (index == mp->txq_primary && size <= mp->tx_desc_sram_size)
                iounmap(txq->tx_desc_area);
        else
                dma_free_coherent(NULL, size,
@@ -1528,7 +1620,8 @@ static void txq_deinit(struct tx_queue *txq)
 
        BUG_ON(txq->tx_used_desc != txq->tx_curr_desc);
 
-       if (txq->tx_desc_area_size <= mp->tx_desc_sram_size)
+       if (txq->index == mp->txq_primary &&
+           txq->tx_desc_area_size <= mp->tx_desc_sram_size)
                iounmap(txq->tx_desc_area);
        else
                dma_free_coherent(NULL, txq->tx_desc_area_size,
@@ -1567,12 +1660,20 @@ static void update_pscr(struct mv643xx_eth_private *mp, int speed, int duplex)
                if ((pscr_o & SERIAL_PORT_ENABLE) == 0)
                        wrl(mp, PORT_SERIAL_CONTROL(mp->port_num), pscr_n);
                else {
-                       txq_disable(mp->txq);
+                       int i;
+
+                       for (i = 0; i < 8; i++)
+                               if (mp->txq_mask & (1 << i))
+                                       txq_disable(mp->txq + i);
+
                        pscr_o &= ~SERIAL_PORT_ENABLE;
                        wrl(mp, PORT_SERIAL_CONTROL(mp->port_num), pscr_o);
                        wrl(mp, PORT_SERIAL_CONTROL(mp->port_num), pscr_n);
                        wrl(mp, PORT_SERIAL_CONTROL(mp->port_num), pscr_n);
-                       txq_enable(mp->txq);
+
+                       for (i = 0; i < 8; i++)
+                               if (mp->txq_mask & (1 << i))
+                                       txq_enable(mp->txq + i);
                }
        }
 }
@@ -1583,8 +1684,10 @@ static irqreturn_t mv643xx_eth_irq(int irq, void *dev_id)
        struct mv643xx_eth_private *mp = netdev_priv(dev);
        u32 int_cause;
        u32 int_cause_ext;
+       u32 txq_active;
 
-       int_cause = rdl(mp, INT_CAUSE(mp->port_num)) & (INT_RX | INT_EXT);
+       int_cause = rdl(mp, INT_CAUSE(mp->port_num)) &
+                       (INT_TX_END | INT_RX | INT_EXT);
        if (int_cause == 0)
                return IRQ_NONE;
 
@@ -1596,15 +1699,23 @@ static irqreturn_t mv643xx_eth_irq(int irq, void *dev_id)
        }
 
        if (int_cause_ext & (INT_EXT_PHY | INT_EXT_LINK)) {
-               if (mii_link_ok(&mp->mii)) {
-                       struct ethtool_cmd cmd;
+               if (mp->phy_addr == -1 || mii_link_ok(&mp->mii)) {
+                       int i;
+
+                       if (mp->phy_addr != -1) {
+                               struct ethtool_cmd cmd;
+
+                               mii_ethtool_gset(&mp->mii, &cmd);
+                               update_pscr(mp, cmd.speed, cmd.duplex);
+                       }
+
+                       for (i = 0; i < 8; i++)
+                               if (mp->txq_mask & (1 << i))
+                                       txq_enable(mp->txq + i);
 
-                       mii_ethtool_gset(&mp->mii, &cmd);
-                       update_pscr(mp, cmd.speed, cmd.duplex);
-                       txq_enable(mp->txq);
                        if (!netif_carrier_ok(dev)) {
                                netif_carrier_on(dev);
-                               __txq_maybe_wake(mp->txq);
+                               __txq_maybe_wake(mp->txq + mp->txq_primary);
                        }
                } else if (netif_carrier_ok(dev)) {
                        netif_stop_queue(dev);
@@ -1612,6 +1723,9 @@ static irqreturn_t mv643xx_eth_irq(int irq, void *dev_id)
                }
        }
 
+       /*
+        * RxBuffer or RxError set for any of the 8 queues?
+        */
 #ifdef MV643XX_ETH_NAPI
        if (int_cause & INT_RX) {
                wrl(mp, INT_MASK(mp->port_num), 0x00000000);
@@ -1620,13 +1734,48 @@ static irqreturn_t mv643xx_eth_irq(int irq, void *dev_id)
                netif_rx_schedule(dev, &mp->napi);
        }
 #else
-       if (int_cause & INT_RX)
-               rxq_process(mp->rxq, INT_MAX);
+       if (int_cause & INT_RX) {
+               int i;
+
+               for (i = 7; i >= 0; i--)
+                       if (mp->rxq_mask & (1 << i))
+                               rxq_process(mp->rxq + i, INT_MAX);
+       }
 #endif
 
+       txq_active = rdl(mp, TXQ_COMMAND(mp->port_num));
+
+       /*
+        * TxBuffer or TxError set for any of the 8 queues?
+        */
        if (int_cause_ext & INT_EXT_TX) {
-               txq_reclaim(mp->txq, 0);
-               __txq_maybe_wake(mp->txq);
+               int i;
+
+               for (i = 0; i < 8; i++)
+                       if (mp->txq_mask & (1 << i))
+                               txq_reclaim(mp->txq + i, 0);
+       }
+
+       /*
+        * Any TxEnd interrupts?
+        */
+       if (int_cause & INT_TX_END) {
+               int i;
+
+               wrl(mp, INT_CAUSE(mp->port_num), ~(int_cause & INT_TX_END));
+               for (i = 0; i < 8; i++) {
+                       struct tx_queue *txq = mp->txq + i;
+                       if (txq->tx_desc_count && !((txq_active >> i) & 1))
+                               txq_enable(txq);
+               }
+       }
+
+       /*
+        * Enough space again in the primary TX queue for a full packet?
+        */
+       if (int_cause_ext & INT_EXT_TX) {
+               struct tx_queue *txq = mp->txq + mp->txq_primary;
+               __txq_maybe_wake(txq);
        }
 
        return IRQ_HANDLED;
@@ -1649,7 +1798,6 @@ static void phy_reset(struct mv643xx_eth_private *mp)
 static void port_start(struct mv643xx_eth_private *mp)
 {
        u32 pscr;
-       struct ethtool_cmd ethtool_cmd;
        int i;
 
        /*
@@ -1669,19 +1817,29 @@ static void port_start(struct mv643xx_eth_private *mp)
 
        wrl(mp, SDMA_CONFIG(mp->port_num), PORT_SDMA_CONFIG_DEFAULT_VALUE);
 
-       mv643xx_eth_get_settings(mp->dev, &ethtool_cmd);
-       phy_reset(mp);
-       mv643xx_eth_set_settings(mp->dev, &ethtool_cmd);
+       /*
+        * Perform PHY reset, if there is a PHY.
+        */
+       if (mp->phy_addr != -1) {
+               struct ethtool_cmd cmd;
+
+               mv643xx_eth_get_settings(mp->dev, &cmd);
+               phy_reset(mp);
+               mv643xx_eth_set_settings(mp->dev, &cmd);
+       }
 
        /*
         * Configure TX path and queues.
         */
        tx_set_rate(mp, 1000000000, 16777216);
-       for (i = 0; i < 1; i++) {
-               struct tx_queue *txq = mp->txq;
-               int off = TXQ_CURRENT_DESC_PTR(mp->port_num);
+       for (i = 0; i < 8; i++) {
+               struct tx_queue *txq = mp->txq + i;
+               int off = TXQ_CURRENT_DESC_PTR(mp->port_num, i);
                u32 addr;
 
+               if ((mp->txq_mask & (1 << i)) == 0)
+                       continue;
+
                addr = (u32)txq->tx_desc_dma;
                addr += txq->tx_curr_desc * sizeof(struct tx_desc);
                wrl(mp, off, addr);
@@ -1707,13 +1865,16 @@ static void port_start(struct mv643xx_eth_private *mp)
        wrl(mp, PORT_CONFIG_EXT(mp->port_num), 0x00000000);
 
        /*
-        * Enable the receive queue.
+        * Enable the receive queues.
         */
-       for (i = 0; i < 1; i++) {
-               struct rx_queue *rxq = mp->rxq;
-               int off = RXQ_CURRENT_DESC_PTR(mp->port_num);
+       for (i = 0; i < 8; i++) {
+               struct rx_queue *rxq = mp->rxq + i;
+               int off = RXQ_CURRENT_DESC_PTR(mp->port_num, i);
                u32 addr;
 
+               if ((mp->rxq_mask & (1 << i)) == 0)
+                       continue;
+
                addr = (u32)rxq->rx_desc_dma;
                addr += rxq->rx_curr_desc * sizeof(struct rx_desc);
                wrl(mp, off, addr);
@@ -1725,14 +1886,22 @@ static void port_start(struct mv643xx_eth_private *mp)
 static void set_rx_coal(struct mv643xx_eth_private *mp, unsigned int delay)
 {
        unsigned int coal = ((mp->shared->t_clk / 1000000) * delay) / 64;
+       u32 val;
 
-       if (coal > 0x3fff)
-               coal = 0x3fff;
-
-       wrl(mp, SDMA_CONFIG(mp->port_num),
-               ((coal & 0x3fff) << 8) |
-               (rdl(mp, SDMA_CONFIG(mp->port_num))
-                       & 0xffc000ff));
+       val = rdl(mp, SDMA_CONFIG(mp->port_num));
+       if (mp->shared->extended_rx_coal_limit) {
+               if (coal > 0xffff)
+                       coal = 0xffff;
+               val &= ~0x023fff80;
+               val |= (coal & 0x8000) << 10;
+               val |= (coal & 0x7fff) << 7;
+       } else {
+               if (coal > 0x3fff)
+                       coal = 0x3fff;
+               val &= ~0x003fff00;
+               val |= (coal & 0x3fff) << 8;
+       }
+       wrl(mp, SDMA_CONFIG(mp->port_num), val);
 }
 
 static void set_tx_coal(struct mv643xx_eth_private *mp, unsigned int delay)
@@ -1748,6 +1917,7 @@ static int mv643xx_eth_open(struct net_device *dev)
 {
        struct mv643xx_eth_private *mp = netdev_priv(dev);
        int err;
+       int i;
 
        wrl(mp, INT_CAUSE(mp->port_num), 0);
        wrl(mp, INT_CAUSE_EXT(mp->port_num), 0);
@@ -1763,14 +1933,33 @@ static int mv643xx_eth_open(struct net_device *dev)
 
        init_mac_tables(mp);
 
-       err = rxq_init(mp);
-       if (err)
-               goto out;
-       rxq_refill(mp->rxq);
+       for (i = 0; i < 8; i++) {
+               if ((mp->rxq_mask & (1 << i)) == 0)
+                       continue;
 
-       err = txq_init(mp);
-       if (err)
-               goto out_free;
+               err = rxq_init(mp, i);
+               if (err) {
+                       while (--i >= 0)
+                               if (mp->rxq_mask & (1 << i))
+                                       rxq_deinit(mp->rxq + i);
+                       goto out;
+               }
+
+               rxq_refill(mp->rxq + i);
+       }
+
+       for (i = 0; i < 8; i++) {
+               if ((mp->txq_mask & (1 << i)) == 0)
+                       continue;
+
+               err = txq_init(mp, i);
+               if (err) {
+                       while (--i >= 0)
+                               if (mp->txq_mask & (1 << i))
+                                       txq_deinit(mp->txq + i);
+                       goto out_free;
+               }
+       }
 
 #ifdef MV643XX_ETH_NAPI
        napi_enable(&mp->napi);
@@ -1784,13 +1973,15 @@ static int mv643xx_eth_open(struct net_device *dev)
        wrl(mp, INT_MASK_EXT(mp->port_num),
            INT_EXT_LINK | INT_EXT_PHY | INT_EXT_TX);
 
-       wrl(mp, INT_MASK(mp->port_num), INT_RX | INT_EXT);
+       wrl(mp, INT_MASK(mp->port_num), INT_TX_END | INT_RX | INT_EXT);
 
        return 0;
 
 
 out_free:
-       rxq_deinit(mp->rxq);
+       for (i = 0; i < 8; i++)
+               if (mp->rxq_mask & (1 << i))
+                       rxq_deinit(mp->rxq + i);
 out:
        free_irq(dev->irq, dev);
 
@@ -1800,9 +1991,14 @@ out:
 static void port_reset(struct mv643xx_eth_private *mp)
 {
        unsigned int data;
+       int i;
 
-       txq_disable(mp->txq);
-       rxq_disable(mp->rxq);
+       for (i = 0; i < 8; i++) {
+               if (mp->rxq_mask & (1 << i))
+                       rxq_disable(mp->rxq + i);
+               if (mp->txq_mask & (1 << i))
+                       txq_disable(mp->txq + i);
+       }
        while (!(rdl(mp, PORT_STATUS(mp->port_num)) & TX_FIFO_EMPTY))
                udelay(10);
 
@@ -1817,6 +2013,7 @@ static void port_reset(struct mv643xx_eth_private *mp)
 static int mv643xx_eth_stop(struct net_device *dev)
 {
        struct mv643xx_eth_private *mp = netdev_priv(dev);
+       int i;
 
        wrl(mp, INT_MASK(mp->port_num), 0x00000000);
        rdl(mp, INT_MASK(mp->port_num));
@@ -1832,8 +2029,12 @@ static int mv643xx_eth_stop(struct net_device *dev)
        port_reset(mp);
        mib_counters_update(mp);
 
-       txq_deinit(mp->txq);
-       rxq_deinit(mp->rxq);
+       for (i = 0; i < 8; i++) {
+               if (mp->rxq_mask & (1 << i))
+                       rxq_deinit(mp->rxq + i);
+               if (mp->txq_mask & (1 << i))
+                       txq_deinit(mp->txq + i);
+       }
 
        return 0;
 }
@@ -1842,7 +2043,10 @@ static int mv643xx_eth_ioctl(struct net_device *dev, struct ifreq *ifr, int cmd)
 {
        struct mv643xx_eth_private *mp = netdev_priv(dev);
 
-       return generic_mii_ioctl(&mp->mii, if_mii(ifr), cmd, NULL);
+       if (mp->phy_addr != -1)
+               return generic_mii_ioctl(&mp->mii, if_mii(ifr), cmd, NULL);
+
+       return -EOPNOTSUPP;
 }
 
 static int mv643xx_eth_change_mtu(struct net_device *dev, int new_mtu)
@@ -1885,7 +2089,7 @@ static void tx_timeout_task(struct work_struct *ugly)
                port_reset(mp);
                port_start(mp);
 
-               __txq_maybe_wake(mp->txq);
+               __txq_maybe_wake(mp->txq + mp->txq_primary);
        }
 }
 
@@ -1908,7 +2112,7 @@ static void mv643xx_eth_netpoll(struct net_device *dev)
 
        mv643xx_eth_irq(dev->irq, dev);
 
-       wrl(mp, INT_MASK(mp->port_num), INT_RX | INT_CAUSE_EXT);
+       wrl(mp, INT_MASK(mp->port_num), INT_TX_END | INT_RX | INT_EXT);
 }
 #endif
 
@@ -1965,6 +2169,30 @@ mv643xx_eth_conf_mbus_windows(struct mv643xx_eth_shared_private *msp,
        msp->win_protect = win_protect;
 }
 
+static void infer_hw_params(struct mv643xx_eth_shared_private *msp)
+{
+       /*
+        * Check whether we have a 14-bit coal limit field in bits
+        * [21:8], or a 16-bit coal limit in bits [25,21:7] of the
+        * SDMA config register.
+        */
+       writel(0x02000000, msp->base + SDMA_CONFIG(0));
+       if (readl(msp->base + SDMA_CONFIG(0)) & 0x02000000)
+               msp->extended_rx_coal_limit = 1;
+       else
+               msp->extended_rx_coal_limit = 0;
+
+       /*
+        * Check whether the TX rate control registers are in the
+        * old or the new place.
+        */
+       writel(1, msp->base + TX_BW_MTU_MOVED(0));
+       if (readl(msp->base + TX_BW_MTU_MOVED(0)) & 1)
+               msp->tx_bw_control_moved = 1;
+       else
+               msp->tx_bw_control_moved = 0;
+}
+
 static int mv643xx_eth_shared_probe(struct platform_device *pdev)
 {
        static int mv643xx_eth_version_printed = 0;
@@ -2003,6 +2231,7 @@ static int mv643xx_eth_shared_probe(struct platform_device *pdev)
         * Detect hardware parameters.
         */
        msp->t_clk = (pd != NULL && pd->t_clk != 0) ? pd->t_clk : 133000000;
+       infer_hw_params(msp);
 
        platform_set_drvdata(pdev, msp);
 
@@ -2085,11 +2314,23 @@ static void set_params(struct mv643xx_eth_private *mp,
        mp->rx_desc_sram_addr = pd->rx_sram_addr;
        mp->rx_desc_sram_size = pd->rx_sram_size;
 
+       if (pd->rx_queue_mask)
+               mp->rxq_mask = pd->rx_queue_mask;
+       else
+               mp->rxq_mask = 0x01;
+       mp->rxq_primary = fls(mp->rxq_mask) - 1;
+
        mp->default_tx_ring_size = DEFAULT_TX_QUEUE_SIZE;
        if (pd->tx_queue_size)
                mp->default_tx_ring_size = pd->tx_queue_size;
        mp->tx_desc_sram_addr = pd->tx_sram_addr;
        mp->tx_desc_sram_size = pd->tx_sram_size;
+
+       if (pd->tx_queue_mask)
+               mp->txq_mask = pd->tx_queue_mask;
+       else
+               mp->txq_mask = 0x01;
+       mp->txq_primary = fls(mp->txq_mask) - 1;
 }
 
 static int phy_detect(struct mv643xx_eth_private *mp)
@@ -2202,10 +2443,15 @@ static int mv643xx_eth_probe(struct platform_device *pdev)
        mib_counters_clear(mp);
        INIT_WORK(&mp->tx_timeout_task, tx_timeout_task);
 
-       err = phy_init(mp, pd);
-       if (err)
-               goto out;
-       SET_ETHTOOL_OPS(dev, &mv643xx_eth_ethtool_ops);
+       if (mp->phy_addr != -1) {
+               err = phy_init(mp, pd);
+               if (err)
+                       goto out;
+
+               SET_ETHTOOL_OPS(dev, &mv643xx_eth_ethtool_ops);
+       } else {
+               SET_ETHTOOL_OPS(dev, &mv643xx_eth_ethtool_ops_phyless);
+       }
 
 
        res = platform_get_resource(pdev, IORESOURCE_IRQ, 0);
@@ -2324,8 +2570,8 @@ static void __exit mv643xx_eth_cleanup_module(void)
 }
 module_exit(mv643xx_eth_cleanup_module);
 
-MODULE_AUTHOR("Rabeeh Khoury, Assaf Hoffman, Matthew Dharm, Manish Lachwani "
-             "and Dale Farnsworth");
+MODULE_AUTHOR("Rabeeh Khoury, Assaf Hoffman, Matthew Dharm, "
+             "Manish Lachwani, Dale Farnsworth and Lennert Buytenhek");
 MODULE_DESCRIPTION("Ethernet driver for Marvell MV643XX");
 MODULE_LICENSE("GPL");
 MODULE_ALIAS("platform:" MV643XX_ETH_SHARED_NAME);