include/linux/libata.h

   1 /*
   2  *  Copyright 2003-2005 Red Hat, Inc.  All rights reserved.
   3  *  Copyright 2003-2005 Jeff Garzik
   4  *
   5  *
   6  *  This program is free software; you can redistribute it and/or modify
   7  *  it under the terms of the GNU General Public License as published by
   8  *  the Free Software Foundation; either version 2, or (at your option)
   9  *  any later version.
  10  *
  11  *  This program is distributed in the hope that it will be useful,
  12  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  *  GNU General Public License for more details.
  15  *
  16  *  You should have received a copy of the GNU General Public License
  17  *  along with this program; see the file COPYING.  If not, write to
  18  *  the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.
  19  *
  20  *
  21  *  libata documentation is available via 'make {ps|pdf}docs',
  22  *  as Documentation/DocBook/libata.*
  23  *
  24  */
  25
  26 #ifndef __LINUX_LIBATA_H__
  27 #define __LINUX_LIBATA_H__
  28
  29 #include <linux/delay.h>
  30 #include <linux/interrupt.h>
  31 #include <linux/pci.h>
  32 #include <linux/dma-mapping.h>
  33 #include <asm/io.h>
  34 #include <linux/ata.h>
  35 #include <linux/workqueue.h>
  36
  37 /*
  38  * compile-time options
  39  */
  40 #undef ATA_DEBUG                /* debugging output */
  41 #undef ATA_VERBOSE_DEBUG        /* yet more debugging output */
  42 #undef ATA_IRQ_TRAP             /* define to ack screaming irqs */
  43 #undef ATA_NDEBUG               /* define to disable quick runtime checks */
  44 #undef ATA_ENABLE_PATA          /* define to enable PATA support in some
  45                                  * low-level drivers */
  46 #undef ATAPI_ENABLE_DMADIR      /* enables ATAPI DMADIR bridge support */
  47
  48
  49 /* note: prints function name for you */
  50 #ifdef ATA_DEBUG
  51 #define DPRINTK(fmt, args...) printk(KERN_ERR "%s: " fmt, __FUNCTION__, ## args)
  52 #ifdef ATA_VERBOSE_DEBUG
  53 #define VPRINTK(fmt, args...) printk(KERN_ERR "%s: " fmt, __FUNCTION__, ## args)
  54 #else
  55 #define VPRINTK(fmt, args...)
  56 #endif  /* ATA_VERBOSE_DEBUG */
  57 #else
  58 #define DPRINTK(fmt, args...)
  59 #define VPRINTK(fmt, args...)
  60 #endif  /* ATA_DEBUG */
  61
  62 #ifdef ATA_NDEBUG
  63 #define assert(expr)
  64 #else
  65 #define assert(expr) \
  66         if(unlikely(!(expr))) {                                   \
  67         printk(KERN_ERR "Assertion failed! %s,%s,%s,line=%d\n", \
  68         #expr,__FILE__,__FUNCTION__,__LINE__);          \
  69         }
  70 #endif
  71
  72 /* defines only for the constants which don't work well as enums */
  73 #define ATA_TAG_POISON          0xfafbfcfdU
  74
  75 /* move to PCI layer? */
  76 static inline struct device *pci_dev_to_dev(struct pci_dev *pdev)
  77 {
  78         return &pdev->dev;
  79 }
  80
  81 enum {
  82         /* various global constants */
  83         LIBATA_MAX_PRD          = ATA_MAX_PRD / 2,
  84         ATA_MAX_PORTS           = 8,
  85         ATA_DEF_QUEUE           = 1,
  86         ATA_MAX_QUEUE           = 1,
  87         ATA_MAX_SECTORS         = 200,  /* FIXME */
  88         ATA_MAX_BUS             = 2,
  89         ATA_DEF_BUSY_WAIT       = 10000,
  90         ATA_SHORT_PAUSE         = (HZ >> 6) + 1,
  91
  92         ATA_SHT_EMULATED        = 1,
  93         ATA_SHT_CMD_PER_LUN     = 1,
  94         ATA_SHT_THIS_ID         = -1,
  95         ATA_SHT_USE_CLUSTERING  = 1,
  96
  97         /* struct ata_device stuff */
  98         ATA_DFLAG_LBA48         = (1 << 0), /* device supports LBA48 */
  99         ATA_DFLAG_PIO           = (1 << 1), /* device currently in PIO mode */
 100         ATA_DFLAG_LOCK_SECTORS  = (1 << 2), /* don't adjust max_sectors */
 101         ATA_DFLAG_LBA           = (1 << 3), /* device supports LBA */
 102
 103         ATA_DEV_UNKNOWN         = 0,    /* unknown device */
 104         ATA_DEV_ATA             = 1,    /* ATA device */
 105         ATA_DEV_ATA_UNSUP       = 2,    /* ATA device (unsupported) */
 106         ATA_DEV_ATAPI           = 3,    /* ATAPI device */
 107         ATA_DEV_ATAPI_UNSUP     = 4,    /* ATAPI device (unsupported) */
 108         ATA_DEV_NONE            = 5,    /* no device */
 109
 110         /* struct ata_port flags */
 111         ATA_FLAG_SLAVE_POSS     = (1 << 1), /* host supports slave dev */
 112                                             /* (doesn't imply presence) */
 113         ATA_FLAG_PORT_DISABLED  = (1 << 2), /* port is disabled, ignore it */
 114         ATA_FLAG_SATA           = (1 << 3),
 115         ATA_FLAG_NO_LEGACY      = (1 << 4), /* no legacy mode check */
 116         ATA_FLAG_SRST           = (1 << 5), /* use ATA SRST, not E.D.D. */
 117         ATA_FLAG_MMIO           = (1 << 6), /* use MMIO, not PIO */
 118         ATA_FLAG_SATA_RESET     = (1 << 7), /* use COMRESET */
 119         ATA_FLAG_PIO_DMA        = (1 << 8), /* PIO cmds via DMA */
 120         ATA_FLAG_NOINTR         = (1 << 9), /* FIXME: Remove this once
 121                                              * proper HSM is in place. */
 122
 123         ATA_QCFLAG_ACTIVE       = (1 << 1), /* cmd not yet ack'd to scsi lyer */
 124         ATA_QCFLAG_SG           = (1 << 3), /* have s/g table? */
 125         ATA_QCFLAG_SINGLE       = (1 << 4), /* no s/g, just a single buffer */
 126         ATA_QCFLAG_DMAMAP       = ATA_QCFLAG_SG | ATA_QCFLAG_SINGLE,
 127
 128         /* various lengths of time */
 129         ATA_TMOUT_EDD           = 5 * HZ,       /* hueristic */
 130         ATA_TMOUT_PIO           = 30 * HZ,
 131         ATA_TMOUT_BOOT          = 30 * HZ,      /* hueristic */
 132         ATA_TMOUT_BOOT_QUICK    = 7 * HZ,       /* hueristic */
 133         ATA_TMOUT_CDB           = 30 * HZ,
 134         ATA_TMOUT_CDB_QUICK     = 5 * HZ,
 135
 136         /* ATA bus states */
 137         BUS_UNKNOWN             = 0,
 138         BUS_DMA                 = 1,
 139         BUS_IDLE                = 2,
 140         BUS_NOINTR              = 3,
 141         BUS_NODATA              = 4,
 142         BUS_TIMER               = 5,
 143         BUS_PIO                 = 6,
 144         BUS_EDD                 = 7,
 145         BUS_IDENTIFY            = 8,
 146         BUS_PACKET              = 9,
 147
 148         /* SATA port states */
 149         PORT_UNKNOWN            = 0,
 150         PORT_ENABLED            = 1,
 151         PORT_DISABLED           = 2,
 152
 153         /* encoding various smaller bitmaps into a single
 154          * unsigned long bitmap
 155          */
 156         ATA_SHIFT_UDMA          = 0,
 157         ATA_SHIFT_MWDMA         = 8,
 158         ATA_SHIFT_PIO           = 11,
 159
 160         /* size of buffer to pad xfers ending on unaligned boundaries */
 161         ATA_DMA_PAD_SZ          = 4,
 162         ATA_DMA_PAD_BUF_SZ      = ATA_DMA_PAD_SZ * ATA_MAX_QUEUE,
 163
 164         /* Masks for port functions */
 165         ATA_PORT_PRIMARY        = (1 << 0),
 166         ATA_PORT_SECONDARY      = (1 << 1),
 167 };
 168
 169 enum hsm_task_states {
 170         HSM_ST_UNKNOWN,
 171         HSM_ST_IDLE,
 172         HSM_ST_POLL,
 173         HSM_ST_TMOUT,
 174         HSM_ST,
 175         HSM_ST_LAST,
 176         HSM_ST_LAST_POLL,
 177         HSM_ST_ERR,
 178 };
 179
 180 enum ata_completion_errors {
 181         AC_ERR_OTHER            = (1 << 0),
 182         AC_ERR_DEV              = (1 << 1),
 183         AC_ERR_ATA_BUS          = (1 << 2),
 184         AC_ERR_HOST_BUS         = (1 << 3),
 185 };
 186
 187 /* forward declarations */
 188 struct scsi_device;
 189 struct ata_port_operations;
 190 struct ata_port;
 191 struct ata_queued_cmd;
 192
 193 /* typedefs */
 194 typedef int (*ata_qc_cb_t) (struct ata_queued_cmd *qc, unsigned int err_mask);
 195
 196 struct ata_ioports {
 197         unsigned long           cmd_addr;
 198         unsigned long           data_addr;
 199         unsigned long           error_addr;
 200         unsigned long           feature_addr;
 201         unsigned long           nsect_addr;
 202         unsigned long           lbal_addr;
 203         unsigned long           lbam_addr;
 204         unsigned long           lbah_addr;
 205         unsigned long           device_addr;
 206         unsigned long           status_addr;
 207         unsigned long           command_addr;
 208         unsigned long           altstatus_addr;
 209         unsigned long           ctl_addr;
 210         unsigned long           bmdma_addr;
 211         unsigned long           scr_addr;
 212 };
 213
 214 struct ata_probe_ent {
 215         struct list_head        node;
 216         struct device           *dev;
 217         const struct ata_port_operations *port_ops;
 218         struct scsi_host_template *sht;
 219         struct ata_ioports      port[ATA_MAX_PORTS];
 220         unsigned int            n_ports;
 221         unsigned int            hard_port_no;
 222         unsigned int            pio_mask;
 223         unsigned int            mwdma_mask;
 224         unsigned int            udma_mask;
 225         unsigned int            legacy_mode;
 226         unsigned long           irq;
 227         unsigned int            irq_flags;
 228         unsigned long           host_flags;
 229         void __iomem            *mmio_base;
 230         void                    *private_data;
 231 };
 232
 233 struct ata_host_set {
 234         spinlock_t              lock;
 235         struct device           *dev;
 236         unsigned long           irq;
 237         void __iomem            *mmio_base;
 238         unsigned int            n_ports;
 239         void                    *private_data;
 240         const struct ata_port_operations *ops;
 241         struct ata_port *       ports[0];
 242 };
 243
 244 struct ata_queued_cmd {
 245         struct ata_port         *ap;
 246         struct ata_device       *dev;
 247
 248         struct scsi_cmnd        *scsicmd;
 249         void                    (*scsidone)(struct scsi_cmnd *);
 250
 251         struct ata_taskfile     tf;
 252         u8                      cdb[ATAPI_CDB_LEN];
 253
 254         unsigned long           flags;          /* ATA_QCFLAG_xxx */
 255         unsigned int            tag;
 256         unsigned int            n_elem;
 257         unsigned int            orig_n_elem;
 258
 259         int                     dma_dir;
 260
 261         unsigned int            pad_len;
 262
 263         unsigned int            nsect;
 264         unsigned int            cursect;
 265
 266         unsigned int            nbytes;
 267         unsigned int            curbytes;
 268
 269         unsigned int            cursg;
 270         unsigned int            cursg_ofs;
 271
 272         struct scatterlist      sgent;
 273         struct scatterlist      pad_sgent;
 274         void                    *buf_virt;
 275
 276         /* DO NOT iterate over __sg manually, use ata_for_each_sg() */
 277         struct scatterlist      *__sg;
 278
 279         ata_qc_cb_t             complete_fn;
 280
 281         struct completion       *waiting;
 282
 283         void                    *private_data;
 284 };
 285
 286 struct ata_host_stats {
 287         unsigned long           unhandled_irq;
 288         unsigned long           idle_irq;
 289         unsigned long           rw_reqbuf;
 290 };
 291
 292 struct ata_device {
 293         u64                     n_sectors;      /* size of device, if ATA */
 294         unsigned long           flags;          /* ATA_DFLAG_xxx */
 295         unsigned int            class;          /* ATA_DEV_xxx */
 296         unsigned int            devno;          /* 0 or 1 */
 297         u16                     id[ATA_ID_WORDS]; /* IDENTIFY xxx DEVICE data */
 298         u8                      pio_mode;
 299         u8                      dma_mode;
 300         u8                      xfer_mode;
 301         unsigned int            xfer_shift;     /* ATA_SHIFT_xxx */
 302
 303         unsigned int            multi_count;    /* sectors count for
 304                                                    READ/WRITE MULTIPLE */
 305
 306         /* for CHS addressing */
 307         u16                     cylinders;      /* Number of cylinders */
 308         u16                     heads;          /* Number of heads */
 309         u16                     sectors;        /* Number of sectors per track */
 310 };
 311
 312 struct ata_port {
 313         struct Scsi_Host        *host;  /* our co-allocated scsi host */
 314         const struct ata_port_operations *ops;
 315         unsigned long           flags;  /* ATA_FLAG_xxx */
 316         unsigned int            id;     /* unique id req'd by scsi midlyr */
 317         unsigned int            port_no; /* unique port #; from zero */
 318         unsigned int            hard_port_no;   /* hardware port #; from zero */
 319
 320         struct ata_prd          *prd;    /* our SG list */
 321         dma_addr_t              prd_dma; /* and its DMA mapping */
 322
 323         void                    *pad;   /* array of DMA pad buffers */
 324         dma_addr_t              pad_dma;
 325
 326         struct ata_ioports      ioaddr; /* ATA cmd/ctl/dma register blocks */
 327
 328         u8                      ctl;    /* cache of ATA control register */
 329         u8                      last_ctl;       /* Cache last written value */
 330         unsigned int            bus_state;
 331         unsigned int            port_state;
 332         unsigned int            pio_mask;
 333         unsigned int            mwdma_mask;
 334         unsigned int            udma_mask;
 335         unsigned int            cbl;    /* cable type; ATA_CBL_xxx */
 336         unsigned int            cdb_len;
 337
 338         struct ata_device       device[ATA_MAX_DEVICES];
 339
 340         struct ata_queued_cmd   qcmd[ATA_MAX_QUEUE];
 341         unsigned long           qactive;
 342         unsigned int            active_tag;
 343
 344         struct ata_host_stats   stats;
 345         struct ata_host_set     *host_set;
 346
 347         struct work_struct      packet_task;
 348
 349         struct work_struct      pio_task;
 350         unsigned int            hsm_task_state;
 351         unsigned long           pio_task_timeout;
 352
 353         void                    *private_data;
 354 };
 355
 356 struct ata_port_operations {
 357         void (*port_disable) (struct ata_port *);
 358
 359         void (*dev_config) (struct ata_port *, struct ata_device *);
 360
 361         void (*set_piomode) (struct ata_port *, struct ata_device *);
 362         void (*set_dmamode) (struct ata_port *, struct ata_device *);
 363
 364         void (*tf_load) (struct ata_port *ap, const struct ata_taskfile *tf);
 365         void (*tf_read) (struct ata_port *ap, struct ata_taskfile *tf);
 366
 367         void (*exec_command)(struct ata_port *ap, const struct ata_taskfile *tf);
 368         u8   (*check_status)(struct ata_port *ap);
 369         u8   (*check_altstatus)(struct ata_port *ap);
 370         void (*dev_select)(struct ata_port *ap, unsigned int device);
 371
 372         void (*phy_reset) (struct ata_port *ap);
 373         void (*post_set_mode) (struct ata_port *ap);
 374
 375         int (*check_atapi_dma) (struct ata_queued_cmd *qc);
 376
 377         void (*bmdma_setup) (struct ata_queued_cmd *qc);
 378         void (*bmdma_start) (struct ata_queued_cmd *qc);
 379
 380         void (*qc_prep) (struct ata_queued_cmd *qc);
 381         int (*qc_issue) (struct ata_queued_cmd *qc);
 382
 383         void (*eng_timeout) (struct ata_port *ap);
 384
 385         irqreturn_t (*irq_handler)(int, void *, struct pt_regs *);
 386         void (*irq_clear) (struct ata_port *);
 387
 388         u32 (*scr_read) (struct ata_port *ap, unsigned int sc_reg);
 389         void (*scr_write) (struct ata_port *ap, unsigned int sc_reg,
 390                            u32 val);
 391
 392         int (*port_start) (struct ata_port *ap);
 393         void (*port_stop) (struct ata_port *ap);
 394
 395         void (*host_stop) (struct ata_host_set *host_set);
 396
 397         void (*bmdma_stop) (struct ata_queued_cmd *qc);
 398         u8   (*bmdma_status) (struct ata_port *ap);
 399 };
 400
 401 struct ata_port_info {
 402         struct scsi_host_template *sht;
 403         unsigned long           host_flags;
 404         unsigned long           pio_mask;
 405         unsigned long           mwdma_mask;
 406         unsigned long           udma_mask;
 407         const struct ata_port_operations *port_ops;
 408 };
 409
 410 struct ata_timing {
 411         unsigned short mode;            /* ATA mode */
 412         unsigned short setup;           /* t1 */
 413         unsigned short act8b;           /* t2 for 8-bit I/O */
 414         unsigned short rec8b;           /* t2i for 8-bit I/O */
 415         unsigned short cyc8b;           /* t0 for 8-bit I/O */
 416         unsigned short active;          /* t2 or tD */
 417         unsigned short recover;         /* t2i or tK */
 418         unsigned short cycle;           /* t0 */
 419         unsigned short udma;            /* t2CYCTYP/2 */
 420 };
 421
 422 #define FIT(v,vmin,vmax)        max_t(short,min_t(short,v,vmax),vmin)
 423
 424 extern void ata_port_probe(struct ata_port *);
 425 extern void __sata_phy_reset(struct ata_port *ap);
 426 extern void sata_phy_reset(struct ata_port *ap);
 427 extern void ata_bus_reset(struct ata_port *ap);
 428 extern void ata_port_disable(struct ata_port *);
 429 extern void ata_std_ports(struct ata_ioports *ioaddr);
 430 #ifdef CONFIG_PCI
 431 extern int ata_pci_init_one (struct pci_dev *pdev, struct ata_port_info **port_info,
 432                              unsigned int n_ports);
 433 extern void ata_pci_remove_one (struct pci_dev *pdev);
 434 #endif /* CONFIG_PCI */
 435 extern int ata_device_add(const struct ata_probe_ent *ent);
 436 extern void ata_host_set_remove(struct ata_host_set *host_set);
 437 extern int ata_scsi_detect(struct scsi_host_template *sht);
 438 extern int ata_scsi_ioctl(struct scsi_device *dev, int cmd, void __user *arg);
 439 extern int ata_scsi_queuecmd(struct scsi_cmnd *cmd, void (*done)(struct scsi_cmnd *));
 440 extern int ata_scsi_error(struct Scsi_Host *host);
 441 extern int ata_scsi_release(struct Scsi_Host *host);
 442 extern unsigned int ata_host_intr(struct ata_port *ap, struct ata_queued_cmd *qc);
 443 extern int ata_ratelimit(void);
 444
 445 /*
 446  * Default driver ops implementations
 447  */
 448 extern void ata_tf_load(struct ata_port *ap, const struct ata_taskfile *tf);
 449 extern void ata_tf_read(struct ata_port *ap, struct ata_taskfile *tf);
 450 extern void ata_tf_to_fis(const struct ata_taskfile *tf, u8 *fis, u8 pmp);
 451 extern void ata_tf_from_fis(const u8 *fis, struct ata_taskfile *tf);
 452 extern void ata_noop_dev_select (struct ata_port *ap, unsigned int device);
 453 extern void ata_std_dev_select (struct ata_port *ap, unsigned int device);
 454 extern u8 ata_check_status(struct ata_port *ap);
 455 extern u8 ata_altstatus(struct ata_port *ap);
 456 extern void ata_exec_command(struct ata_port *ap, const struct ata_taskfile *tf);
 457 extern int ata_port_start (struct ata_port *ap);
 458 extern void ata_port_stop (struct ata_port *ap);
 459 extern void ata_host_stop (struct ata_host_set *host_set);
 460 extern irqreturn_t ata_interrupt (int irq, void *dev_instance, struct pt_regs *regs);
 461 extern void ata_qc_prep(struct ata_queued_cmd *qc);
 462 extern int ata_qc_issue_prot(struct ata_queued_cmd *qc);
 463 extern void ata_sg_init_one(struct ata_queued_cmd *qc, void *buf,
 464                 unsigned int buflen);
 465 extern void ata_sg_init(struct ata_queued_cmd *qc, struct scatterlist *sg,
 466                  unsigned int n_elem);
 467 extern unsigned int ata_dev_classify(const struct ata_taskfile *tf);
 468 extern void ata_dev_id_string(const u16 *id, unsigned char *s,
 469                               unsigned int ofs, unsigned int len);
 470 extern void ata_dev_config(struct ata_port *ap, unsigned int i);
 471 extern void ata_bmdma_setup (struct ata_queued_cmd *qc);
 472 extern void ata_bmdma_start (struct ata_queued_cmd *qc);
 473 extern void ata_bmdma_stop(struct ata_queued_cmd *qc);
 474 extern u8   ata_bmdma_status(struct ata_port *ap);
 475 extern void ata_bmdma_irq_clear(struct ata_port *ap);
 476 extern void ata_qc_complete(struct ata_queued_cmd *qc, unsigned int err_mask);
 477 extern void ata_eng_timeout(struct ata_port *ap);
 478 extern void ata_scsi_simulate(u16 *id, struct scsi_cmnd *cmd,
 479                               void (*done)(struct scsi_cmnd *));
 480 extern int ata_std_bios_param(struct scsi_device *sdev,
 481                               struct block_device *bdev,
 482                               sector_t capacity, int geom[]);
 483 extern int ata_scsi_slave_config(struct scsi_device *sdev);
 484
 485 /*
 486  * Timing helpers
 487  */
 488 extern int ata_timing_compute(struct ata_device *, unsigned short,
 489                               struct ata_timing *, int, int);
 490 extern void ata_timing_merge(const struct ata_timing *,
 491                              const struct ata_timing *, struct ata_timing *,
 492                              unsigned int);
 493
 494 enum {
 495         ATA_TIMING_SETUP        = (1 << 0),
 496         ATA_TIMING_ACT8B        = (1 << 1),
 497         ATA_TIMING_REC8B        = (1 << 2),
 498         ATA_TIMING_CYC8B        = (1 << 3),
 499         ATA_TIMING_8BIT         = ATA_TIMING_ACT8B | ATA_TIMING_REC8B |
 500                                   ATA_TIMING_CYC8B,
 501         ATA_TIMING_ACTIVE       = (1 << 4),
 502         ATA_TIMING_RECOVER      = (1 << 5),
 503         ATA_TIMING_CYCLE        = (1 << 6),
 504         ATA_TIMING_UDMA         = (1 << 7),
 505         ATA_TIMING_ALL          = ATA_TIMING_SETUP | ATA_TIMING_ACT8B |
 506                                   ATA_TIMING_REC8B | ATA_TIMING_CYC8B |
 507                                   ATA_TIMING_ACTIVE | ATA_TIMING_RECOVER |
 508                                   ATA_TIMING_CYCLE | ATA_TIMING_UDMA,
 509 };
 510
 511
 512 #ifdef CONFIG_PCI
 513 struct pci_bits {
 514         unsigned int            reg;    /* PCI config register to read */
 515         unsigned int            width;  /* 1 (8 bit), 2 (16 bit), 4 (32 bit) */
 516         unsigned long           mask;
 517         unsigned long           val;
 518 };
 519
 520 extern void ata_pci_host_stop (struct ata_host_set *host_set);
 521 extern struct ata_probe_ent *
 522 ata_pci_init_native_mode(struct pci_dev *pdev, struct ata_port_info **port, int portmask);
 523 extern int pci_test_config_bits(struct pci_dev *pdev, const struct pci_bits *bits);
 524
 525 #endif /* CONFIG_PCI */
 526
 527
 528 static inline int
 529 ata_sg_is_last(struct scatterlist *sg, struct ata_queued_cmd *qc)
 530 {
 531         if (sg == &qc->pad_sgent)
 532                 return 1;
 533         if (qc->pad_len)
 534                 return 0;
 535         if (((sg - qc->__sg) + 1) == qc->n_elem)
 536                 return 1;
 537         return 0;
 538 }
 539
 540 static inline struct scatterlist *
 541 ata_qc_next_sg(struct scatterlist *sg, struct ata_queued_cmd *qc)
 542 {
 543         if (sg == &qc->pad_sgent)
 544                 return NULL;
 545         if (++sg - qc->__sg < qc->n_elem)
 546                 return sg;
 547         return qc->pad_len ? &qc->pad_sgent : NULL;
 548 }
 549
 550 #define ata_for_each_sg(sg, qc) \
 551         for (sg = qc->__sg; sg; sg = ata_qc_next_sg(sg, qc))
 552
 553 static inline unsigned int ata_tag_valid(unsigned int tag)
 554 {
 555         return (tag < ATA_MAX_QUEUE) ? 1 : 0;
 556 }
 557
 558 static inline unsigned int ata_dev_present(const struct ata_device *dev)
 559 {
 560         return ((dev->class == ATA_DEV_ATA) ||
 561                 (dev->class == ATA_DEV_ATAPI));
 562 }
 563
 564 static inline u8 ata_chk_status(struct ata_port *ap)
 565 {
 566         return ap->ops->check_status(ap);
 567 }
 568
 569
 570 /**
 571  *      ata_pause - Flush writes and pause 400 nanoseconds.
 572  *      @ap: Port to wait for.
 573  *
 574  *      LOCKING:
 575  *      Inherited from caller.
 576  */
 577
 578 static inline void ata_pause(struct ata_port *ap)
 579 {
 580         ata_altstatus(ap);
 581         ndelay(400);
 582 }
 583
 584
 585 /**
 586  *      ata_busy_wait - Wait for a port status register
 587  *      @ap: Port to wait for.
 588  *
 589  *      Waits up to max*10 microseconds for the selected bits in the port's
 590  *      status register to be cleared.
 591  *      Returns final value of status register.
 592  *
 593  *      LOCKING:
 594  *      Inherited from caller.
 595  */
 596
 597 static inline u8 ata_busy_wait(struct ata_port *ap, unsigned int bits,
 598                                unsigned int max)
 599 {
 600         u8 status;
 601
 602         do {
 603                 udelay(10);
 604                 status = ata_chk_status(ap);
 605                 max--;
 606         } while ((status & bits) && (max > 0));
 607
 608         return status;
 609 }
 610
 611
 612 /**
 613  *      ata_wait_idle - Wait for a port to be idle.
 614  *      @ap: Port to wait for.
 615  *
 616  *      Waits up to 10ms for port's BUSY and DRQ signals to clear.
 617  *      Returns final value of status register.
 618  *
 619  *      LOCKING:
 620  *      Inherited from caller.
 621  */
 622
 623 static inline u8 ata_wait_idle(struct ata_port *ap)
 624 {
 625         u8 status = ata_busy_wait(ap, ATA_BUSY | ATA_DRQ, 1000);
 626
 627         if (status & (ATA_BUSY | ATA_DRQ)) {
 628                 unsigned long l = ap->ioaddr.status_addr;
 629                 printk(KERN_WARNING
 630                        "ATA: abnormal status 0x%X on port 0x%lX\n",
 631                        status, l);
 632         }
 633
 634         return status;
 635 }
 636
 637 static inline void ata_qc_set_polling(struct ata_queued_cmd *qc)
 638 {
 639         qc->tf.ctl |= ATA_NIEN;
 640 }
 641
 642 static inline struct ata_queued_cmd *ata_qc_from_tag (struct ata_port *ap,
 643                                                       unsigned int tag)
 644 {
 645         if (likely(ata_tag_valid(tag)))
 646                 return &ap->qcmd[tag];
 647         return NULL;
 648 }
 649
 650 static inline void ata_tf_init(struct ata_port *ap, struct ata_taskfile *tf, unsigned int device)
 651 {
 652         memset(tf, 0, sizeof(*tf));
 653
 654         tf->ctl = ap->ctl;
 655         if (device == 0)
 656                 tf->device = ATA_DEVICE_OBS;
 657         else
 658                 tf->device = ATA_DEVICE_OBS | ATA_DEV1;
 659 }
 660
 661
 662 /**
 663  *      ata_irq_on - Enable interrupts on a port.
 664  *      @ap: Port on which interrupts are enabled.
 665  *
 666  *      Enable interrupts on a legacy IDE device using MMIO or PIO,
 667  *      wait for idle, clear any pending interrupts.
 668  *
 669  *      LOCKING:
 670  *      Inherited from caller.
 671  */
 672
 673 static inline u8 ata_irq_on(struct ata_port *ap)
 674 {
 675         struct ata_ioports *ioaddr = &ap->ioaddr;
 676         u8 tmp;
 677
 678         ap->ctl &= ~ATA_NIEN;
 679         ap->last_ctl = ap->ctl;
 680
 681         if (ap->flags & ATA_FLAG_MMIO)
 682                 writeb(ap->ctl, (void __iomem *) ioaddr->ctl_addr);
 683         else
 684                 outb(ap->ctl, ioaddr->ctl_addr);
 685         tmp = ata_wait_idle(ap);
 686
 687         ap->ops->irq_clear(ap);
 688
 689         return tmp;
 690 }
 691
 692
 693 /**
 694  *      ata_irq_ack - Acknowledge a device interrupt.
 695  *      @ap: Port on which interrupts are enabled.
 696  *
 697  *      Wait up to 10 ms for legacy IDE device to become idle (BUSY
 698  *      or BUSY+DRQ clear).  Obtain dma status and port status from
 699  *      device.  Clear the interrupt.  Return port status.
 700  *
 701  *      LOCKING:
 702  */
 703
 704 static inline u8 ata_irq_ack(struct ata_port *ap, unsigned int chk_drq)
 705 {
 706         unsigned int bits = chk_drq ? ATA_BUSY | ATA_DRQ : ATA_BUSY;
 707         u8 host_stat, post_stat, status;
 708
 709         status = ata_busy_wait(ap, bits, 1000);
 710         if (status & bits)
 711                 DPRINTK("abnormal status 0x%X\n", status);
 712
 713         /* get controller status; clear intr, err bits */
 714         if (ap->flags & ATA_FLAG_MMIO) {
 715                 void __iomem *mmio = (void __iomem *) ap->ioaddr.bmdma_addr;
 716                 host_stat = readb(mmio + ATA_DMA_STATUS);
 717                 writeb(host_stat | ATA_DMA_INTR | ATA_DMA_ERR,
 718                        mmio + ATA_DMA_STATUS);
 719
 720                 post_stat = readb(mmio + ATA_DMA_STATUS);
 721         } else {
 722                 host_stat = inb(ap->ioaddr.bmdma_addr + ATA_DMA_STATUS);
 723                 outb(host_stat | ATA_DMA_INTR | ATA_DMA_ERR,
 724                      ap->ioaddr.bmdma_addr + ATA_DMA_STATUS);
 725
 726                 post_stat = inb(ap->ioaddr.bmdma_addr + ATA_DMA_STATUS);
 727         }
 728
 729         VPRINTK("irq ack: host_stat 0x%X, new host_stat 0x%X, drv_stat 0x%X\n",
 730                 host_stat, post_stat, status);
 731
 732         return status;
 733 }
 734
 735 static inline u32 scr_read(struct ata_port *ap, unsigned int reg)
 736 {
 737         return ap->ops->scr_read(ap, reg);
 738 }
 739
 740 static inline void scr_write(struct ata_port *ap, unsigned int reg, u32 val)
 741 {
 742         ap->ops->scr_write(ap, reg, val);
 743 }
 744
 745 static inline void scr_write_flush(struct ata_port *ap, unsigned int reg,
 746                                    u32 val)
 747 {
 748         ap->ops->scr_write(ap, reg, val);
 749         (void) ap->ops->scr_read(ap, reg);
 750 }
 751
 752 static inline unsigned int sata_dev_present(struct ata_port *ap)
 753 {
 754         return ((scr_read(ap, SCR_STATUS) & 0xf) == 0x3) ? 1 : 0;
 755 }
 756
 757 static inline int ata_try_flush_cache(const struct ata_device *dev)
 758 {
 759         return ata_id_wcache_enabled(dev->id) ||
 760                ata_id_has_flush(dev->id) ||
 761                ata_id_has_flush_ext(dev->id);
 762 }
 763
 764 static inline unsigned int ac_err_mask(u8 status)
 765 {
 766         if (status & ATA_BUSY)
 767                 return AC_ERR_ATA_BUS;
 768         if (status & (ATA_ERR | ATA_DF))
 769                 return AC_ERR_DEV;
 770         return 0;
 771 }
 772
 773 static inline unsigned int __ac_err_mask(u8 status)
 774 {
 775         unsigned int mask = ac_err_mask(status);
 776         if (mask == 0)
 777                 return AC_ERR_OTHER;
 778         return mask;
 779 }
 780
 781 static inline int ata_pad_alloc(struct ata_port *ap, struct device *dev)
 782 {
 783         ap->pad_dma = 0;
 784         ap->pad = dma_alloc_coherent(dev, ATA_DMA_PAD_BUF_SZ,
 785                                      &ap->pad_dma, GFP_KERNEL);
 786         return (ap->pad == NULL) ? -ENOMEM : 0;
 787 }
 788
 789 static inline void ata_pad_free(struct ata_port *ap, struct device *dev)
 790 {
 791         dma_free_coherent(dev, ATA_DMA_PAD_BUF_SZ, ap->pad, ap->pad_dma);
 792 }
 793
 794 #endif /* __LINUX_LIBATA_H__ */