drivers/scsi/scsi_tgt_lib.c

   1 /*
   2  * SCSI target lib functions
   3  *
   4  * Copyright (C) 2005 Mike Christie <michaelc@cs.wisc.edu>
   5  * Copyright (C) 2005 FUJITA Tomonori <tomof@acm.org>
   6  *
   7  * This program is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License as
   9  * published by the Free Software Foundation; either version 2 of the
  10  * License, or (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with this program; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA
  20  * 02110-1301 USA
  21  */
  22 #include <linux/blkdev.h>
  23 #include <linux/hash.h>
  24 #include <linux/module.h>
  25 #include <linux/pagemap.h>
  26 #include <scsi/scsi.h>
  27 #include <scsi/scsi_cmnd.h>
  28 #include <scsi/scsi_device.h>
  29 #include <scsi/scsi_host.h>
  30 #include <scsi/scsi_tgt.h>
  31
  32 #include "scsi_tgt_priv.h"
  33
  34 static struct workqueue_struct *scsi_tgtd;
  35 static struct kmem_cache *scsi_tgt_cmd_cache;
  36
  37 /*
  38  * TODO: this struct will be killed when the block layer supports large bios
  39  * and James's work struct code is in
  40  */
  41 struct scsi_tgt_cmd {
  42         /* TODO replace work with James b's code */
  43         struct work_struct work;
  44         /* TODO fix limits of some drivers */
  45         struct bio *bio;
  46
  47         struct list_head hash_list;
  48         struct request *rq;
  49         u64 tag;
  50 };
  51
  52 #define TGT_HASH_ORDER  4
  53 #define cmd_hashfn(tag) hash_long((unsigned long) (tag), TGT_HASH_ORDER)
  54
  55 struct scsi_tgt_queuedata {
  56         struct Scsi_Host *shost;
  57         struct list_head cmd_hash[1 << TGT_HASH_ORDER];
  58         spinlock_t cmd_hash_lock;
  59 };
  60
  61 /*
  62  * Function:    scsi_host_get_command()
  63  *
  64  * Purpose:     Allocate and setup a scsi command block and blk request
  65  *
  66  * Arguments:   shost   - scsi host
  67  *              data_dir - dma data dir
  68  *              gfp_mask- allocator flags
  69  *
  70  * Returns:     The allocated scsi command structure.
  71  *
  72  * This should be called by target LLDs to get a command.
  73  */
  74 struct scsi_cmnd *scsi_host_get_command(struct Scsi_Host *shost,
  75                                         enum dma_data_direction data_dir,
  76                                         gfp_t gfp_mask)
  77 {
  78         int write = (data_dir == DMA_TO_DEVICE);
  79         struct request *rq;
  80         struct scsi_cmnd *cmd;
  81         struct scsi_tgt_cmd *tcmd;
  82
  83         /* Bail if we can't get a reference to the device */
  84         if (!get_device(&shost->shost_gendev))
  85                 return NULL;
  86
  87         tcmd = kmem_cache_alloc(scsi_tgt_cmd_cache, GFP_ATOMIC);
  88         if (!tcmd)
  89                 goto put_dev;
  90
  91         /*
  92          * The blk helpers are used to the READ/WRITE requests
  93          * transfering data from a initiator point of view. Since
  94          * we are in target mode we want the opposite.
  95          */
  96         rq = blk_get_request(shost->uspace_req_q, !write, gfp_mask);
  97         if (!rq)
  98                 goto free_tcmd;
  99
 100         cmd = __scsi_get_command(shost, gfp_mask);
 101         if (!cmd)
 102                 goto release_rq;
 103
 104         memset(cmd, 0, sizeof(*cmd));
 105         cmd->sc_data_direction = data_dir;
 106         cmd->jiffies_at_alloc = jiffies;
 107         cmd->request = rq;
 108
 109         rq->special = cmd;
 110         rq->cmd_type = REQ_TYPE_SPECIAL;
 111         rq->cmd_flags |= REQ_TYPE_BLOCK_PC;
 112         rq->end_io_data = tcmd;
 113
 114         tcmd->rq = rq;
 115
 116         return cmd;
 117
 118 release_rq:
 119         blk_put_request(rq);
 120 free_tcmd:
 121         kmem_cache_free(scsi_tgt_cmd_cache, tcmd);
 122 put_dev:
 123         put_device(&shost->shost_gendev);
 124         return NULL;
 125
 126 }
 127 EXPORT_SYMBOL_GPL(scsi_host_get_command);
 128
 129 /*
 130  * Function:    scsi_host_put_command()
 131  *
 132  * Purpose:     Free a scsi command block
 133  *
 134  * Arguments:   shost   - scsi host
 135  *              cmd     - command block to free
 136  *
 137  * Returns:     Nothing.
 138  *
 139  * Notes:       The command must not belong to any lists.
 140  */
 141 void scsi_host_put_command(struct Scsi_Host *shost, struct scsi_cmnd *cmd)
 142 {
 143         struct request_queue *q = shost->uspace_req_q;
 144         struct request *rq = cmd->request;
 145         struct scsi_tgt_cmd *tcmd = rq->end_io_data;
 146         unsigned long flags;
 147
 148         kmem_cache_free(scsi_tgt_cmd_cache, tcmd);
 149
 150         spin_lock_irqsave(q->queue_lock, flags);
 151         __blk_put_request(q, rq);
 152         spin_unlock_irqrestore(q->queue_lock, flags);
 153
 154         __scsi_put_command(shost, cmd, &shost->shost_gendev);
 155 }
 156 EXPORT_SYMBOL_GPL(scsi_host_put_command);
 157
 158 static void cmd_hashlist_del(struct scsi_cmnd *cmd)
 159 {
 160         struct request_queue *q = cmd->request->q;
 161         struct scsi_tgt_queuedata *qdata = q->queuedata;
 162         unsigned long flags;
 163         struct scsi_tgt_cmd *tcmd = cmd->request->end_io_data;
 164
 165         spin_lock_irqsave(&qdata->cmd_hash_lock, flags);
 166         list_del(&tcmd->hash_list);
 167         spin_unlock_irqrestore(&qdata->cmd_hash_lock, flags);
 168 }
 169
 170 static void scsi_unmap_user_pages(struct scsi_tgt_cmd *tcmd)
 171 {
 172         blk_rq_unmap_user(tcmd->bio);
 173 }
 174
 175 static void scsi_tgt_cmd_destroy(struct work_struct *work)
 176 {
 177         struct scsi_tgt_cmd *tcmd =
 178                 container_of(work, struct scsi_tgt_cmd, work);
 179         struct scsi_cmnd *cmd = tcmd->rq->special;
 180
 181         dprintk("cmd %p %d %lu\n", cmd, cmd->sc_data_direction,
 182                 rq_data_dir(cmd->request));
 183         scsi_unmap_user_pages(tcmd);
 184         scsi_host_put_command(scsi_tgt_cmd_to_host(cmd), cmd);
 185 }
 186
 187 static void init_scsi_tgt_cmd(struct request *rq, struct scsi_tgt_cmd *tcmd,
 188                               u64 tag)
 189 {
 190         struct scsi_tgt_queuedata *qdata = rq->q->queuedata;
 191         unsigned long flags;
 192         struct list_head *head;
 193
 194         tcmd->tag = tag;
 195         tcmd->bio = NULL;
 196         INIT_WORK(&tcmd->work, scsi_tgt_cmd_destroy);
 197         spin_lock_irqsave(&qdata->cmd_hash_lock, flags);
 198         head = &qdata->cmd_hash[cmd_hashfn(tag)];
 199         list_add(&tcmd->hash_list, head);
 200         spin_unlock_irqrestore(&qdata->cmd_hash_lock, flags);
 201 }
 202
 203 /*
 204  * scsi_tgt_alloc_queue - setup queue used for message passing
 205  * shost: scsi host
 206  *
 207  * This should be called by the LLD after host allocation.
 208  * And will be released when the host is released.
 209  */
 210 int scsi_tgt_alloc_queue(struct Scsi_Host *shost)
 211 {
 212         struct scsi_tgt_queuedata *queuedata;
 213         struct request_queue *q;
 214         int err, i;
 215
 216         /*
 217          * Do we need to send a netlink event or should uspace
 218          * just respond to the hotplug event?
 219          */
 220         q = __scsi_alloc_queue(shost, NULL);
 221         if (!q)
 222                 return -ENOMEM;
 223
 224         queuedata = kzalloc(sizeof(*queuedata), GFP_KERNEL);
 225         if (!queuedata) {
 226                 err = -ENOMEM;
 227                 goto cleanup_queue;
 228         }
 229         queuedata->shost = shost;
 230         q->queuedata = queuedata;
 231
 232         /*
 233          * this is a silly hack. We should probably just queue as many
 234          * command as is recvd to userspace. uspace can then make
 235          * sure we do not overload the HBA
 236          */
 237         q->nr_requests = shost->hostt->can_queue;
 238         /*
 239          * We currently only support software LLDs so this does
 240          * not matter for now. Do we need this for the cards we support?
 241          * If so we should make it a host template value.
 242          */
 243         blk_queue_dma_alignment(q, 0);
 244         shost->uspace_req_q = q;
 245
 246         for (i = 0; i < ARRAY_SIZE(queuedata->cmd_hash); i++)
 247                 INIT_LIST_HEAD(&queuedata->cmd_hash[i]);
 248         spin_lock_init(&queuedata->cmd_hash_lock);
 249
 250         return 0;
 251
 252 cleanup_queue:
 253         blk_cleanup_queue(q);
 254         return err;
 255 }
 256 EXPORT_SYMBOL_GPL(scsi_tgt_alloc_queue);
 257
 258 void scsi_tgt_free_queue(struct Scsi_Host *shost)
 259 {
 260         int i;
 261         unsigned long flags;
 262         struct request_queue *q = shost->uspace_req_q;
 263         struct scsi_cmnd *cmd;
 264         struct scsi_tgt_queuedata *qdata = q->queuedata;
 265         struct scsi_tgt_cmd *tcmd, *n;
 266         LIST_HEAD(cmds);
 267
 268         spin_lock_irqsave(&qdata->cmd_hash_lock, flags);
 269
 270         for (i = 0; i < ARRAY_SIZE(qdata->cmd_hash); i++) {
 271                 list_for_each_entry_safe(tcmd, n, &qdata->cmd_hash[i],
 272                                          hash_list) {
 273                         list_del(&tcmd->hash_list);
 274                         list_add(&tcmd->hash_list, &cmds);
 275                 }
 276         }
 277
 278         spin_unlock_irqrestore(&qdata->cmd_hash_lock, flags);
 279
 280         while (!list_empty(&cmds)) {
 281                 tcmd = list_entry(cmds.next, struct scsi_tgt_cmd, hash_list);
 282                 list_del(&tcmd->hash_list);
 283                 cmd = tcmd->rq->special;
 284
 285                 shost->hostt->eh_abort_handler(cmd);
 286                 scsi_tgt_cmd_destroy(&tcmd->work);
 287         }
 288 }
 289 EXPORT_SYMBOL_GPL(scsi_tgt_free_queue);
 290
 291 struct Scsi_Host *scsi_tgt_cmd_to_host(struct scsi_cmnd *cmd)
 292 {
 293         struct scsi_tgt_queuedata *queue = cmd->request->q->queuedata;
 294         return queue->shost;
 295 }
 296 EXPORT_SYMBOL_GPL(scsi_tgt_cmd_to_host);
 297
 298 /*
 299  * scsi_tgt_queue_command - queue command for userspace processing
 300  * @cmd:        scsi command
 301  * @scsilun:    scsi lun
 302  * @tag:        unique value to identify this command for tmf
 303  */
 304 int scsi_tgt_queue_command(struct scsi_cmnd *cmd, struct scsi_lun *scsilun,
 305                            u64 tag)
 306 {
 307         struct scsi_tgt_cmd *tcmd = cmd->request->end_io_data;
 308         int err;
 309
 310         init_scsi_tgt_cmd(cmd->request, tcmd, tag);
 311         err = scsi_tgt_uspace_send_cmd(cmd, scsilun, tag);
 312         if (err)
 313                 cmd_hashlist_del(cmd);
 314
 315         return err;
 316 }
 317 EXPORT_SYMBOL_GPL(scsi_tgt_queue_command);
 318
 319 /*
 320  * This is run from a interrpt handler normally and the unmap
 321  * needs process context so we must queue
 322  */
 323 static void scsi_tgt_cmd_done(struct scsi_cmnd *cmd)
 324 {
 325         struct scsi_tgt_cmd *tcmd = cmd->request->end_io_data;
 326
 327         dprintk("cmd %p %lu\n", cmd, rq_data_dir(cmd->request));
 328
 329         scsi_tgt_uspace_send_status(cmd, tcmd->tag);
 330
 331         if (cmd->request_buffer)
 332                 scsi_free_sgtable(cmd->request_buffer, cmd->sglist_len);
 333
 334         queue_work(scsi_tgtd, &tcmd->work);
 335 }
 336
 337 static int scsi_tgt_transfer_response(struct scsi_cmnd *cmd)
 338 {
 339         struct Scsi_Host *shost = scsi_tgt_cmd_to_host(cmd);
 340         int err;
 341
 342         dprintk("cmd %p %lu\n", cmd, rq_data_dir(cmd->request));
 343
 344         err = shost->hostt->transfer_response(cmd, scsi_tgt_cmd_done);
 345         switch (err) {
 346         case SCSI_MLQUEUE_HOST_BUSY:
 347         case SCSI_MLQUEUE_DEVICE_BUSY:
 348                 return -EAGAIN;
 349         }
 350         return 0;
 351 }
 352
 353 static int scsi_tgt_init_cmd(struct scsi_cmnd *cmd, gfp_t gfp_mask)
 354 {
 355         struct request *rq = cmd->request;
 356         int count;
 357
 358         cmd->use_sg = rq->nr_phys_segments;
 359         cmd->request_buffer = scsi_alloc_sgtable(cmd, gfp_mask);
 360         if (!cmd->request_buffer)
 361                 return -ENOMEM;
 362
 363         cmd->request_bufflen = rq->data_len;
 364
 365         dprintk("cmd %p cnt %d %lu\n", cmd, cmd->use_sg, rq_data_dir(rq));
 366         count = blk_rq_map_sg(rq->q, rq, cmd->request_buffer);
 367         if (likely(count <= cmd->use_sg)) {
 368                 cmd->use_sg = count;
 369                 return 0;
 370         }
 371
 372         eprintk("cmd %p cnt %d\n", cmd, cmd->use_sg);
 373         scsi_free_sgtable(cmd->request_buffer, cmd->sglist_len);
 374         return -EINVAL;
 375 }
 376
 377 /* TODO: test this crap and replace bio_map_user with new interface maybe */
 378 static int scsi_map_user_pages(struct scsi_tgt_cmd *tcmd, struct scsi_cmnd *cmd,
 379                                unsigned long uaddr, unsigned int len, int rw)
 380 {
 381         struct request_queue *q = cmd->request->q;
 382         struct request *rq = cmd->request;
 383         int err;
 384
 385         dprintk("%lx %u\n", uaddr, len);
 386         err = blk_rq_map_user(q, rq, (void *)uaddr, len);
 387         if (err) {
 388                 /*
 389                  * TODO: need to fixup sg_tablesize, max_segment_size,
 390                  * max_sectors, etc for modern HW and software drivers
 391                  * where this value is bogus.
 392                  *
 393                  * TODO2: we can alloc a reserve buffer of max size
 394                  * we can handle and do the slow copy path for really large
 395                  * IO.
 396                  */
 397                 eprintk("Could not handle request of size %u.\n", len);
 398                 return err;
 399         }
 400
 401         tcmd->bio = rq->bio;
 402         err = scsi_tgt_init_cmd(cmd, GFP_KERNEL);
 403         if (err)
 404                 goto unmap_rq;
 405
 406         return 0;
 407
 408 unmap_rq:
 409         scsi_unmap_user_pages(tcmd);
 410         return err;
 411 }
 412
 413 static int scsi_tgt_copy_sense(struct scsi_cmnd *cmd, unsigned long uaddr,
 414                                 unsigned len)
 415 {
 416         char __user *p = (char __user *) uaddr;
 417
 418         if (copy_from_user(cmd->sense_buffer, p,
 419                            min_t(unsigned, SCSI_SENSE_BUFFERSIZE, len))) {
 420                 printk(KERN_ERR "Could not copy the sense buffer\n");
 421                 return -EIO;
 422         }
 423         return 0;
 424 }
 425
 426 static int scsi_tgt_abort_cmd(struct Scsi_Host *shost, struct scsi_cmnd *cmd)
 427 {
 428         struct scsi_tgt_cmd *tcmd;
 429         int err;
 430
 431         err = shost->hostt->eh_abort_handler(cmd);
 432         if (err)
 433                 eprintk("fail to abort %p\n", cmd);
 434
 435         tcmd = cmd->request->end_io_data;
 436         scsi_tgt_cmd_destroy(&tcmd->work);
 437         return err;
 438 }
 439
 440 static struct request *tgt_cmd_hash_lookup(struct request_queue *q, u64 tag)
 441 {
 442         struct scsi_tgt_queuedata *qdata = q->queuedata;
 443         struct request *rq = NULL;
 444         struct list_head *head;
 445         struct scsi_tgt_cmd *tcmd;
 446         unsigned long flags;
 447
 448         head = &qdata->cmd_hash[cmd_hashfn(tag)];
 449         spin_lock_irqsave(&qdata->cmd_hash_lock, flags);
 450         list_for_each_entry(tcmd, head, hash_list) {
 451                 if (tcmd->tag == tag) {
 452                         rq = tcmd->rq;
 453                         list_del(&tcmd->hash_list);
 454                         break;
 455                 }
 456         }
 457         spin_unlock_irqrestore(&qdata->cmd_hash_lock, flags);
 458
 459         return rq;
 460 }
 461
 462 int scsi_tgt_kspace_exec(int host_no, int result, u64 tag,
 463                          unsigned long uaddr, u32 len, unsigned long sense_uaddr,
 464                          u32 sense_len, u8 rw)
 465 {
 466         struct Scsi_Host *shost;
 467         struct scsi_cmnd *cmd;
 468         struct request *rq;
 469         struct scsi_tgt_cmd *tcmd;
 470         int err = 0;
 471
 472         dprintk("%d %llu %d %u %lx %u\n", host_no, (unsigned long long) tag,
 473                 result, len, uaddr, rw);
 474
 475         /* TODO: replace with a O(1) alg */
 476         shost = scsi_host_lookup(host_no);
 477         if (IS_ERR(shost)) {
 478                 printk(KERN_ERR "Could not find host no %d\n", host_no);
 479                 return -EINVAL;
 480         }
 481
 482         if (!shost->uspace_req_q) {
 483                 printk(KERN_ERR "Not target scsi host %d\n", host_no);
 484                 goto done;
 485         }
 486
 487         rq = tgt_cmd_hash_lookup(shost->uspace_req_q, tag);
 488         if (!rq) {
 489                 printk(KERN_ERR "Could not find tag %llu\n",
 490                        (unsigned long long) tag);
 491                 err = -EINVAL;
 492                 goto done;
 493         }
 494         cmd = rq->special;
 495
 496         dprintk("cmd %p scb %x result %d len %d bufflen %u %lu %x\n",
 497                 cmd, cmd->cmnd[0], result, len, cmd->request_bufflen,
 498                 rq_data_dir(rq), cmd->cmnd[0]);
 499
 500         if (result == TASK_ABORTED) {
 501                 scsi_tgt_abort_cmd(shost, cmd);
 502                 goto done;
 503         }
 504         /*
 505          * store the userspace values here, the working values are
 506          * in the request_* values
 507          */
 508         tcmd = cmd->request->end_io_data;
 509         cmd->result = result;
 510
 511         if (cmd->result == SAM_STAT_CHECK_CONDITION)
 512                 scsi_tgt_copy_sense(cmd, sense_uaddr, sense_len);
 513
 514         if (len) {
 515                 err = scsi_map_user_pages(rq->end_io_data, cmd, uaddr, len, rw);
 516                 if (err) {
 517                         /*
 518                          * user-space daemon bugs or OOM
 519                          * TODO: we can do better for OOM.
 520                          */
 521                         struct scsi_tgt_queuedata *qdata;
 522                         struct list_head *head;
 523                         unsigned long flags;
 524
 525                         eprintk("cmd %p ret %d uaddr %lx len %d rw %d\n",
 526                                 cmd, err, uaddr, len, rw);
 527
 528                         qdata = shost->uspace_req_q->queuedata;
 529                         head = &qdata->cmd_hash[cmd_hashfn(tcmd->tag)];
 530
 531                         spin_lock_irqsave(&qdata->cmd_hash_lock, flags);
 532                         list_add(&tcmd->hash_list, head);
 533                         spin_unlock_irqrestore(&qdata->cmd_hash_lock, flags);
 534
 535                         goto done;
 536                 }
 537         }
 538         err = scsi_tgt_transfer_response(cmd);
 539 done:
 540         scsi_host_put(shost);
 541         return err;
 542 }
 543
 544 int scsi_tgt_tsk_mgmt_request(struct Scsi_Host *shost, int function, u64 tag,
 545                               struct scsi_lun *scsilun, void *data)
 546 {
 547         int err;
 548
 549         /* TODO: need to retry if this fails. */
 550         err = scsi_tgt_uspace_send_tsk_mgmt(shost->host_no, function,
 551                                             tag, scsilun, data);
 552         if (err < 0)
 553                 eprintk("The task management request lost!\n");
 554         return err;
 555 }
 556 EXPORT_SYMBOL_GPL(scsi_tgt_tsk_mgmt_request);
 557
 558 int scsi_tgt_kspace_tsk_mgmt(int host_no, u64 mid, int result)
 559 {
 560         struct Scsi_Host *shost;
 561         int err = -EINVAL;
 562
 563         dprintk("%d %d %llx\n", host_no, result, (unsigned long long) mid);
 564
 565         shost = scsi_host_lookup(host_no);
 566         if (IS_ERR(shost)) {
 567                 printk(KERN_ERR "Could not find host no %d\n", host_no);
 568                 return err;
 569         }
 570
 571         if (!shost->uspace_req_q) {
 572                 printk(KERN_ERR "Not target scsi host %d\n", host_no);
 573                 goto done;
 574         }
 575
 576         err = shost->hostt->tsk_mgmt_response(mid, result);
 577 done:
 578         scsi_host_put(shost);
 579         return err;
 580 }
 581
 582 static int __init scsi_tgt_init(void)
 583 {
 584         int err;
 585
 586         scsi_tgt_cmd_cache = kmem_cache_create("scsi_tgt_cmd",
 587                                                sizeof(struct scsi_tgt_cmd),
 588                                                0, 0, NULL, NULL);
 589         if (!scsi_tgt_cmd_cache)
 590                 return -ENOMEM;
 591
 592         scsi_tgtd = create_workqueue("scsi_tgtd");
 593         if (!scsi_tgtd) {
 594                 err = -ENOMEM;
 595                 goto free_kmemcache;
 596         }
 597
 598         err = scsi_tgt_if_init();
 599         if (err)
 600                 goto destroy_wq;
 601
 602         return 0;
 603
 604 destroy_wq:
 605         destroy_workqueue(scsi_tgtd);
 606 free_kmemcache:
 607         kmem_cache_destroy(scsi_tgt_cmd_cache);
 608         return err;
 609 }
 610
 611 static void __exit scsi_tgt_exit(void)
 612 {
 613         destroy_workqueue(scsi_tgtd);
 614         scsi_tgt_if_exit();
 615         kmem_cache_destroy(scsi_tgt_cmd_cache);
 616 }
 617
 618 module_init(scsi_tgt_init);
 619 module_exit(scsi_tgt_exit);
 620
 621 MODULE_DESCRIPTION("SCSI target core");
 622 MODULE_LICENSE("GPL");