arch/x86/kernel/ftrace.c

   1 /*
   2  * Code for replacing ftrace calls with jumps.
   3  *
   4  * Copyright (C) 2007-2008 Steven Rostedt <srostedt@redhat.com>
   5  *
   6  * Thanks goes to Ingo Molnar, for suggesting the idea.
   7  * Mathieu Desnoyers, for suggesting postponing the modifications.
   8  * Arjan van de Ven, for keeping me straight, and explaining to me
   9  * the dangers of modifying code on the run.
  10  */
  11
  12 #include <linux/spinlock.h>
  13 #include <linux/hardirq.h>
  14 #include <linux/uaccess.h>
  15 #include <linux/ftrace.h>
  16 #include <linux/percpu.h>
  17 #include <linux/sched.h>
  18 #include <linux/init.h>
  19 #include <linux/list.h>
  20
  21 #include <asm/cacheflush.h>
  22 #include <asm/ftrace.h>
  23 #include <linux/ftrace.h>
  24 #include <asm/nops.h>
  25 #include <asm/nmi.h>
  26
  27
  28 #ifdef CONFIG_DYNAMIC_FTRACE
  29
  30 int ftrace_arch_code_modify_prepare(void)
  31 {
  32         set_kernel_text_rw();
  33         return 0;
  34 }
  35
  36 int ftrace_arch_code_modify_post_process(void)
  37 {
  38         set_kernel_text_ro();
  39         return 0;
  40 }
  41
  42 union ftrace_code_union {
  43         char code[MCOUNT_INSN_SIZE];
  44         struct {
  45                 char e8;
  46                 int offset;
  47         } __attribute__((packed));
  48 };
  49
  50 static int ftrace_calc_offset(long ip, long addr)
  51 {
  52         return (int)(addr - ip);
  53 }
  54
  55 static unsigned char *ftrace_call_replace(unsigned long ip, unsigned long addr)
  56 {
  57         static union ftrace_code_union calc;
  58
  59         calc.e8         = 0xe8;
  60         calc.offset     = ftrace_calc_offset(ip + MCOUNT_INSN_SIZE, addr);
  61
  62         /*
  63          * No locking needed, this must be called via kstop_machine
  64          * which in essence is like running on a uniprocessor machine.
  65          */
  66         return calc.code;
  67 }
  68
  69 /*
  70  * Modifying code must take extra care. On an SMP machine, if
  71  * the code being modified is also being executed on another CPU
  72  * that CPU will have undefined results and possibly take a GPF.
  73  * We use kstop_machine to stop other CPUS from exectuing code.
  74  * But this does not stop NMIs from happening. We still need
  75  * to protect against that. We separate out the modification of
  76  * the code to take care of this.
  77  *
  78  * Two buffers are added: An IP buffer and a "code" buffer.
  79  *
  80  * 1) Put the instruction pointer into the IP buffer
  81  *    and the new code into the "code" buffer.
  82  * 2) Set a flag that says we are modifying code
  83  * 3) Wait for any running NMIs to finish.
  84  * 4) Write the code
  85  * 5) clear the flag.
  86  * 6) Wait for any running NMIs to finish.
  87  *
  88  * If an NMI is executed, the first thing it does is to call
  89  * "ftrace_nmi_enter". This will check if the flag is set to write
  90  * and if it is, it will write what is in the IP and "code" buffers.
  91  *
  92  * The trick is, it does not matter if everyone is writing the same
  93  * content to the code location. Also, if a CPU is executing code
  94  * it is OK to write to that code location if the contents being written
  95  * are the same as what exists.
  96  */
  97
  98 static atomic_t nmi_running = ATOMIC_INIT(0);
  99 static int mod_code_status;             /* holds return value of text write */
 100 static int mod_code_write;              /* set when NMI should do the write */
 101 static void *mod_code_ip;               /* holds the IP to write to */
 102 static void *mod_code_newcode;          /* holds the text to write to the IP */
 103
 104 static unsigned nmi_wait_count;
 105 static atomic_t nmi_update_count = ATOMIC_INIT(0);
 106
 107 int ftrace_arch_read_dyn_info(char *buf, int size)
 108 {
 109         int r;
 110
 111         r = snprintf(buf, size, "%u %u",
 112                      nmi_wait_count,
 113                      atomic_read(&nmi_update_count));
 114         return r;
 115 }
 116
 117 static void ftrace_mod_code(void)
 118 {
 119         /*
 120          * Yes, more than one CPU process can be writing to mod_code_status.
 121          *    (and the code itself)
 122          * But if one were to fail, then they all should, and if one were
 123          * to succeed, then they all should.
 124          */
 125         mod_code_status = probe_kernel_write(mod_code_ip, mod_code_newcode,
 126                                              MCOUNT_INSN_SIZE);
 127
 128         /* if we fail, then kill any new writers */
 129         if (mod_code_status)
 130                 mod_code_write = 0;
 131 }
 132
 133 void ftrace_nmi_enter(void)
 134 {
 135         atomic_inc(&nmi_running);
 136         /* Must have nmi_running seen before reading write flag */
 137         smp_mb();
 138         if (mod_code_write) {
 139                 ftrace_mod_code();
 140                 atomic_inc(&nmi_update_count);
 141         }
 142 }
 143
 144 void ftrace_nmi_exit(void)
 145 {
 146         /* Finish all executions before clearing nmi_running */
 147         smp_wmb();
 148         atomic_dec(&nmi_running);
 149 }
 150
 151 static void wait_for_nmi(void)
 152 {
 153         if (!atomic_read(&nmi_running))
 154                 return;
 155
 156         do {
 157                 cpu_relax();
 158         } while (atomic_read(&nmi_running));
 159
 160         nmi_wait_count++;
 161 }
 162
 163 static int
 164 do_ftrace_mod_code(unsigned long ip, void *new_code)
 165 {
 166         mod_code_ip = (void *)ip;
 167         mod_code_newcode = new_code;
 168
 169         /* The buffers need to be visible before we let NMIs write them */
 170         smp_wmb();
 171
 172         mod_code_write = 1;
 173
 174         /* Make sure write bit is visible before we wait on NMIs */
 175         smp_mb();
 176
 177         wait_for_nmi();
 178
 179         /* Make sure all running NMIs have finished before we write the code */
 180         smp_mb();
 181
 182         ftrace_mod_code();
 183
 184         /* Make sure the write happens before clearing the bit */
 185         smp_wmb();
 186
 187         mod_code_write = 0;
 188
 189         /* make sure NMIs see the cleared bit */
 190         smp_mb();
 191
 192         wait_for_nmi();
 193
 194         return mod_code_status;
 195 }
 196
 197
 198
 199
 200 static unsigned char ftrace_nop[MCOUNT_INSN_SIZE];
 201
 202 static unsigned char *ftrace_nop_replace(void)
 203 {
 204         return ftrace_nop;
 205 }
 206
 207 static int
 208 ftrace_modify_code(unsigned long ip, unsigned char *old_code,
 209                    unsigned char *new_code)
 210 {
 211         unsigned char replaced[MCOUNT_INSN_SIZE];
 212
 213         /*
 214          * Note: Due to modules and __init, code can
 215          *  disappear and change, we need to protect against faulting
 216          *  as well as code changing. We do this by using the
 217          *  probe_kernel_* functions.
 218          *
 219          * No real locking needed, this code is run through
 220          * kstop_machine, or before SMP starts.
 221          */
 222
 223         /* read the text we want to modify */
 224         if (probe_kernel_read(replaced, (void *)ip, MCOUNT_INSN_SIZE))
 225                 return -EFAULT;
 226
 227         /* Make sure it is what we expect it to be */
 228         if (memcmp(replaced, old_code, MCOUNT_INSN_SIZE) != 0)
 229                 return -EINVAL;
 230
 231         /* replace the text with the new text */
 232         if (do_ftrace_mod_code(ip, new_code))
 233                 return -EPERM;
 234
 235         sync_core();
 236
 237         return 0;
 238 }
 239
 240 int ftrace_make_nop(struct module *mod,
 241                     struct dyn_ftrace *rec, unsigned long addr)
 242 {
 243         unsigned char *new, *old;
 244         unsigned long ip = rec->ip;
 245
 246         old = ftrace_call_replace(ip, addr);
 247         new = ftrace_nop_replace();
 248
 249         return ftrace_modify_code(rec->ip, old, new);
 250 }
 251
 252 int ftrace_make_call(struct dyn_ftrace *rec, unsigned long addr)
 253 {
 254         unsigned char *new, *old;
 255         unsigned long ip = rec->ip;
 256
 257         old = ftrace_nop_replace();
 258         new = ftrace_call_replace(ip, addr);
 259
 260         return ftrace_modify_code(rec->ip, old, new);
 261 }
 262
 263 int ftrace_update_ftrace_func(ftrace_func_t func)
 264 {
 265         unsigned long ip = (unsigned long)(&ftrace_call);
 266         unsigned char old[MCOUNT_INSN_SIZE], *new;
 267         int ret;
 268
 269         memcpy(old, &ftrace_call, MCOUNT_INSN_SIZE);
 270         new = ftrace_call_replace(ip, (unsigned long)func);
 271         ret = ftrace_modify_code(ip, old, new);
 272
 273         return ret;
 274 }
 275
 276 int __init ftrace_dyn_arch_init(void *data)
 277 {
 278         extern const unsigned char ftrace_test_p6nop[];
 279         extern const unsigned char ftrace_test_nop5[];
 280         extern const unsigned char ftrace_test_jmp[];
 281         int faulted = 0;
 282
 283         /*
 284          * There is no good nop for all x86 archs.
 285          * We will default to using the P6_NOP5, but first we
 286          * will test to make sure that the nop will actually
 287          * work on this CPU. If it faults, we will then
 288          * go to a lesser efficient 5 byte nop. If that fails
 289          * we then just use a jmp as our nop. This isn't the most
 290          * efficient nop, but we can not use a multi part nop
 291          * since we would then risk being preempted in the middle
 292          * of that nop, and if we enabled tracing then, it might
 293          * cause a system crash.
 294          *
 295          * TODO: check the cpuid to determine the best nop.
 296          */
 297         asm volatile (
 298                 "ftrace_test_jmp:"
 299                 "jmp ftrace_test_p6nop\n"
 300                 "nop\n"
 301                 "nop\n"
 302                 "nop\n"  /* 2 byte jmp + 3 bytes */
 303                 "ftrace_test_p6nop:"
 304                 P6_NOP5
 305                 "jmp 1f\n"
 306                 "ftrace_test_nop5:"
 307                 ".byte 0x66,0x66,0x66,0x66,0x90\n"
 308                 "1:"
 309                 ".section .fixup, \"ax\"\n"
 310                 "2:     movl $1, %0\n"
 311                 "       jmp ftrace_test_nop5\n"
 312                 "3:     movl $2, %0\n"
 313                 "       jmp 1b\n"
 314                 ".previous\n"
 315                 _ASM_EXTABLE(ftrace_test_p6nop, 2b)
 316                 _ASM_EXTABLE(ftrace_test_nop5, 3b)
 317                 : "=r"(faulted) : "0" (faulted));
 318
 319         switch (faulted) {
 320         case 0:
 321                 pr_info("ftrace: converting mcount calls to 0f 1f 44 00 00\n");
 322                 memcpy(ftrace_nop, ftrace_test_p6nop, MCOUNT_INSN_SIZE);
 323                 break;
 324         case 1:
 325                 pr_info("ftrace: converting mcount calls to 66 66 66 66 90\n");
 326                 memcpy(ftrace_nop, ftrace_test_nop5, MCOUNT_INSN_SIZE);
 327                 break;
 328         case 2:
 329                 pr_info("ftrace: converting mcount calls to jmp . + 5\n");
 330                 memcpy(ftrace_nop, ftrace_test_jmp, MCOUNT_INSN_SIZE);
 331                 break;
 332         }
 333
 334         /* The return code is retured via data */
 335         *(unsigned long *)data = 0;
 336
 337         return 0;
 338 }
 339 #endif
 340
 341 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
 342
 343 #ifdef CONFIG_DYNAMIC_FTRACE
 344 extern void ftrace_graph_call(void);
 345
 346 static int ftrace_mod_jmp(unsigned long ip,
 347                           int old_offset, int new_offset)
 348 {
 349         unsigned char code[MCOUNT_INSN_SIZE];
 350
 351         if (probe_kernel_read(code, (void *)ip, MCOUNT_INSN_SIZE))
 352                 return -EFAULT;
 353
 354         if (code[0] != 0xe9 || old_offset != *(int *)(&code[1]))
 355                 return -EINVAL;
 356
 357         *(int *)(&code[1]) = new_offset;
 358
 359         if (do_ftrace_mod_code(ip, &code))
 360                 return -EPERM;
 361
 362         return 0;
 363 }
 364
 365 int ftrace_enable_ftrace_graph_caller(void)
 366 {
 367         unsigned long ip = (unsigned long)(&ftrace_graph_call);
 368         int old_offset, new_offset;
 369
 370         old_offset = (unsigned long)(&ftrace_stub) - (ip + MCOUNT_INSN_SIZE);
 371         new_offset = (unsigned long)(&ftrace_graph_caller) - (ip + MCOUNT_INSN_SIZE);
 372
 373         return ftrace_mod_jmp(ip, old_offset, new_offset);
 374 }
 375
 376 int ftrace_disable_ftrace_graph_caller(void)
 377 {
 378         unsigned long ip = (unsigned long)(&ftrace_graph_call);
 379         int old_offset, new_offset;
 380
 381         old_offset = (unsigned long)(&ftrace_graph_caller) - (ip + MCOUNT_INSN_SIZE);
 382         new_offset = (unsigned long)(&ftrace_stub) - (ip + MCOUNT_INSN_SIZE);
 383
 384         return ftrace_mod_jmp(ip, old_offset, new_offset);
 385 }
 386
 387 #endif /* !CONFIG_DYNAMIC_FTRACE */
 388
 389 /*
 390  * Hook the return address and push it in the stack of return addrs
 391  * in current thread info.
 392  */
 393 void prepare_ftrace_return(unsigned long *parent, unsigned long self_addr)
 394 {
 395         unsigned long old;
 396         unsigned long long calltime;
 397         int faulted;
 398         struct ftrace_graph_ent trace;
 399         unsigned long return_hooker = (unsigned long)
 400                                 &return_to_handler;
 401
 402         /* Nmi's are currently unsupported */
 403         if (unlikely(in_nmi()))
 404                 return;
 405
 406         if (unlikely(atomic_read(&current->tracing_graph_pause)))
 407                 return;
 408
 409         /*
 410          * Protect against fault, even if it shouldn't
 411          * happen. This tool is too much intrusive to
 412          * ignore such a protection.
 413          */
 414         asm volatile(
 415                 "1: " _ASM_MOV " (%[parent]), %[old]\n"
 416                 "2: " _ASM_MOV " %[return_hooker], (%[parent])\n"
 417                 "   movl $0, %[faulted]\n"
 418                 "3:\n"
 419
 420                 ".section .fixup, \"ax\"\n"
 421                 "4: movl $1, %[faulted]\n"
 422                 "   jmp 3b\n"
 423                 ".previous\n"
 424
 425                 _ASM_EXTABLE(1b, 4b)
 426                 _ASM_EXTABLE(2b, 4b)
 427
 428                 : [old] "=r" (old), [faulted] "=r" (faulted)
 429                 : [parent] "r" (parent), [return_hooker] "r" (return_hooker)
 430                 : "memory"
 431         );
 432
 433         if (unlikely(faulted)) {
 434                 ftrace_graph_stop();
 435                 WARN_ON(1);
 436                 return;
 437         }
 438
 439         calltime = cpu_clock(raw_smp_processor_id());
 440
 441         if (ftrace_push_return_trace(old, calltime,
 442                                 self_addr, &trace.depth) == -EBUSY) {
 443                 *parent = old;
 444                 return;
 445         }
 446
 447         trace.func = self_addr;
 448
 449         /* Only trace if the calling function expects to */
 450         if (!ftrace_graph_entry(&trace)) {
 451                 current->curr_ret_stack--;
 452                 *parent = old;
 453         }
 454 }
 455 #endif /* CONFIG_FUNCTION_GRAPH_TRACER */