嵌入式ARM Linux应用程序项目问题定位

一、现象

业务线反馈，单板只要一跑我们的通讯软件appA，CPU就变得很高，即使没有任何通讯，空跑时CPU利用率同样的高，难得业务会关注CPU性能，好久没更新博客了，小记一下（又是debug一两天，最后改一行代码解决的问题o(╯□╰)o）。

启动appA 前，top看一下CPU使用情况，如下，9%还算正常（有其他业务应用）。

Mem: 49320K used, 202284K free, 0K shrd, 0K buff, 27420K cached
CPU:  3.0% usr  6.0% sys  0.0% nic 91.0% idle  0.0% io  0.0% irq  0.0% sirq
Load average: 1.79 2.79 2.98 1/86 1721
  PID  PPID USER     STAT   VSZ %VSZ CPU %CPU COMMAND
 1721  1376 root     R     2272  0.9   0  1.6 top -d 1
  917     1 root     S    38936 15.4   0  1.1 ...
  908     1 root     S    38936 15.4   0  0.5 ...
  915     1 root     S    38936 15.4   0  0.5 ...
  896     1 root     S    38936 15.4   0  0.5 ...
  914     1 root     S    38936 15.4   0  0.5 ...
  857     1 root     S     4396  1.7   0  0.5 /usr/sbin/telnetd
    3     2 root     SW       0  0.0   0  0.5 [ksoftirqd/0]
 1376   857 root     S     2272  0.9   0  0.0 -sh
  929     1 root     S     2272  0.9   0  0.0 /sbin/getty -L ttyO2 115200 vt100
    1     0 root     S     2268  0.9   0  0.0 init
  ...

我们的应用启动后，CPU使用率很高，65%左右，是什么让CPU占用高？

$top -d1
Mem: 54604K used, 197000K free, 0K shrd, 0K buff, 27220K cached
CPU: 14.6% usr 38.5% sys  0.0% nic 36.2% idle  0.0% io  0.0% irq 10.5% sirq
Load average: 3.26 2.22 1.58 1/107 1470
  PID  PPID USER     STAT   VSZ %VSZ CPU %CPU COMMAND
 1444  1376 root     S    28008 11.1   0  5.8 {Thread_start} ./appA
    3     2 root     SW       0  0.0   0  4.0 [ksoftirqd/0]
 1445  1376 root     S    28008 11.1   0  2.9 {Task_OS_Timer} ./appA
 1470  1376 root     R     2272  0.9   0  2.3 top -d 1
  917     1 root     S    38936 15.4   0  1.7 ...
 1450  1376 root     S    28008 11.1   0  1.7 ...
  896     1 root     S    38936 15.4   0  1.1 ...
 1449  1376 root     S    28008 11.1   0  0.5 {CycleIO} ./appA
  857     1 root     S     4396  1.7   0  0.5 /usr/sbin/telnetd
  ......

TOP各指标含义

简单介绍下top各指标含义。top 命令显示了 us、sy、nic、idle 、io、hi、si 和 st 这几个指标(不同版本的top显示简写有所不同)，各指标含义如下，这几个指标之和为 100。

us, user    : time running un-niced user processes
sy, system  : time running kernel processes
ni, nice    : time running niced user processes
id, idle    : time spent in the kernel idle handler
wa, IO-wait : time waiting for I/O completion
hi : time spent servicing hardware interrupts
si : time spent servicing software interrupts
st : time stolen from this vm by the hypervisor

CPU指标	含义
us	CPU执行用户代码消耗的CPU时间比例，这个比例越高，说明CPU的利用率越好，因为我们的目的就是为了让CPU将更多的时间用在执行用户代码上，如果这个指标过高影响了你的业务，那就需要去分析业务代码了。
sy	CPU执行内核代码消耗的CPU时间比例，这个比例要越低越好，因为CPU不应该把时间浪费在执行内核函数上，如内核函数浪费了很多时间，那说明内核可能需要优化了。
ni	Nice值被调大的线程执行用户态代码消耗的CPU百分比。对于非实时任务，通过调整线程的Nice值可以控制它的CPU时间，当我们增大一个线程的Nice值时，我们期望它可以少占用一些CPU时间，CPU利用率里的ni这个值就给我们一个参考指标来观察我们的调整效果。运行一个进程后，它的默认Nice值为0，通过renice来增加该进程的Nice值（正数），该进程的CPU利用率就会在ni中显示，而减少进程的Nice值（负数）则不会在这里面显示。
id	CPU空闲时间，我们通常说的整体CPU利用率就是（100-idl）这个值，也是其他几项的和。为了提升系统的资源利用率，目标就是尽量降低idl。
wa	CPU阻塞在I/O上的时间，比如CPU从磁盘读取文件内容，由于磁盘I/O太慢，导致CPU不得不等待数据就绪，然后才能继续执行下一步操作，这就wai时间，这个值越高，说明I/O处理能力出现了问题。
hi	CPU消耗在硬中断里的时间，正常情况下这个值都很低，因为中断的处理很快，即使有大量的硬件中断，也不会消耗很多的CPU时间。
si	CPU消耗在软中断里的时间，系统中常见的软中断有网络收发包软中断、写文件落盘产生的软中断、高精度定时器软中断等。所以网络吞吐量较高的系统中，这个值也会高一些。

在上面这几项中，idle 和 wait 是 CPU 不工作的时间，其余的项都是 CPU 工作的时间。idle 和 wait 的主要区别是，idle 是 CPU 无事可做，而 wait 则是 CPU 想做事却做不了。你也可以将 wait 理解为是一类特殊的 idle，即该 CPU 上有至少一个线程阻塞在 I/O 时的 idle。

二、分析

由CPU: 14.6% usr 38.5% sys 0.0% nic 36.2% idle 0.0% io 0.0% irq 10.5% sirq可以看出，CPU 利用率飙高是由 sys 利用率和sirq利用率变高导致的，也就是说 sys 利用率会忽然飙高一下，比如在 usr 低于 15% 的情况下，sys 会高于 40%，同时sirq会高于10%，持续不到一秒后又恢复正常。

CPU 的 sys 利用率高，说明内核函数执行花费了太多的时间，同样，CPU 的 sirq利用率高，说明内核处理软中断执行花费了太多的时间，先对比应用启动前后系统各部分信息，看看能否推断出CPU执行哪部分的的内核函数花费的时间长。

启动应用前

我们先通过pidstat看看appA启动前,系统中每个进程usr、system、guest、wait各部分CPU使用情况：

$ pidstat 1 3  #每秒打印一次 打印3次
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

0944      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
0944        0        47    0.00    0.96    0.00    0.00    0.96     0  kworker/0:1
0944        0       894    2.88    3.85    0.00    0.00    6.73     0  cpu_mem_task
0944        0       968    0.00    1.92    0.00    0.00    1.92     0  pidstat

0944      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
0945        0       857    0.00    1.00    0.00    0.00    1.00     0  telnetd
0945        0       881    0.00    1.00    0.00    0.00    1.00     0  xxxx
0945        0       894    2.00    5.00    0.00    0.00    7.00     0  xxxx
0945        0       968    1.00    2.00    0.00    0.00    3.00     0  pidstat

0945      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
0946        0         3    0.00    1.00    0.00    0.00    1.00     0  ksoftirqd/0
0946        0       894    1.00    6.00    0.00    0.00    7.00     0  xxxx
0946        0       968    1.00    2.00    0.00    0.00    3.00     0  pidstat

可以看到，各进程正常，CPU使用率低，接下来通过mpstat查看内核各部分详细。

]# mpstat --help
Usage: mpstat [ options ] [  [  ] ]
Options are:
[ -A ] [ -n ] [ -T ] [ -u ] [ -V ]
[ -I { SUM | CPU | SCPU | ALL } ] [ -N {  | ALL } ]
[ --dec={ 0 | 1 | 2 } ] [ -o JSON ] [ -P {  | ALL } ]

-A: 等同于-u -I ALL -P ALL

-I:指定SUM CPU SCPU ALL四个参数,SUM表示每个处理器的中断总数，CPU表示每个核的每秒中断数量， SCPU表示每个核每秒的软中断数量。

-P: 统计的CPU编号，一般用ALL

-u: 输出列的信息

-V: 查看版本号

CPU利用率

每秒输出1次，输出5次：

[root@/tmp]# mpstat 1 5
0951     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
0952     all    1.01    0.00    5.05    0.00    0.00    2.02    0.00    0.00    0.00   91.92
0953     all    2.15    0.00    1.08    0.00    0.00    0.00    0.00    0.00    0.00   96.77
0954     all    0.00    0.00    0.00    0.00    0.00    1.09    0.00    0.00    0.00   98.91
0955     all    2.04    0.00    3.06    0.00    0.00    2.04    0.00    0.00    0.00   92.86
0956     all    0.00    0.00    2.15    0.00    0.00    0.00    0.00    0.00    0.00   97.85
Average:     all    1.05    0.00    2.32    0.00    0.00    1.05    0.00    0.00    0.00   95.58

软中断

软中断每秒输出1次, 输出6次：

# mpstat -I SCPU 1 6
0922     CPU       HI/s    TIMER/s   NET_TX/s   NET_RX/s    BLOCK/s BLOCK_IOPOLL/s  TASKLET/s    SCHED/s  HRTIMER/s      RCU/s
0923       0       0.00      25.00       1.00       3.00       0.00           0.00       0.00       0.00     200.00       0.00
0924       0       0.00      31.00       0.00       4.00       0.00           0.00       0.00       0.00     200.00       0.00
0925       0       0.00      26.00       0.00       4.00       0.00           0.00       0.00       0.00     199.00       0.00
0926       0       0.00      36.00       0.00       4.00       0.00           0.00       0.00       0.00     200.00       0.00
0927       0       0.00      31.00       0.00       3.00       0.00           0.00       0.00       0.00     199.00       0.00
0928       0       0.00      31.00       1.00       3.00       0.00           0.00       0.00       0.00     200.00       0.00
Average:       0       0.00      30.00       0.33       3.50       0.00           0.00       0.00       0.00     199.67       0.00

对应的软中断信息：

# cat /proc/softirqs 
                    CPU0       
          HI:          0
       TIMER:    7778445
      NET_TX:       7244
      NET_RX:     293406
       BLOCK:          0
BLOCK_IOPOLL:          0
     TASKLET:          1
       SCHED:          0
     HRTIMER:  522165833
         RCU:          0

硬中断

处理器硬中断总数：

# mpstat -I SUM 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

0950     CPU    intr/s
0951     all   3000.00
0952     all   3151.00
0953     all   3229.00
0954     all   3129.00
0955     all   3049.00
0956     all   3210.00
Average:     all   3127.79

每个硬中断产生速率：

# mpstat -I CPU 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

0946     CPU       20/s       28/s       30/s       33/s       34/s       35/s       68/s       80/s       84/s       86/s       87/s       90/s       94/s      116/s      125/s      127/s      173/s      230/s      233/s      255/s      261/s      Err/s
0947       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3151.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00       5.00       0.00       0.00       0.00       0.00       0.00
0948       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3140.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00       7.00       0.00       0.00       0.00       0.00       0.00
0949       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3355.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00       6.00       0.00       0.00       0.00       0.00       0.00
0950       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3031.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00
0951       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3288.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00       6.00       0.00       0.00       0.00       0.00       0.00
0952       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3155.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00       6.00       0.00       0.00       0.00       0.00       0.00
Average:       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    3186.67       0.00       2.00       0.00       0.00       0.00       0.00       0.00       5.67       0.00       0.00       0.00       0.00       0.00

对应的中断信息：

# cat /proc/interrupts 
           CPU0       
 84: 1583852200      INTC  68  gp_timer
 86:        108      INTC  70  44e0b000.i2c
 87:     483682      INTC  71  4802a000.i2c
 90:         59      INTC  74  UART2
173:     701497      GPIO  29  eth0
230:          6      GPIO  22  button_int
233:          0      GPIO  25  fpga_int
255:          0      GPIO  15  mmc0
261:          0      GPIO  21  power_int
Err:          0
......

启动appA应用前，可以看出irq为84的中断gp_timer中断比较高， 3155次/S左右。

启动应用后

先启动应用，然后再看一下这些指标的变化。

# mpstat 1 5
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1045     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
1046     all    7.95    0.00   18.18    0.00    0.00    3.41    0.00    0.00    0.00   70.45
1047     all    6.17    0.00   16.05    0.00    0.00    1.23    0.00    0.00    0.00   76.54
1048     all    4.94    0.00   17.28    0.00    0.00    2.47    0.00    0.00    0.00   75.31
1049     all    8.05    0.00   17.24    0.00    0.00    4.60    0.00    0.00    0.00   70.11
1050     all   11.76    0.00   12.94    0.00    0.00    2.35    0.00    0.00    0.00   72.94
Average:     all    7.82    0.00   16.35    0.00    0.00    2.84    0.00    0.00    0.00   72.99

usr，sys 升高明显，soft有所升高，什么导致的sys升高？下面看硬中断处理信息：

# mpstat -I SUM 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1011     CPU    intr/s
1012     all   6571.00
1013     all   6597.00
1014     all   6574.00
1015     all   6566.00
1016     all   6592.00
1017     all   6583.00
Average:     all   6580.50

对比启动应用前3000/s，每秒中断产生次数增长了120%。继续查看哪些中断变高了？

# mpstat -I CPU 1 6
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1004     CPU       20/s       28/s       30/s       33/s       34/s       35/s       68/s       80/s       84/s       86/s       87/s       90/s       94/s      116/s      125/s      127/s      173/s      230/s      233/s      255/s      261/s      Err/s
1005       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6552.00       0.00       3.00       0.00       0.00       0.00       0.00       0.00      28.00       0.00       0.00       0.00       0.00       0.00
1006       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6552.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00      30.00       0.00       0.00       0.00       0.00       0.00
1007       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6637.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00      27.00       0.00       0.00       0.00       0.00       0.00
1008       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6543.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00      28.00       0.00       0.00       0.00       0.00       0.00
1010       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6579.00       0.00       4.00       0.00       0.00       0.00       0.00       0.00      30.00       0.00       0.00       0.00       0.00       0.00
1011       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6561.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00      29.00       0.00       0.00       0.00       0.00       0.00
Average:       0       0.00       0.00       0.00       0.00       0.00       0.00       0.00       0.00    6570.67       0.00       1.83       0.00       0.00       0.00       0.00       0.00      28.67       0.00       0.00       0.00       0.00       0.00

# mpstat -I SCPU 1 6
Linux 3.12.10      08/22/22        _armv7l_        (1 CPU)

1029     CPU       HI/s    TIMER/s   NET_TX/s   NET_RX/s    BLOCK/s BLOCK_IOPOLL/s  TASKLET/s    SCHED/s  HRTIMER/s      RCU/s
1030       0       0.00      41.58       0.00       9.90       0.00           0.00       0.00       0.00    2172.28       0.00
1031       0       0.00      43.00       0.00      12.00       0.00           0.00       0.00       0.00    2187.00       0.00
1032       0       0.00      38.00       0.00      11.00       0.00           0.00       0.00       0.00    2191.00       0.00
1033       0       0.00      34.00       1.00      10.00       0.00           0.00       0.00       0.00    2190.00       0.00
1034       0       0.00      37.00       0.00      11.00       0.00           0.00       0.00       0.00    2190.00       0.00
1035       0       0.00      40.00       0.00      10.00       0.00           0.00       0.00       0.00    2184.00       0.00
Average:       0       0.00      38.94       0.17      10.65       0.00           0.00       0.00       0.00    2185.69       0.00

可以看irq为84的中断gp_timer中断相比应用启动前变为2倍， 3155.00次/S左右。相应的高精度定时器软中断HRTIMER从之前的200/S上升到2100/S，到此基本可以确定应用疯狂定时操作引起的，进一步看内核执行的函数来确认。

采集内核函数的方法

目前基本清楚因为定时器中断变高导致的内核函数执行时间变长，接下来采集 CPU 在 sys 飙高的瞬间所执行的内核函数，同时看看应用执行什么引起的定时器中断，再做相应的优化。采集内核函数的方法有很多，比如：

通过 perf（ perf 是内核自带的性能剖析工具）可以采集 CPU 的热点，看看 sys 利用率高时，哪些内核耗时的 CPU 利用率高；

通过 perf 的 call-graph 功能可以查看具体的调用栈信息，也就是线程是从什么路径上执行下来的；

通过 perf 的 annotate 功能可以追踪到线程是在内核函数的哪些语句上比较耗时；

通过 ftrace 的 function-graph 功能可以查看这些内核函数的具体耗时，以及在哪个路径上耗时最大。

针对一些瞬时sys 利用率高问题，还可以通过系统快照sysrq，把当前 CPU 正在做的工作记录下来，然后结合内核源码分析为什么 sys 利用率会高。

sysrq常用来分析内核问题的工具，用它可以观察当前的内存快照、任务快照，可以构造 vmcore 把系统的所有信息都保存下来，甚至还可以在内存紧张的时候用它杀掉内存开销最大的那个进程。

用 sysrq 来分析问题，首先需要使能 sysyrq,使能sysrq后没有任何开销，使能方式如下：

$ sysctl -w kernel.sysrq=1

sysrq 的功能被使能后，使用它的 -t 选项来把当前的任务快照保存下来，看看系统中都有哪些任务，以及这些任务都在干什么。使用方式如下：

$ echo t > /proc/sysrq-trigger

执行后，任务快照会被打印到内核缓冲区，这些任务快照信息通过 dmesg 命令来查看：

$ dmesg

内核采集分析

这里使用perf 对appA进程进行采样，输出内核整个调用链上的汇总信息。

# 采样10s后退出
$ perf record -a -g -p `pidof appA` -- sleep 10

采样完成后，继续执行 perf report命令，得到 perf 的汇总报告。

额。。。屏幕太小、ARM 串口来打印，这打印很难看。

火焰图分析

针对 perf 汇总数据的展示问题，Brendan Gragg 发明了火焰图，通过矢量图的形式，更直观展示汇总结果。

（图片来自 Brendan Gregg 博客）

横轴表示采样数和采样比例。一个函数占用的横轴越宽，就代表它的执行时间越长。同一层的多个函数，则是按照字母来排序。

纵轴表示调用栈，由下往上根据调用关系逐个展开。换句话说，上下相邻的两个函数中，下面的函数，是上面函数的父函数。这样，调用栈越深，纵轴就越高。

另外，要注意图中的颜色，并没有特殊含义，只是用来区分不同的函数。

火焰图是动态的矢量图格式，所以它还支持一些动态特性。比如，鼠标悬停到某个函数上时，就会自动显示这个函数的采样数和采样比例。而当你用鼠标点击函数时，火焰图就会把该层及其上的各层放大，方便你观察这些处于火焰图顶部的调用栈的细节。

如果我们根据性能分析的目标来划分，火焰图可以分为下面这几种。

on-CPU 火焰图：表示 CPU 的繁忙情况，用在 CPU 使用率比较高的场景中。

off-CPU 火焰图：表示 CPU 等待 I/O、锁等各种资源的阻塞情况。

内存火焰图：表示内存的分配和释放情况。

热 / 冷火焰图：表示将 on-CPU 和 off-CPU 结合在一起综合展示。

差分火焰图：表示两个火焰图的差分情况，红色表示增长，蓝色表示衰减。差分火焰图常用来比较不同场景和不同时期的火焰图，以便分析系统变化前后对性能的影响情况。

如何生成火焰图？首先，下载几个能从 perf record记录生成火焰图的工具，这些工具都放在 https://github.com/brendangregg/FlameGraph 。

$ git clone https://github.com/brendangregg/FlameGraph
$ cd FlameGraph

安装好工具后，要生成火焰图，其实主要需要三个步骤：

执行 perf script ，将 perf record 的记录转换成可读的采样记录；

执行 stackcollapse-perf.pl 脚本，合并调用栈信息；

执行 flamegraph.pl 脚本，生成火焰图。

如果你的机器安装了完整的系统，通过管道简化这三个步骤的执行如下：

$ perf script -i /root/perf.data | ./stackcollapse-perf.pl --all |  ./flamegraph.pl > hsys.svg

因为我的目标系统是在ARM busybos上，先在目标机器上执行步骤1，在将中间文件上传到X86系上完成步骤2和3。

$ perf script -i perf.data > perf-temp
$ tftp -p 192.168.1.55 -l perf-temp

X86机器上完成步骤2和3.

$ cat perf-temp| ./stackcollapse-perf.pl --all |  ./flamegraph.pl > hsys.svg

使用浏览器打开hsys.svg如下。

从下往上看，沿着调用栈中最宽的函数来分析执行次数最多的函数。看到的结果跟的 perf report 类似，但直观了很多，这几团系统调用的火焰，就是我们关注的地方。

可以看到，应用发起的几个系统调用后，内核sys_rt_sigtimedwait、sys_mq_timedsend、sys_mq_timedreceive分别占总执行时间的22.69%、（13.71%+6.15%）、（8.53%+8.89%）。

到这里，找出了内核执行最频繁的函数调用堆栈，而这个堆栈中的各层级函数，就是潜在的性能瓶颈来源。对比同一cpu高版本内核，该问题并不明显，如果想深入了解linux时间子系统，请移步时间子系统-蜗窝科技。看来内核是动不了，不好下手，那回到应用看看。

三、解决

既然已经清楚原因是应用定时相关操作引起的，回到应用排查相关代码。

这个应用是一个协议栈，整个协议栈有多个不同优先级的实时线程，每个线程负责各部分通讯处理，其中两个线程为整个协议栈提供timers处理机制，线程Thread_start向操作系统注册一个周期timer，该周期timer的间隔就是协议栈软件timer的基准时间，线程A周期等待操作系统timer超时信号。

当超时信号到达时，线程Thread_start遍历所有上层应用注册的timer，判断时间是否到期，如果该timer到期，通过消息队列mq将该timer发送给另一个线程OS_timer进行timer处理，线程OS_timer接收到该timer后，执行该timer注册的超时回调函数callbalk_timeout。

排查后发现，问题出在线程Thread_start向操作系统注册的这个周期timer，它的触发间隔为500us，由于触发频率太高，导致操作系统处理定时器软硬中断消耗大部分CPU，表现就是系统cpu飙高，但是检索整个协议栈，并没有发现上层应用注册小于1ms的timer，协议栈根本用不到这么小基准的timer。

所以，解决的办法很简单，就修改一行代码，将线程Thread_start向操作系统注册的周期timer间隔500us调整为1ms，问题解决。

优化后，时钟软硬中断降低。系统sys CPU利用率下降，如下：

$ pidstat  1 5 -p `pidof appA` #目标应用指标
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1745      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
1746        0      1112    8.91    0.99    0.00    0.00    9.90     0  appA
1747        0      1112    3.00    8.00    0.00    0.00   11.00     0  appA
1748        0      1112    8.00    3.00    0.00    0.00   11.00     0  appA
1749        0      1112   10.00    1.00    0.00    0.00   11.00     0  appA

$mpstat  -A   1 1 #系统整体详细指标
Linux 3.12.10       08/22/22        _armv7l_        (1 CPU)

1724     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
1725     all    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95
1725       0    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95

1724     CPU    intr/s
1725     all   6821.69
1725       0   6820.48

1724     CPU      20/s      28/s      30/s      33/s      34/s      35/s      68/s      80/s      84/s      86/s      87/s      90/s      94/s     116/s     125/s     127/s     173/s     230/s     233/s     255/s     261/s     Err/s
1725       0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00   6792.77      0.00      3.61      0.00      0.00      0.00      0.00      0.00     24.10      0.00      0.00      0.00      0.00      0.00

1724     CPU      HI/s   TIMER/s  NET_TX/s  NET_RX/s   BLOCK/s BLOCK_IOPOLL/s TASKLET/s SCHED/s HRTIMER/s  RCU/s
1725       0      0.00     30.12      1.20     13.25      0.00      0.00      0.00      0.00   1443.37      0.00

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
Average:     all    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95
Average:       0    1.20    0.00   10.84    0.00    0.00    0.00    0.00    0.00   87.95

上面的火焰图，看到 sys_rt_sigtimedwait、sys_mq_timedsend、sys_mq_timedreceive明显降低.

	sys_rt_sigtimedwait	sys_mq_timedsend	sys_mq_timedreceive
前	22.69%	19.86%(13.71%+6.15%)	17.51%(8.53%+8.89%)
后	14.94%	9.84%(5.84%+4%)	11.47%(5.67%+5.8%)

真是debug一两天，最后改一行代码解决问题o(╯□╰)o）。。。

　　审核编辑：汤梓红

阅读全文

ARM(361233) ARM(361233)
嵌入式(286111) 嵌入式(286111)
cpu(206161) cpu(206161)
Linux(206514) Linux(206514)
应用程序(56174) 应用程序(56174)

ARM9嵌入式系统设计与开发教程

嵌入式Linux应用程序开发..5.1 开发环境的建立5.1.1 嵌入式Linux的开发环境5.1.2 利用Cygwin建立模拟环境5.1.3 交叉编译环境的建立5.2 Linux及开发工具

2013-01-05 15:01:02

ARM嵌入式Linux系统开发详解

建立和第一个Linux应用程序；第2篇介绍了Linux应用程序编程基础、开发多进程/线程程序、网络通信应用、串行口通信编程、嵌入式GUI程序开发和软件项目管理；第3篇介绍ARM体系结构及开发实例、深入

2018-09-14 08:57:17

ARM与嵌入式Linux的入门建议

也许你会注意到，现在做嵌入式的人中，做linux研究的人远比做WinCE的人多，很多产家提供的资料也是以linux为主。我一直很难理解，其实WinCE的界面比linux的界面好看多了，使用起来也很

2018-08-13 17:40:55

ARM与嵌入式Linux，有什么入门建议吗？

的电子厂商已经开始使用linux开发产品。所以，linux更受人欢迎咯！以下是我总结的一些入门建议，不喜勿喷啦，欢迎评论ARM与嵌入式Linux的入门建议第一、学习基本的裸机编程对于学硬件的人而言

2021-09-16 14:31:16

ARM与嵌入式linux入门学习方法

ARM与嵌入式linux入门学习方法 http://www.arm8.net/thread-542-1-1.htmlarm是嵌入式开发应用的硬件，嵌入式linux是嵌入式开发应用的软件。我们所谓

2015-10-11 10:27:42

ARM与嵌入式linux入门建议

由于很多人总问这个问题，所以这里做一个总结供大家参考。这里必须先说明，以下的步骤都是针对Linux系统的，并不面向WinCE。也许你会注意到，现在做嵌入式的人中，做linux研究的人远比

2017-05-20 11:10:45

ARM与嵌入式linux入门建议

嵌入式linux的书籍第六，研究应用程序的编写。做作品做项目除了编写驱动程序，最后还要编写应用程序。现在的趋势是图形应用程序的开发，而图形应用程序中用得最多的还是qt/e函数库。我一直就使用这个函数库来

2017-11-14 11:39:08

ARM与嵌入式linux入门建议

由于很多人总问这个问题，所以这里做一个总结供大家参考。这里必须先说明，以下的步骤都是针对Linux系统的，并不面向WinCE。也许你会注意到，现在做嵌入式的人中，做linux研究的人远比做WinCE

2017-06-03 15:42:36

ARM与嵌入式linux入门建议

2016-10-27 15:26:18

ARM与嵌入式linux的入门建议

分的推荐书籍可以参考另一篇文章《推荐几本学习嵌入式linux的书籍》。　　第六，研究应用程序的编写。　　做作品做项目除了编写驱动程序，最后还要编写应用程序。现在的趋势是图形应用程序的开发，而图形应用程序中用

2017-06-14 10:14:22

ARM与嵌入式linux的入门建议

文章《推荐几本学习嵌入式linux的书籍第六，研究应用程序的编写。　　做作品做项目除了编写驱动程序，最后还要编写应用程序。现在的趋势是图形应用程序的开发，而图形应用程序中用得最多的还是qt/e函数库。我

2016-12-12 16:21:02

ARM菜鸟跪求嵌入式ARM+Linux的学习路线？

ARM菜鸟跪求嵌入式ARM+Linux的学习路线？该如何学习嵌入式ARM+linux？学习路线是什么？路过的朋友可否简单说下？

2014-04-27 14:00:41

Linux作为嵌入式操作系统的优势是什么？如何建立嵌入式Linux？

Linux作为嵌入式操作系统的优势是什么如何建立嵌入式Linux？当前流行的几种嵌入式Linux系统

2021-04-27 06:34:40

arm与嵌入式linux的入门建议

arm与嵌入式linux的入门建议说明，以下的步骤都是针对Linux 系统的，并不面向WinCE。也许你会注意到，现在做嵌入式的人中，做 linux 研究的人远比做WinCE 的人多，很多产家提供

2020-04-20 10:34:39

linux应用程序开发与linux系统移植

，kernel移植，rootfs制作）5.linux驱动开发从事嵌入式应具备的能力　　嵌入式开发本身也有高下之分，至少包含嵌入式应用程序工程师和底层的驱动内核工程师两种。　　举例：比如月...

2021-12-20 08:19:12

嵌入式 Linux C 语言应用程序设计

嵌入式 Linux C 语言应用程序设计（超清PDF版）

2016-04-28 13:18:29

嵌入式ARM+Linux的学习方法是什么？

ARM菜鸟跪求嵌入式ARM+Linux的学习方法是什么？学习嵌入式ARM+linux有什么方法么？学习路线是什么？路过的朋友可否简单说下？

2020-07-16 08:09:29

嵌入式ARM9培训

，培训老师均是从事多年电子产品、ARM项目开发、嵌入式Linux项目开发的资深高级工程师，拥有丰富的实际工作经验，能让你高起点入门，快速学会ARM、学会嵌入Linux。 1．小班授课（3-6人）、保证

2010-04-28 11:30:38

嵌入式ARM开发板学习路线指引

及如何成为一位合格的嵌入式工程师，一、首先要掌握基础架构嵌入式Linux系统从软件角度看可以分为四个部分：引导加载程序（Bootloader），Linux内核，文件系统，应用程序。开发编译环境的搭建

2018-11-07 13:57:42

嵌入式LINUX应用程序开发标准教程

嵌入式LINUX应用程序开发标准教程-华清远见《嵌入式LINUX应用程序开发标准教程》作者：华清远见第6 章文件I/O 编程掌握Linux 中系统调用的基本概念掌握Linux 中用户编程接口

2021-11-04 06:58:19

嵌入式Linux应用程序开发标准教程

#《嵌入式Linux应用程序开发标准教程》电子书连载#第3章 Linux下C编程基础，本章将带领读者熟悉Linux系统下的开发环境、熟悉vi的基本操作、熟练emacs的基本操作、熟悉gcc编译器

2013-05-27 09:48:07

嵌入式Linux应用程序开发标准教程

嵌入式Linux应用程序开发标准教程

2020-05-02 12:05:49

嵌入式Linux应用程序开发标准教程

嵌入式Linux应用程序开发标准教程

2014-01-03 16:41:54

嵌入式Linux应用程序开发标准教程

嵌入式Linux应用程序开发标准教程

2016-10-10 16:58:01

嵌入式Linux应用程序开发标准教程

内容简介：隆重申明：本书为嵌入式与移动开发系列，国家信息技术紧缺人才培养工程系列丛书，内容末尾提供免费下载嵌入式Linux应用程序开发标准教程这本书，在业内有着非常多的赞美，非常适合嵌入式初学者在

2018-05-07 15:40:22

嵌入式Linux应用程序开发标准教程（第二版）

《嵌入式Linux应用程序开发标准教程(第2版)》主要分为3个部分，包括Linux基础、搭建嵌入式Linux环境和嵌入式Linux的应用开发。Linux基础部分从Linux基础、基本操作命令讲起，为

2016-08-30 15:03:11

嵌入式Linux应用程序开发详解

本帖最后由 cxw3506 于 2011-8-13 16:53 编辑华清远见—|“黑色经典”系列之《嵌入式Linux应用程序开发详解》！{:soso_e100:}

2011-08-13 16:52:32

嵌入式Linux应用程序开发详解

嵌入式Linux应用程序开发详解

2018-01-24 16:58:29

嵌入式Linux应用程序开发详解

只是推广一下嵌入式Linux应用程序开发详解

2012-12-20 14:17:34

嵌入式Linux下的LCD驱动程序怎么编写？

底层，在内核源代码中占较大比例，驱动程序开发逐渐成为嵌入式软件开发中一项重要工作。应项目设计的需要完成了嵌入式Linux下的LCD驱动程序设计。

2019-11-11 07:33:32

嵌入式Linux学习步骤

编译并下载U-boot 编译并下载Linux内核编译并下载Linux应用程序 5、嵌入式系统移植 Linux内核代码平台相关代码分析 ARM平台介绍平台移植的关键技术移植Linux内核到

2018-07-03 00:56:23

嵌入式Linux学习步骤

Linux内核编译并下载Linux应用程序　　5、 嵌入式系统移植　　Linux内核代码平台相关代码分析 ARM平台介绍平台移植的关键技术移植Linux内核到 ARM平台了解移植的概念能够移植

2011-05-04 15:01:53

嵌入式Linux学习步骤

下载Linux内核编译并下载Linux应用程序5、嵌入式系统移植Linux内核代码平台相关代码分析 ARM平台介绍平台移植的关键技术移植Linux内核到 ARM平台了解移植的概念能够移植

2015-03-24 10:41:29

嵌入式Linux怎么学？给大家推荐几本学习嵌入式系统的书籍

，那么肯定有读写硬盘的能力。这个能力我们称之为驱动程序。当然不仅仅是操作硬盘，还有网卡、USB等等其他硬件。嵌入式Linux能从Flash上读出并执行应用程序，肯定也得有Flash的驱动程序啊，当然也

2017-09-18 16:03:06

嵌入式Linux操作系统

ARM+LINUX路线，主攻嵌入式Linux操作系统及其上应用软件开发目标：（1）掌握主流嵌入式微处理器的结构与原理（初步定为arm9）（2）必须掌握一个嵌入式操作系统（初步定为uclinux或

2021-10-27 10:22:58

嵌入式Linux系统开发学习步骤，深圳嵌入式Linux培训高薪一路相伴

基础　　Linux操作系统的概念、安装方法，详细了解Linux下的目录结构、基本命令、编辑器VI ,编译器GCC，调试器GDB和 Make 项目管理工具, Shell Makefile脚本编写等知识，嵌入式开发环境

2015-11-25 17:23:50

嵌入式Linux网络驱动程序的实现原理是什么？

嵌入式Linux网络驱动程序的结构是如何构成的？嵌入式Linux网络驱动程序的实现原理是什么？如何将设备驱动模块编译进内核里？

2021-06-04 06:25:40

嵌入式linux+ARM项目实践班

课程描述　　2010年3月20日，广嵌教育震撼推出嵌入式Linux项目实战就业班，全脱产封闭式教学管理，蛰伏两个月，全程12大项目实战训练，助您成就人生职业生涯梦想！　　嵌入式Linux项目实战班

2010-01-21 13:09:48

嵌入式linux、arm嵌入式操作系统的相关资料分享

嵌入式linux、arm嵌入式操作系统嵌入式系统应用领域嵌入式系统特点嵌入式实时系统嵌入式系统组成ARM相关知识arm寻址方式ARM 微处理器的工作状态、工作模式ARM寄存器linux系统linux

2021-12-27 07:35:35

嵌入式linux学***汇总

://www.embedu.org/xuexi/books/3294.html?lcg-openedv　　2.《嵌入式Linux应用程序开发标准教程》　　内容简介：　　隆重申明：本书为嵌入式与移动开发系列，国家

2020-06-08 08:31:35

嵌入式linux学习步骤

嵌入式Linux应用软件开发流程熟悉嵌入式系统概念以及开发流程建立嵌入式系统开发环境制作cross_gcc工具链编译并下载U-boot 编译并下载Linux内核编译并下载Linux应用程序4

2021-09-08 11:51:06

嵌入式linux学习步骤

和内核 嵌入式Linux应用软件开发流程熟悉嵌入式系统概念以及开发流程建立嵌入式系统开发环境制作cross_gcc工具链编译并下载U-boot 编译并下载Linux内核编译并下载Linux应用程序4

2017-10-25 10:12:39

嵌入式linux学习步骤

应用软件开发流程熟悉嵌入式系统概念以及开发流程建立嵌入式系统开发环境制作cross_gcc工具链编译并下载U-boot 编译并下载Linux内核编译并下载Linux应用程序4、嵌入式系统移植

2016-09-12 14:23:18

嵌入式linux系统与应用开发就业班

  课程描述参加嵌入式linux系统与应用开发就业班可以使学员快速掌握嵌入式系统开发的流程，系统移植的方法，编写Bootloader等。学习本课程的学员能够从事嵌入式系统相关的项目

2010-04-13 20:26:35

嵌入式学习-嵌入式名词

嵌入式学习-嵌入式名词简单的理解和定义嵌入式系统、嵌入式Linux、嵌入式软件工程师、嵌入式学习、嵌入式系统学习、嵌入式ARM、单片机我对嵌入式一些概念名词简单的理解通常我们都有这么一个模糊的概念

2016-07-01 14:51:06

嵌入式开发入门之旅

、文件系统制作与移植、图形化Linux应用程序的开发入门这几个角度，将学员带入嵌入式开发这个技术新领域，让学员领略嵌入式技术的魅力，使学员对嵌入式开发过程有一个大致的了解，了解嵌入式开发所需要的知识及学习方法

2009-07-10 15:59:01

嵌入式开发入门之旅

环境搭建、嵌入式Linux内核编译、基于ARM硬件平台的嵌入式Linux系统引导和固化、Boot Loader的编译与移植、文件系统制作与移植、图形化Linux应用程序的开发入门这几个角度，将学员带入

2009-07-09 16:57:31

嵌入式是不是把linux的内核代码修改好了再烧入arm处理器中？

嵌入式是不是把linux的内核代码修改好了烧入arm处理器中，再把编写好的应用程序的代码烧入arm处理器中？还是系统和应用程序一起做好，一起写入到arm处理器中？

2022-05-31 09:33:56

嵌入式的经验巩固

阶段的主要目的是掌握带有操作系统的嵌入式系统的构建和烧写过程，以及对嵌入式系统软件的总体构成有个整体认识，为我们接下来学习嵌入式应用和驱动开发打下坚实的基础。4、学习嵌入式Linux应用程序开发这一

2021-11-26 10:34:16

Holer外网访问ARM嵌入式Linux系统的方法

公网访问ARM嵌入式Linux系统实验室里的ARM嵌入式Linux系统，只能在局域网内访问，怎样从公网也能访问内网ARM嵌入式Linux系统？本文将介绍使用holer实现的具体步骤。1. 准备工作

2021-12-16 07:18:51

[分享资料]嵌入式Linux应用程序开发详解

Linux的环境搭建，以及嵌入式Linux的I/O与文件系统的开发、进程控制开发、进程间通信开发、网络应用开发、基于中断的开发、设备驱动程序的开发以及嵌入式图形界面的开发等，并且还安排了丰富的实验内容与课后

2015-09-11 23:25:38

《从实践中学习嵌入式Linux操作系统》高清PDF资源分享！

内容简介：《从实践中学嵌入式linux应用程序开发》结合大量实例，讲解了嵌入式linux应用程序设计各个方面的基本方法及必要的核心概念。主要内容包括搭建嵌入式linux开发环境、嵌入式文件i/o编程

2019-11-01 16:23:06

【嵌入式】基于ARM的嵌入式Linux开发总结精选资料推荐

前言嵌入式知识点复习一嵌入式知识点复习二 --体系结构嵌入式知识点复习三 --ARM-LINUX嵌入式开发环境嵌入式知识点复习四 --arm-linux文件编程嵌入式知识点复习五

2021-07-16 07:13:12

【AWorks280试用申请】嵌入式Linux应用程序学习与开发

申请理由：已经学习过飞思卡尔的ARM-M0和M3系类芯片，熟悉飞思卡尔芯片的编程模式与风格，正在入门嵌入式Linux，希望有一块开发板来进行实际的学习，在学习的过程中，也会对这块开发板的各个功能模块

2015-10-23 10:08:56

【下载】《ARM9 嵌入式系统设计与开发教程》

`编辑推荐　　本书以ARM920T微处理器为硬件平台，结合Linux操作系统，详细介绍了嵌入式应用系统的设计、调试方法，以及嵌入式驱动程序开发。全书内容丰富，语言通俗易懂，具有很强的可读性。内容简介

2017-12-25 17:33:32

什么是嵌入式Linux？

Linux到底是什么呢？ 嵌入式linux 是将日益流行的Linux操作系统进行裁剪修改，使之能在嵌入式计算机系统上运行的一种操作系统。简单来说，是除了电脑之外可以运行程序的设备，将CPU嵌入一个设备，使

2023-10-11 13:47:49

从实践中学嵌入式Linux应用程序开发

《从实践中学嵌入式Linux应用程序开发》内容简介：《从实践中学嵌入式linux应用程序开发》结合大量实例，讲解了嵌入式linux应用程序设计各个方面的基本方法及必要的核心概念。主要内容包括搭建

2021-11-04 06:36:26

从实践中学嵌入式linux应用程序开发

本帖最后由 lee_st 于 2017-12-8 14:13 编辑《从实践中学嵌入式linux应用程序开发》结合大量实例，讲解了嵌入式linux应用程序设计各个方面的基本方法及必要的核心概念

2017-12-08 10:49:10

公网访问ARM嵌入式Linux系统的方法

公网访问ARM嵌入式Linux系统实验室里的ARM嵌入式Linux系统，只能在局域网内访问，怎样从公网也能访问ARM嵌入式Linux系统？本文将介绍具体的实现步骤。1. 准备工作1.1 安装并启动

2021-12-16 07:07:46

典型ARM嵌入式Linux设备启动流程是怎样的？

典型ARM嵌入式Linux设备启动流程是怎样的？

2021-12-23 06:25:00

初学者嵌入式linux系统的学习步骤

嵌入式Linux应用软件开发流程熟悉嵌入式系统概念以及开发流程建立嵌入式系统开发环境制作cross_gcc工具链编译并下载U-boot 编译并下载Linux内核编译并下载Linux应用程序5

2019-01-18 10:34:44

基于ARM怎么搭建嵌入式Linux系统？

。Linux操作系统作为一种源代码开放、同时可支持多种处理器结构的多任务操作系统，具有内核小、易裁剪、可移植性好等优点，是目前嵌入式系统应用与开发的主流操作系统。本文主要研究在ARM9平台上搭建嵌入式Linux系统的实现方法。

2020-04-17 06:56:08

基于QT的嵌入式linux图形应用软件设计

嵌入式linux开发环境搭建、嵌入式linux开发模型、linux内核移植和文件系统、嵌入式linux应用程序移植、嵌入式linux 多进程，多线程应用程序设计、嵌入式linux网络编程，如果

2021-11-05 08:11:52

基于lrzsz嵌入式linux传输应用程序

嵌入式linux与pc串口传输文件基于lrzsz嵌入式linux传输应用程序通常用nfs、tftp等比较麻烦，一般小应用也就几k用串口就行，这里给出一种串口传输文件的方式lrzszlzsz需要

2021-12-16 06:05:03

好东东！《嵌入式Linux应用程序开发标准教程》完整版PDF

本帖最后由华清远见2014 于 2014-9-28 10:26 编辑《嵌入式Linux应用程序开发标准教程》图书简介：主要分为3个部分，包括linux基础、搭建嵌入式linux环境和嵌入式

2014-09-28 10:24:05

如何利用linux来开发属于自己的嵌入式项目

如何利用linux来开发属于自己的嵌入式项目？有哪些流程？

2021-09-28 07:39:34

如何去实现嵌入式linux设备中应用运行日志呢

嵌入式linux设备中应用运行日志的实现最近在做一个项目时,需要记录设备运行中情况,以方便对故障进行跟踪定位,完善.所以决定采用记录程序运行日志,经过在网上搜索,采用Log4cplus+BOA方案

2021-11-04 08:24:43

如何去实现一种嵌入式Linux应用程序开发呢

如何去实现一种嵌入式Linux应用程序开发呢？如何去实现在ARM开发板的嵌入式linux系统上运行的QT程序呢？

2021-12-27 06:53:01

如何学习ARM与嵌入式linux？

ARM与嵌入式linux入门建议

2021-03-15 07:51:19

如何对嵌入式应用程序进行调试

如何对嵌入式应用程序进行调试

2021-12-24 07:36:55

如何搭建嵌入式arm-linux开发环境

嵌入式arm-linux开发环境搭建开发环境模型：arm-linux开发板+Ubuntu物理/虚拟机+windows模型功能搭建参考开发环境模型：arm-linux开发板+Ubuntu物理/虚拟机

2021-12-27 07:13:28

如何设计嵌入式ARM Linux步进电机驱动程序？

，是未来经济型激光雕刻机发展的趋势。而嵌入式ARM(Advanced RISC Machines)Linux步进电机驱动是实现激光雕刻的核心。如何设计嵌入式ARM Linux步进电机驱动程序？我们具体该怎么做呢？

2019-08-13 07:31:19

成为嵌入式Linux工程师需要懂什么？

的linux开发课程，最重要的是很多的阶段性的大项目来自企业的真实开发案例，这样才能真正掌握企业需要的嵌入式系统开发知识。为回馈新老客户，我司举办免费学习月的活动，活动时间每周六、周日可选择的课程有：嵌入式C语言程序设计电子电路硬件设计PCB线路板设计单片机开发linux驱动开发想学技术的朋友可加微信***

2018-10-16 15:32:45

蔡琰老师手把手教学，ARM-LINUX嵌入式项目实战资料

`看完蔡琰老师的直播—— 资深单片机研发工程师教学：玩转Modbus通讯就这么简单！相信不少朋友想要挑战一下实战项目，现特此分享老师的ARM-LINUX嵌入式项目实战资料，有需要的朋友可以回帖获取

2021-07-21 11:12:22

请问如何成为嵌入式高手？

编程并且深刻体会整个嵌入式Linux项目开发流程，强化学员对Linux应用开发的能力。1、Linux系统中的进程的概念，在应用程序中线程与父子进程的创建与应用2、线程之间、进程之间的通信3、进程间通信

2020-08-30 11:28:25

转：嵌入式Linux应用程序开发详解

。接着系统地讲解了嵌入式linux的环境搭建，以及嵌入式linux的i／o与文件系统的开发、进程控制开发、进程间通信开发、网络应用开发、基于中断的开发、设备驱动程序的开发以及嵌入式图形界面的开发等，并且还

2016-06-12 11:11:45

韦东山嵌入式Linux应用开发完全手册.pdf电子版

`【整理】韦东山视频教程集合整理出来，一起学习ARM裸机开发实战嵌入式Linux驱动篇——深度开发之现场从零编写工作中的驱动嵌入式Linux项目篇：数码相框&视频监控&amp

2017-09-18 17:08:56

嵌入式Linux NFS方式下应用程序的实现

嵌入式Linux NFS方式下应用程序的实现:本文在以ARM9 内核芯片，处理器为S3C2410 构造的开发板系统上，详细讨论了如何配置嵌入式Linux NFS 开发环境，并通过一个具体实例来介绍应用

2009-08-02 14:48:54

ARM的嵌入式Linux应用程序开发设计

嵌入式系统已经渗透到人们工作、生活中的各个领域，嵌入式处理器已占分散处理器市场份额的94％。而嵌入式Linux系统也蓬勃发展，不仅继承了Linux

2008-12-12 17:17:15

993

已全部加载完成

搜索历史

嵌入式ARM Linux应用程序项目问题定位

评论