信息论与编码技术

信息是信息论中最基本、最重要的概念，既抽象又复杂
信息在日常生活中被认为是“消息”、“知识”、“情报”等
“信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；
“信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息；
信息不同于信号，信号是承载消息的物理量；
信息不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。
消息：用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。
知识：一种具有普遍和概括性质的高层次的信息 ，以实践为基础，通过抽象思维，对客观事物规律性的概括。
情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识 。
它们之间有着密切联系但不等同 ，信息的含义更深刻、广泛就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。
信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。
 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：
离散(数字)消息，一组未知量，可用随机序列来描述：            X=(X1…Xi…Xn)
连续(模拟)消息，未知量，它可用随机过程来描述：            X( t, ω)
信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。
信息、消息和信号是既有区别又有联系的三个不同的概念。
消息中包含信息，是信息的载体。
信号携带着消息，它是消息的运载工具。
信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
而信号则是抽象信息在物理层表达的外延；                      消息则是抽象信息在数学层表达的外延。
同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。
同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。