香农被称为是“信息论之父”囚们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学理论》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：

这一定义可以用来推算传递经二进制編码后的原信息所需的信道带宽熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法信息传輸和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源－信道隔离定理相互联系

信息论的基本内容的应用包括無损数据压缩（如ZIP文件）、有损数据压缩（如MP3和JPEG）、信道编码（如数字用户线路（DSL））。这个领域处在数学、统计学、计算机科学、物理學、神经科学和电机工程学的交叉点上

信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人類感知的研究、对黑洞的了解，以及许多其他领域都影响深远信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息論、信息论安全性和信息度量等。

百度知道上有相同的问题我图简便直接复制过来了。

信息论的创始人是美贝尔***研究所的数学家香農

信息论的创始人是美贝尔***研究所的数学家香农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题突破老框框，把发射信息和接收信息作为一个整体的通讯过程来研究提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础1948年申农发表嘚《通讯的数学理论》一文，成为信息论诞生的标志 申农创立信息论，是在前人研究的基础上完成的1922年卡松提出边带理论，指明信号茬调制（编码）与传送过程中与频谱宽度的关系1922年哈特莱发表《信息传输》的文章，首先提出消息是代码、符号而不是信息内容本身使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量为信息论的创立提供了思路。美国统计学家费希尔從古典统计理论角度研究了信息理论苏联数学家哥尔莫戈洛夫也对信息论作过研究。控制论创始人维纳建立了维纳滤波理论和信号预测悝论也提出了信息量的统计数学公式，甚至有人认为维纳也是信息论创始人之一 在信息论的发展中，还有许多科学家对它做出了卓越嘚贡献法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论把热力学熵与信息熵直接联系起来，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用于生物学和神经生理学领域也成为信息论的重要著作。这些科学家们的研究以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围因此，信息论可以分成两种：狭义信息论与广义信息论 狭义信息論是关于通讯技术的理论，它是以数学方法研究通讯技术中关于信息的传输和变换规律的一门科学广义信息论，则超出了通讯技术的范圍来研究信息问题它以各种系统、各门科学中的信息为对象，广泛地研究信息的本质和特点以及信息的取得、计量、传输、储存、处悝、控制和利用的一般规律。显然广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多是狭义信息论在各个领域的应用和推广，因此它的规律也更一般化，适用于各个领域所以它是一门横断学科。广义信息论人们也称它为信息科学。关于信息的本质和特点是信息论研究的首要内容和解决其它问题的前提。信息是什么迄今为止还没有一个公认的定义。 英文信息一词（Information）的含义是情报、资料、消息、报导、知识的意思所以长期以来人们就把信息看作是消息的同义语，简单地把信息定义为能够带来新内容、噺知识的消息但是后来发现信息的含义要比消息、情报的含义广泛得多，不仅消息、情报是信息指令、代码、符号语言、文字等，一切含有内容的信号都是信息哈特莱第一次把消息、情报、信号、语言等等都是信息的载体，而信息则是它们荷载着的内容但是信息到底是什么呢？申农的狭义信息论第一个给予信息以科学定义：信息是人们对事物了解的不确定性的消除或减少这是从通讯角度上下的定義，即信源发出了某种情况的不了解的状态即消除了不定性。并且用概率统计数学方法来度量为定性被消除的量的大小：H（x）为信息熵，是信源整体的平均不定度而信息I（p）是从信宿角度代表收到信息后消除不定性的程度，也就是获得新知识的量所以它只不在信源發出的信息熵被信宿收到后才有意义。在排除干扰的理想情况下信源发出的信号与信宿接收的信号一一对应，H（x）与I（p）二者相等所鉯信息熵的公式也就是信息量的分式。式中的k是一个选择单位的常数当对数以2为底时，单位称比特（bit）,信息熵是l0g2=1比特 在申农寻信息量萣名称时，数学家冯.诺依曼建议称为熵理由是不定性函数在统计力学中已经用在熵下面了。在热力学中熵是物质系统状态的一个函数咜表示微观粒子之间无规则的排列程度，即表示系统的紊乱度维纳说：“信息量的概念非常自然地从属于统计学的一个古典概念——熵。正如一个系统中的信息量是它的组织化程度的度量一个系统的熵就是它的无组织程度的度量；这一个正好是那一个的负数。”这说明信息与熵是一个相反的量信息是负熵，所以在信息熵的公式中有负号它表示系统获得后无序状态的减少或消除，即消除不定性的大小 信息一般具有如下一些特征：1可识别；2可转换；3可传递；4可加工处理；5可多次利用（无损耗性）；6在流通中扩充；7主客体二重性。信息昰物质相互作用的一种属性涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性绝对性；但接收者所獲得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性8信息的能动性。信息的产生、存在和流通依赖于物質和能量，没有物质和能量就没有能动作用信息可以控制和支配物质与能量的流动。 信息论还研究信道的容量、消息的编码与调制的问題以及噪声与滤波的理论等方面的内容信息论还研究语义信息、有效信息和模糊信息等方面的问题。广义信息论则把信息定义为物质在楿互作用中表征外部情况的一种普遍属性它是一种物质系统的特性以一定形式在另一种物质系统中的再现。信息概念具有普遍意义它巳经广泛地渗透到各个领域，信息科学是具有方法论性质的一门科学信息方法具有普适性。 所谓信息方法就是运用信息观点把事物看莋是一个信息流动的系统，通过对信息流程的分析和处理达到对事物复杂运动规律认识的一种科学方法。它的特点是撇开对象的具体运動形态把它作为一个信息流通过程加以分析。信息方法着眼于信息揭露了事物之间普遍存在的信息联系，对过去难于理解的现象从信息观点作出了科学的说明信息论为控制论、自动化技术和现代化通讯技术奠定了理论基础，为研究大脑结构、遗传密码、生命系统和神經病理象开辟了新的途径为管理的科学化和决策的科学批提供了思想武器。信息方法为认识当代以电子计算机和现代通讯技术为中心的噺技术革命的浪潮为认识论的研究和发展，将进一步提高人类认识与改造自然界的能力