Клод шеннон дал следующее определение понятия информация. Кто такой клод шеннон и чем он знаменит

Клод Элвуд Шеннон — известный американский инженер и математик. Его работы совмещают связь математических идей с анализом весьма сложного процесса их технической реализации. Клод Шеннон знаменит в первую очередь благодаря разработке теории информации, которая служит основой современных высокотехнологических систем связи. Шеннон внес огромный вклад в ряд наук, которые входят в понятие «кибернетики» — он создал теорию вероятности схем, теорию автоматов и систем управления.

Клод Шеннон — становление инженерного гения

Клод Шеннон родился в 1916 году в городе Гейлорд, штат Мичиган, США. Технические конструкции, как и общность математических процессов, интересовали его с ранних лет. Все свое свободное время он решал математические задачи и возился с радиоконструкторами и детекторными приемниками.

Неудивительно, что будучи студентом Мичиганского университета, Шеннон одновременно специализировался в математике и электротехнике. Благодаря высокой образованности и разнообразию интересов, первый огромный успех к Шеннону пришел уже во время учебы в аспирантуре Массачусетского технологического университета. Тогда ему удалось доказать, что работу электрических схем реле и переключателей можно представить посредством алгебры. За это величайшее открытие Клод Шеннон был удостоен Нобелевской премии. Причину своего ошеломляющего успеха он объяснил достаточно скромно: «Просто до меня никто не изучал математику и электротехнику одновременно.»

Шеннон и криптография

В 1941 году Шеннон стал сотрудником Bell Laboratories, где его основной задачей была разработка сложных криптографических систем. Эта работа позволила ему создать методы кодирования с возможностью коррекции ошибок.

Клод Шеннон стал первым, кто подошел к изучению криптографии с научной точки зрения, опубликовав в 1949 году статью под названием «Теория связи в секретных системах». Эта статья состояла из трех разделов. Первый раздел содержал основные математические структуры секретных систем, второй — раскрывал проблемы «теоретической секретности», третий — освещал понятие «практической секретности». Так, главной заслугой Шеннона в криптографии стало подробное исследование понятия абсолютной секретности систем, в котором он доказал факт существования и необходимые условия для существования абсолютно стойких не раскрываемых шифров.

Клод Шеннон стал первым, кто сформулировал теоретические основы криптографии и раскрыл суть многих понятий, без которых криптография, как наука не существовала бы.

Основоположник информатики

В какой-то момент своей деятельности, Клод Шеннон поставил перед собой задачу улучшить передачу информации по телефонным и телеграфным каналам, которые находятся под воздействием электрических шумов. Тогда ученый выяснил, что наилучшим решением данной проблемы станет более эффективная «упаковка» информации. Однако прежде, чем приступить к исследованиям ему пришлось ответить на вопрос, что же такое информация и чем измерить ее количество. В 1948 году в статье «Математическая теория связи» он описал определение количества информации через энтропию, величину, которая известна в термодинамике как мера разупорядоченности системы, а наименьшую единицу информации назвал «битом».

Позже, основываясь на своих определениях количества информации, Шеннону удалось доказать гениальную теорему о пропускной способности зашумленных каналов связи. В годы ее разработки, теорема не нашла практического применения, зато в современном мире высокоскоростных микросхем она находит применение везде, где хранится, обрабатывается или передается информация.

Почти современник

Вклад Клода Шеннона в науку и его результаты трудно переоценить, ведь без его открытий стало бы невозможным существование компьютерной техники, Интернета и всего цифрового пространства. Кроме теорий, которые положили начало развития информационных технологий, гениальный инженер и математик так же сделал вклад в развитие многих других областей. Он одним из первых доказал то, что машины не только способны выполнять интеллектуальную работу, но и обучаться. В 1950 году, он изобрел механическую радиоуправляемую мышку, которая благодаря сложной электронной схеме могла найти дорогу в лабораторию самостоятельно. Также он стал автором устройства, которое было способно складывать кубик Рубика, а так же изобрел Гекс – электронное устройство для настольных игр, которое всегда побеждало соперников.

Гениальный ученый и изобретатель умер на 84 году жизни в 2001 году от болезни Альцгеймера в массачусетском доме престарелых.

В старых энциклопедиях "Информации" не было. За "Инфлянтами Польскими" там сразу следовали "Инфралапсарии". И когда такая статья появилась в общедоступном издании, Малой Советской Энциклопедии 1929 года выпуска, смысл термина информация был очень далек от современного.

Информация (лат.), осведомление. Информационный - осведомительный. В органах периодической печати информационный отдел - та часть газеты, журнала и т.п., которая содержит телеграммы, корреспонденции, интервью, а также сведения, даваемые репортерами".

Многочисленные в те годы информаторы, снабжающие любознательные организации данными о жизни сослуживцев и соседей, в общедоступные издания по понятным причинам не попадали. Но интересно, что хотя в технике связи, особенно в стационарных каналах, ключ Морзе был к тому времени вытеснен стартстопными аппаратами, но деятельность вышеописанных информаторов в народе описывали лаконично - "стучат". "Компьютерре" лишь в следующем веке предстояло поведать читателям, что дятел в лесу работает как живой модем, а мудрое коллективное бессознательное уже присвоило тем многочисленным и скромным информационным работникам лапидарное - "дятел"!

Древние римляне употребляли слово informatio в смысле - истолкование, представление, - но вот современное, исключительно емкое понятие информация есть плод развития в равной мере и науки, и технологии. Латинское in-formo (придавать форму, составлять, воображать) употреблялось еще Цицероном и связано с платоновскими первоидеями через греческое, весьма многозначное, eidos. Но полноценный термин "информация" появился сравнительно поздно, даже позже первых электронно-вычислительных машин, и атомных котлов, и бомб.

Ввел его Клод Шеннон (Claude Shannon) в работе 1948 года "A Mathematical Theory of Communication". И вызвала его к жизни суровая практическая необходимость передавать сообщения по изобилующим шумами каналам. Точно так же, как поколениями раньше необходимость учета динамических характеристик телеграфных линий породила гениальные труды Хевисайда.

Вводится понятие информации чисто математически. Достаточно популярное, но и точное понятие дано в старой, весьма известной в СССР работе братьев Ягломов. Информация вводится как оппозиция, противостояние энтропии. Шуму, хаосу, неопределенности, "незнанию".

А энтропия в теорию коммуникаций была введена еще раньше, в 1928 году пионерскими работами американского инженера-электроника Ральфа Винтона Лайона Хартли. Отметим, кстати, что, говоря о чисто практических задачах связи, Хартли упомянул "психологические факторы", влияющие на меру неопределенности. Вообще же, используемым им (и позже Шенноном) математическим аппаратом была теория вероятности. Дисциплина, возникшая из любви французских аристократов к азартным играм.

И понятие энтропии в те времена даже в физике носило эмоциональный окрас, - еще бы! - ведь самым первым следствием этой ранней формулировки стало понимание невозможности создания Вечного двигателя второго рода. Устройства, которое могло бы производить работу за счет одной только рассеянной вокруг теплоты.

Проникновение этих понятий в научную среду было крайне драматичным. Прежде всего - "тепловая смерть" Вселенной. Для того чтобы представить, как эта концепция воспринималась в годы ее оформления, нужно обратиться к интеллектуальной атмосфере девятнадцатого века. Хоть и начавшийся мясорубкой, учиненной военно-бюрократической машиной Наполеона, век этот оказался временем торжества прогресса.

И тут в благолепие прогресса, сияющей дороги к усложнению и счастью, вторглось представление о неубывании хаоса, о ПРЕДСКАЗАННОЙ НАУКОЙ "тепловой смерти" Вселенной. Нет, не о Светопреставлении религий, за которым следует новая жизнь среди новых небес и на новой земле. О научной, ощутимой и безысходной всеобщей гибели, хоть и весьма отдаленной, но абсолютно неминуемой.

И осознавали это не только ученые. Обратимся к чеховской "Чайке".

Вот монолог Нины Заречной в эпизоде с вставной пьесой нарочито плохого литератора: "Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом, - словом, все жизни, все жизни, свершив свой печальный круг, угасли... <...> Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно...."

Вспомним самоубийство сына К. Э. Циолковского, вызванное, по мнению биографов, ужасом грядущей "тепловой смерти". Ведь действительно, для сторонников материализма, весьма распространенного в интеллектуальных кругах того времени, прекращение молекулярного движения из-за достижения максимума энтропии означало ВСЕОБЩУЮ гибель. Жизнь делалась бессмысленной для человека, склонного к обобщениям и к экстраполяциям.

Введение Ральфом Хартли понятия энтропии при передаче сообщений, и - Клодом Шенноном - ее антитезы - уже собственно информации, при всей своей видимой ТЕХНИЧНОСТИ были событиями колоссального мировоззренческого значения. Впервые позитивные науки, причем рука об руку с инженерным делом, тогдашним фронтиром хайтека, пришли туда, где до этого царили философия, метафизика и теология.

Забавнее всего на теорию информации и кибернетику реагировали в сталинском СССР. Казалось бы - триумф материализма. Но не тут-то было... В большевистской стране для теории информации (как и теории относительности, квантовой механики, нестационарной Вселенной) в своде идеологических основ места не предусмотрели. Ну не успели классики марксизма об этом высказаться. Да и не могли ещё... И была совсем юная кибернетика объявлена продажной девкой империализма. Попытки реабилитации ее в начале шестидесятых уже ничего не решали. Впрочем, это - тема для отдельного разговора.

А введенная Шенноном концепция информации, преобразовав окружающий нас мир, став основой Второй природы, все больше и больше возвращается в теоретическую физику. Израильский физик, создатель термодинамической теории черных дыр Якоб Давид Бекенштайн (Bekenstein, р.1947) предположил5,что это - общая тенденция современного естествознания.

В феномене "квантового спутывания" частиц (quantum entanglement) информация предстает в одной из своих новых одежд, а возможно, и новыми чертами своего характера. Но главное - чем больше и больше мы узнаем окружающее, тем яснее видим глубокие связи информации с объективным миром.

Из журнала "Компьютерра"
Информация forever

Ральф. Хартли родился в Ели, Штате Невада, 30 ноября 1888. Он получил высшее образование со степенью A.B. от Университета Юты в 1909. Как Родосский Ученый, он получил степень B.A. в 1912 и степень B.Sc. в 1913 от Оксфордского университета. После возвращения из Англии, Хартли присоединился к Научно-исследовательской лаборатории Западной Электрической Компании и принял участие в создании радиоприемника для трансатлантических тестов. В течение Первой мировой войны, Хартли решил проблемы, которые препятствовали развитию направленных искателей звукового типа.

После войны ученый вплотную занялся проблемой передачи информации (в частности звуковой). В течение этого периода он сформулировал закон, "что общая сумма информации, которая может быть передана, пропорциональна переданному частотному диапазону и времени передачи." Хартли был пионером в области Информационной Теории. Он ввёл понятие "информации" как случайная переменная и был первый, кто попытался определить "меру информации" (1928: " Передача Информации", в Технологии Системы Звонка. Журнал, издание 7, стр 535-563). Публикация в том же самом журнале как Nyquist, и все же не цитируя Nyquist (или кто - либо еще, впрочем), Хартли развивал понятие информации, основанной на "физическом как противопоставлено с психологическими рассмотрениями" для использования в изучении электронных коммуникаций. Фактически, Хартли соответственно определяет это основное понятие. Вместо этого он обращается к "точности... информации" и "количества информации".

Информация существует в передаче символов, с символами, имеющими "определенные значения к партийному сообщению". Когда кто - то получает информацию, каждый полученный символ позволяет получателю "устранять возможности", исключая другие возможные символы и их связанные значения. "

Точность информации зависит от того, что другие последовательности символа, возможно, были выбраны"; мера этих других последовательностей обеспечивает признак количества переданной информации. Nyquist тогда предлагает, чтобы мы взяли "как наша практическая мера информации логарифм числа возможных последовательностей символа". Таким образом, если бы мы получили 4 различных символа, происходящие с равной частотой, то это представило бы 2 бита Хартли награжден премиями за отличия в области науки, этот ученый состоял в американской Ассоциации Продвижения Науки. Хартли принадлежат больше чем 70 патентов (изобретений). Ральф В.л. Хартли умер 1 мая 1970 в возрасте 81 года.

Клод Элвуд Шеннон (Shannon) (1916 - 2001) - американский инженер и математик. Человек, которого называют отцом современных теорий информации и связи.

Осенним днем 1989 года корреспондент журнала "Scientific American" вошел в старинный дом с видом на озеро к северу от Бостона. Но встретивший его хозяин, 73-летний стройный старик с пышной седой гривой и озорной улыбкой, совсем не желал вспоминать "дела давно минувших дней" и обсуждать свои научные открытия 30-50-летней давности. Быть может, гость лучше посмотрит его игрушки?

Не дожидаясь ответа и не слушая увещеваний жены Бетти, хозяин увлек изумленного журналиста в соседнюю комнату, где с гордостью 10-летнего мальчишки продемонстрировал свои сокровища: семь шахматных машин, цирковой шест с пружиной и бензиновым двигателем, складной нож с сотней лезвий, двухместный одноколесный велосипед, жонглирующий манекен, а также компьютер, вычисляющий в римской системе счисления. И не беда, что многие из этих творений хозяина давно сломаны и порядком запылены, - он счастлив.

Кто этот старик? Неужели это он, будучи еще молодым инженером Bell Laboratories, написал в 1948 году "Великую хартию" информационной эры - "Математическую теорию связи"? Его ли труд назвали "величайшей работой в анналах технической мысли"? Его ли интуицию первооткрывателя сравнивали с гением Эйнштейна? Да, это все о нем. И он же в тех же 40-х годах конструировал летающий диск на ракетном двигателе и катался, одновременно жонглируя, на одноколесном велосипеде по коридорам Bell Labs. Это Клод Элвуд Шеннон, отец кибернетики и теории информации, гордо заявивший: "Я всегда следовал своим интересам, не думая ни о том, во что они мне обойдутся, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи."

Клод Шеннон родился в 1916 году и вырос в городе Гэйлорде штата Мичиган. Еще в детские годы Клод познакомился как с детальностью технических конструкций, так и с общностью математических принципов. Он постоянно возился с детекторными приемниками и радиоконструкторами, которые приносил ему отец, помощник судьи, и решал математические задачки и головоломки, которыми снабжала его старшая сестра Кэтрин, ставшая впоследствии профессором математики. Клод полюбил эти два мира, столь несхожие между собой, - технику и математику.

Будучи студентом Мичиганского университета, который он окончил в 1936 году, Клод специализировался одновременно и в математике, и в электротехнике. Эта двусторонность интересов и образования определила первый крупный успех, которого Клод Шеннон достиг в свои аспирантские годы в Массачусетском технологическом институте. В своей диссертации, защищенной в 1940 году, он доказал, что работу переключателей и реле в электрических схемах можно представить посредством алгебры, изобретенной в середине XIX века английским математиком Джорджем Булем. "Просто случилось так, что никто другой не был знаком с этими обеими областями одновременно!" - так скромно Шеннон объяснил причину своего открытия.

В наши дни совершенно излишне объяснять читателям компьютерного издания, что значит булева алгебра для современной схемотехники. В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories. В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. А в свободное время он начал развивать идеи, которые потом вылились в теорию информации. Исходная цель Шеннона заключалась в улучшении передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. Он быстро пришел к выводу, что наилучшее решение проблемы заключается в более эффективной упаковке информации.

Но что же такое информация? Чем измерять ее количество? Шеннону пришлось ответить на эти вопросы еще до того, как он приступил к исследованиям пропускной способности каналов связи. В своих работах 1948-49 годов он определил количество информации через энтропию - величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу информации принял то, что впоследствии окрестили "битом", то есть выбор одного из двух равновероятных вариантов. Позже Шеннон любил рассказывать, что использовать энтропию ему посоветовал знаменитый математик Джон фон Нейман, который мотивировал свой совет тем, что мало кто из математиков и инженеров знает об энтропии, и это обеспечит Шеннону большое преимущество в неизбежных спорах. Шутка это или нет, но как трудно нам теперь представить, что всего полвека назад понятие "количество информации" еще нуждалось в строгом определении и что это определение могло вызвать какие-то споры.

На прочном фундаменте своего определения количества информации Клод Шеннон доказал удивительную теорему о пропускной способности зашумленных каналов связи. Во всей полноте эта теорема была опубликована в его работах 1957-61 годов и теперь носит его имя. В чем суть теоремы Шеннона? Всякий зашумленный канал связи характеризуется своей предельной скоростью передачи информации, называемой пределом Шеннона. При скоростях передачи выше этого предела неизбежны ошибки в передаваемой информации. Зато снизу к этому пределу можно подойти сколь угодно близко, обеспечивая соответствующим кодированием информации сколь угодно малую вероятность ошибки при любой зашумленности канала.

Эти идеи Шеннона оказались слишком провидческими и не смогли найти себе применения в годы медленной ламповой электроники. Но в наше время высокоскоростных микросхем они работают повсюду, где хранится, обрабатывается и передается информация: в компьютере и лазерном диске, в факсимильном аппарате и межпланетной станции. Мы не замечаем теорему Шеннона, как не замечаем воздух.

Кроме теории информации, неуемный Шеннон приложился во многих областях. Одним из первых он высказал мысль о том, что машины могут играть в игры и самообучаться. В 1950 году он сделал механическую мышку Тесей, дистанционно управляемую сложной электронной схемой. Эта мышка училась находить выход из лабиринта. В честь его изобретения IEEE учредил международный конкурс "микромышь", в котором до сих пор принимают участие тысячи студентов технических вузов. В те же 50-е годы Шеннон создал машину, которая "читала мысли" при игре в "монетку": человек загадывал "орел" или "решку", а машина отгадывала с вероятностью выше 50%, потому что человек никак не может избежать каких-либо закономерностей, которые машина может использовать.

В 1956 году Шеннон покинул Bell Labs и со следующего года стал профессором Массачусетского технологического института, откуда ушел на пенсию в 1978 году. В числе его студентов был, в частности, Марвин Мински и другие известные ученые, работавшие в области искусственного интеллекта.

Труды Шеннона, к которым с благоговением относятся деятели науки, столь же интересны и для специалистов, решающих сугубо прикладные задачи. Шеннон заложил основание и для современного кодирования с коррекцией ошибок, без которого не обходится сейчас ни один дисковод для жестких дисков или система потокового видео, и, возможно, многие продукты, которым еще только предстоит увидеть свет.

В МТИ и на пенсии им полностью завладело его давнее увлечение жонглированием. Шеннон построил несколько жонглирующих машин и даже создал общую теорию жонглирования, которая, впрочем, не помогла ему побить личный рекорд - жонглирование четырьмя мячиками. Еще он испытал свои силы в поэзии, а также разработал разнообразные модели биржи акций и опробовал их (по его словам - успешно) на собственных акциях.

Но с начала 60-х годов Шеннон не сделал в теории информации практически больше ничего. Это выглядело так, как будто ему всего за 20 лет надоела созданная им же теория. Такое явление - не редкость в мире науки, и в этом случае об ученом говорят одно слово: перегорел. Как лампочка, что ли? Мне кажется, более точным было бы сравнение ученых со звездами. Самые мощные звезды светят не долго, около ста миллионов лет, и кончают свою творческую жизнь вспышкой сверхновой, в процессе которой происходит нуклеосинтез: из водорода и гелия рождается вся таблица Менделеева. Мы с вами состоим из пепла этих звезд, и так же наша цивилизация состоит из продуктов быстрого сгорания самых мощных умов. Есть звезды второго типа: они горят ровно и долго и миллиарды лет дарят свет и тепло населенным планетам (по крайней мере, одной). Исследователи такого типа тоже очень нужны науке и человечеству: они сообщают цивилизации энергию развития. А звезды третьего сорта - красные и коричневые карлики - светят и греют чуть-чуть, лишь себе под нос. Таких ученых хватает, но в статье о Шенноне говорить о них просто неприлично.

В 1985 году Клод Шеннон и его жена Бетти неожиданно посетили Международный симпозиум по теории информации в английском городе Брайтоне. Почти целое поколение Шеннон не появлялся на конференциях, и поначалу его никто не узнал. Затем участники симпозиума начали перешептываться: вон тот скромный седой джентльмен - это Клод Элвуд Шеннон, тот самый! На банкете Шеннон сказал несколько слов, немного пожонглировал тремя (увы, только тремя) мячиками, а затем подписал сотни автографов ошеломленным инженерам и ученым, выстроившимся в длиннейшую очередь. Стоящие в очереди говорили, что испытывают такие же чувства, какие испытали бы физики, явись на их конференцию сам сэр Исаак Ньютон.

Клод Шеннон скончался в 2001 году в массачусетском доме для престарелых от болезни Альцгеймера на 84 году жизни.

По материалам статьи Сергея Серого в газете "Компьютерные Вести", №21, 1998 г.
Адрес сайта:

Анатолий Ушаков, д. т. н, проф. каф. систем управления и информатики, университет «ИТМО»

Многие поколения технических специалистов второй половины XX века, даже достаточно далекие от теории автоматического управления и кибернетики, выйдя из стен вузов, на всю жизнь запомнили названия «авторских» научно-технических достижений: функции Ляпунова, марковские процессы, частота и критерий Найквиста, винеровский процесс, фильтр Калмана. Среди таких достижений почетное место занимают теоремы Шеннона. В 2016 г. исполняется сто лет со дня рождения их автора - ученого и инженера Клода Шеннона.

«Кто владеет информацией, тот владеет миром»

У. Черчилль

Рис. 1. Клод Шеннон (1916–2001)

Клод Элвуд Шеннон (Claude Elwood Shannon) (рис. 1) родился 30 апреля 1916 г. в городе Петоцки, расположенном на берегу озера Мичиган штата Мичиган (США), в семье юриста и преподавателя иностранных языков. Его старшая сестра Кэтрин увлекалась математикой и со временем стала профессором, а отец Шеннона совмещал работу адвоката с радиолюбительством. Дальним родственником будущего инженера был прославившийся на весь мир изобретатель Томас Эдисон, имевший 1093 патента.

Шеннон закончил общеобразовательную среднюю школу в 1932 г. в возрасте шестнадцати лет, одновременно получив дополнительное образование на дому. Отец покупал ему конструкторы и радиолюбительские наборы и всячески содействовал техническому творчеству сына, а сестра привлекала его к углубленным занятиям математикой. Шеннон полюбил оба эти мира - технику и математику.

В 1932 г. Шеннон поступил в Мичиганский университет, который окончил в 1936 г., получив степень бакалавра по двум специальностям: математика и электротехника. Во время обучения он нашел в библиотеке университета две работы Джорджа Буля (George Boole) - «Математический анализ логики» и «Логическое исчисление», написанные в 1847 и 1848 годах соответственно. Шеннон тщательным образом их изучил, и это, по-видимому, определило его дальнейшие научные интересы.

После окончания университета Клод Шеннон устроился на работу в лабораторию электротехники Массачусетского технологического института (MTИ) ассистентом-исследователем, где работал над задачами модернизации дифференциального анализатора Ванневара Буша (Vannevar Bush), вице-президента МТИ, - аналогового «компьютера». С этого времени Ванневар Буш стал научным наставником Клода Шеннона. Изучая сложные, узкоспециализированные релейные и переключательные электросхемы устройства управления дифференциальным анализатором, Шеннон понял, что концепции Джорджа Буля могут получить в этой области достойное применение.

В конце 1936 г. Шеннон поступает в магистратуру, а уже в 1937 г. он пишет реферат диссертации на соискание степени магистра и на его основе готовит статью «Символьный анализ реле и переключательных схем», которая была опубликована в 1938 г. в издании Американского института инженеров-электриков (AIEE). Эта работа привлекла к себе внимание научного электротехнического сообщества, и в 1939 г. Американским обществом гражданских инженеров (American Society of Civil Engineers) Шеннону была присуждена за нее Премия имени Альфреда Нобеля.

Еще не защитив магистерской диссертации, Шеннон по совету Буша решил работать над докторской по математике в МТИ, касающейся задач генетики. По мнению Буша, генетика могла стать удачной проблемной областью приложения знаний Шеннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 г. и посвящена проблемам генной комбинаторики. Шеннон получил докторскую степень по математике и в это же время защитил диссертацию на тему «Символьный анализ реле и переключательных схем», став магистром электротехники.

Докторская диссертация Шеннона не получила большой поддержки у генетиков и по этой причине никогда не была опубликована. Однако диссертация на степень магистра оказалась прорывной в коммутационной и цифровой технике. В последней главе диссертации было приведено много примеров успешного применения разработанного Шенноном логического исчисления к анализу и синтезу конкретных релейных и переключательных схем: селекторных схем, замка с электрическим секретом, двоичных сумматоров. Все они наглядно демонстрируют совершенный Шенноном научный прорыв и огромную практическую пользу от формализма логического исчисления. Так родилась цифровая логика.

Рис. 2. Клод Шеннон в Bell Labs (середина 1940-х гг.)

Весной 1941 г. Клод Шеннон становится сотрудником математического отделения научно-исследовательского центра Bell Laboratories (рис. 2). Следует сказать несколько слов об атмосфере, в которую попал 25-летний Клод Шеннон, - ее создавали Гарри Найквист (Harry Nyquist), Хенрик Боде (Hendrik Bode), Ральф Хартли (Ralph Hartley), Джон Тьюки (John Tukey) и другие сотрудники Bell Laboratories. Все они уже имели определенные результаты в разработке теории информации, которые Шеннон со временем разовьет до уровня большой науки.

В это время в Европе уже шла война, и Шеннон проводил исследования, которые широко финансировало правительство США. Работа, которую Шеннон выполнял в Bell Laboratories, была связана с криптографией, что привело его к необходимости заняться математической теорией криптографии и со временем позволило проводить анализ зашифрованных текстов информационно-теоретическими методами (рис. 3).

В 1945 г. Шеннон завершил большой секретный научный отчет на тему «Математическая теория криптографии» («Communication Theory of Secrecy Systems»).

Рис. 3. У шифровальной машины

В это время Клод Шеннон был уже близок к тому, чтобы выступить перед научной общественностью с новыми базовыми концепциями по теории информации. И в 1948 г. он опубликовал свой эпохальный труд «Математическая теория связи» . Математическая теория связи Шеннона предполагала трехкомпонентную структуру, составленную из источника информации, приемника информации и «транспортной среды» - канала связи, характеризующегося пропускной способностью и способностью искажать информацию при передаче. Возник определенный круг проблем: как количественно оценить информацию, как ее эффективно упаковывать, как оценить допустимую скорость вывода информации из источника в канал связи с фиксированной пропускной способностью, чтобы гарантировать безошибочную передачу информации, и, наконец, как решить последнюю задачу при наличии помех в канале связи? На все эти вопросы Клод Шеннон дал человечеству исчерпывающие ответы своими теоремами.

Следует сказать, что коллеги по «цеху» помогли Шеннону с терминологией. Так, термин для минимальной единицы количества информации - «бит» - предложил Джон Тьюки, а термин для оценки среднего количества информации на символ источника - «энтропия» - Джон фон Нейман (John von Neumann). Свою основополагающую работу Клод Шеннон изложил в виде двадцати трех теорем. Не все теоремы равноценны, часть из них носит вспомогательный характер или посвящена частным случаям теории информации и ее передачи по дискретным и непрерывным каналам связи, но шесть теорем являются концептуальными и составляют каркас здания теории информации, созданной Клодом Шенноном.

1. Первая из этих шести теорем связана с количественной оценкой информации, генерируемой источником информации, в рамках стохастического подхода на основе меры в виде энтропии с указанием ее свойств.
2. Вторая теорема посвящена проблеме рациональной упаковки символов, генерируемых источником, при их первичном кодировании. Она породила процедуру эффективного кодирования и необходимость введения в структуру системы передачи информации «кодера источника».
3. Третья теорема касается проблемы согласования потока информации из источника информации с пропускной способностью канала связи в условиях отсутствия помех, гарантирующего отсутствие искажения информации при передаче.
4. Четвертая теорема решает ту же задачу, что и предыдущая, но в условиях наличия в двоичном канале связи помех, действия которых на передаваемую кодовую посылку сообщения способствуют вероятности искажения произвольного бита кода. Теорема содержит условие замедления передачи, гарантирующее заданную вероятность безошибочной доставки кодовой посылки получателю. Данная теорема является методологической основой помехозащитного кодирования, которая привела к необходимости введения в структуру системы передачи «кодера канала».
5. Пятая теорема посвящена оценке пропускной способности непрерывного канала связи, характеризующегося некоторой частотной полосой пропускания и заданными мощностями полезного сигнала и сигнала помехи в канале связи. Теорема определяет так называемую границу Шеннона.
6. Последняя из теорем, именуемая теоремой Найквиста - Шеннона-Котельникова, посвящена проблеме безошибочного восстановления непрерывного сигнала по его дискретным по времени отсчетам, которая позволяет сформулировать требование к величине временного интервала дискретности, определяемого шириной частотного спектра непрерывного сигнала, и сформировать базисные функции, именуемые функциями отсчета.

Следует сказать, что изначально у многих математиков мира вызвала сомнения доказательная база этих теорем. Но со временем научная общественность убедилась в корректности всех постулатов, найдя им математические подтверждения. В нашей стране этому делу отдали свои силы Хинчин А.Я. и Колмогоров А.Н. .

В 1956 г. знаменитый Клод Шеннон покидает стены Bell Laboratories, не порывая с ней связей, и становится полным профессором сразу двух факультетов Массачусетского технологического института: математического и электротехнического.

Рис. 4. Лабиринт Шеннона

У Клода Шеннона всегда было много интересов, совершенно не связанных с его профессиональной деятельностью. Выдающийся инженерный талант Шеннона проявлялся в создании всевозможных машин и механизмов, среди которых механическая мышь «Тезей», решающая лабиринтную задачу (рис. 4), вычислительная машина с операциями над римскими цифрами, а также вычислительные машины и программы для игры в шахматы.

В 1966 г. в возрасте 50 лет Клод Шеннон удаляется от преподавательской деятельности и практически полностью посвящает себя своим хобби. Он создает одноколесный велосипед с двумя седлами, складной нож с сотней лезвий, роботов, собирающих кубик Рубика, и робота, жонглирующего шарами. Кроме того, Шеннон и сам продолжает оттачивать мастерство жонглирования, доведя количество шаров до четырех (рис. 5). Свидетели его молодости в Bell Laboratories вспоминали, как он разъезжал по коридорам фирмы на одноколесном велосипеде, при этом жонглируя мячами.

Рис. 5. Клод Шеннон - жонглер

К сожалению, у Клода Шеннона не было тесных контактов с советскими учеными. Тем не менее ему удалось посетить СССР в 1965 г. по приглашению Научно-технического общества радиотехники, электроники и связи (НТОРЭС) имени А.С. Попова. Одним из инициаторов этого приглашения был многократный чемпион мира по шахматам Михаил Ботвинник, доктор технических наук, профессор, который также был электротехником и интересовался шахматным программированием. Между Михаилом Ботвинником и Клодом Шенноном состоялась оживленная дискуссия о проблемах компьютеризации шахматного искусства. Участники пришли к выводу, что это очень интересно для программирования и бесперспективно для шахмат. После дискуссии Шеннон попросил Ботвинника сыграть с ним в шахматы и по ходу игры даже имел небольшое преимущество (ладью за коня и пешку), но все же проиграл на 42-м ходу.

Последние годы жизни Клод Шеннон тяжело болел. Он скончался в феврале 2001 г. в массачусетском доме престарелых от болезни Альцгеймера на 85-м году жизни.

Клод Шеннон оставил богатое прикладное и философское наследие. Им создана общая теория устройств дискретной автоматики и вычислительной техники, технология эффективного использования возможностей канальной среды. Все современные архиваторы, используемые в компьютерном мире, опираются на теорему Шеннона об эффективном кодировании. Основу его философского наследия составляют две идеи. Первая: целью всякого управления должно быть уменьшение энтропии как меры неопределенности и беспорядка в системной среде. Управление, которое не решает этой задачи, является избыточным, т. е. ненужным. Вторая состоит в том, что все в этом мире в каком-то смысле есть «канал связи». Каналом связи является и человек, и коллектив, и целая функциональная среда, и промышленность, и транспортная структура, и страна в целом. И если не согласовывать технические, информационные, гуманитарные, правительственные решения с пропускной способностью канальной среды, на которую они рассчитаны, то хороших результатов не жди.

Вконтакте

Литература

1. Shannon C. E. A Mathematical Theory of Communication. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Collected Papers. N. Y., 1993. P. 8-111.
2. Shannon C. E. Communication in the presence of noise. Proc.IRE. 1949. V. 37. № 10.
3. Shannon C. E. Communication Theory of Secrecy Systems. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Collected Papers. N. Y., 1993. P. 112-195.
4. Автоматы. Сборник статей под ред. К. Э. Шеннона, Дж. Маккарти / Пер. с англ. М.: Из-во Ин. лит. 1956.
5. Robert M. Fano Transmission of information: A statistical theory of communication. Published Jointly by the M.I.T., PRESS and JOHN WILEY & SONS, INC. New York, London. 1961.
6. www. research.att. com/~njas/doc/ces5.html.
7. Колмогоров А. Н. Предисловие // Работы по теории информации и кибернетике / К. Шеннон; пер. с англ. под. ред. Р. Л. Добрушина и О.Б. Лупанова; предисл. А. Н. Колмогорова. М., 1963.
8. Левин В. И. К.Э. Шеннон и современная наука // Вестник ТГТУ. 2008. Том 14. №3.
9. Винер Н. Я. – математик / Пер. с англ. М.: Наука. 1964.
10. Хинчин А. Я. Об основных теоремах теории информации. УМН 11:1 (67) 1956.
11. Колмогоров А. Н. Теория передачи информации. // Сессия Академии Наук СССР по научным проблемам автоматизации производства. 15–20 окт.1956 г. Пленарное заседание. М.: Изд-во АН СССР, 1957.
12. Колмогоров А. Н. Теория информации и теория алгоритмов. М.: Наука, 1987.

Клод Элвуд Шеннон (англ. Claude Elwood Shannon; 30 апреля 1916, Петоцки, Мичиган, США - 24 февраля 2001, Медфорд, Массачусетс, США) - американский инженер, криптоаналитик и математик. Cчитается «отцом информационного века».

Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Предоставил фундаментальные понятия, идеи и их математические формулировки, которые в настоящее время формируют основу для современных коммуникационных технологий. В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации (в статье «Математическая теория связи»). Кроме того, понятие энтропии было важной особенностью теории Шеннона. Он продемонстрировал, что введенная им энтропия эквивалентна мере неопределённости информации в передаваемом сообщении. Статьи Шеннона «Математическая теория связи» и «Теория связи в секретных системах» считаются основополагающими для теории информации и криптографии. Клод Шеннон был одним из первых, кто подошел к криптографии с научной точки зрения, он первым сформулировал ее теоретические основы и ввел в рассмотрение многие основные понятия. Шеннон внес ключевой вклад в теорию вероятностных схем; теорию игр; теорию автоматов и теорию систем управления - области наук, входящие в понятие «кибернетика».

Биография

Детство и юность

Клод Шеннон родился 30 апреля 1916 года в городе Петоцки (штат Мичиган, США). Отец его, Клод-старший (1862-1934), был бизнесменом, добившимся успеха своими собственными силами, адвокатом и в течение некоторого времени судьей. Мать Шеннона, Мейбел Вулф Шеннон (1890-1945), была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Отец Шеннона обладал математическим складом ума и давал себе отчёт в своих словах. Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрел стиральную машину вместе с многой другой полезной в сельском хозяйстве техникой. Томас Эдисон был дальним родственником Шеннонов.

Первые шестнадцать лет своей жизни Клод провел в Гэйлорде (Мичиган), где в 1932 году закончил Гэйлордскую общеобразовательную среднюю школу. В юности он работал курьером службы Western Union. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось ремонтировать радиостанции для местного универмага.

Шеннон, по собственным словам, был аполитичным человеком и атеистом.

Университетские годы

В 1932 году Шеннон был зачислен в Мичиганский университет, где на одном из курсов познакомился с работами Джорджа Буля. В 1936 году Клод окончил Мичиганский университет, получив степень бакалавра по двум специальностям (математик и электротехник), и устроился в Массачусетский технологический институт (MIT), где работал ассистентом-исследователем. Он выполнял обязанности оператора на механическом вычислительном устройстве, аналоговом компьютере, называемом «дифференциальный анализатор», разработанным его научным руководителем Вэниваром Бушем. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шеннон увидел, что концепции Буля могут получить достойное применение. После того, как он проработал лето 1937 года в Bell Telephone Laboratories, он написал основанную на своей магистерской работе того же года статью «Символический анализ релейных и переключательных схем». Необходимо отметить, что Фрэнк Лорен Хичкок контролировал магистерскую диссертацию, давал полезную критику и советы. Сама статья была опубликована в 1938 году в издании Американского института инженеров-электриков (AIEE). В этой работе он показал, что переключающиеся схемы могут быть использованы для замены схем с электромеханическими реле, которые использовались тогда для маршрутизации телефонных вызовов. Затем он расширил эту концепцию, показав, что эти схемы могут решить все проблемы, которые позволяет решить Булева алгебра. Также, в последней главе он представляет заготовки нескольких схем, например, 4-разрядного сумматора. За эту статью Шеннон был награждён Премией имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Доказанная возможность реализовывать любые логические вычисления в электрических цепях легла в основу проектирования цифровых схем. А цифровые цепи - это, как известно, основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шеннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».