А.Я. Бекшаев Физические основы ЭВМ

1. А.Я. БекшаевФизические основы ЭВМ Лекции для студентов 4-го курса физического факультета ОНУ,Специализация "Компьютерная физика" 2007 – 2009

2. Информация как физическая реальностьТермодинамика вычислений Информация: знание некоторых характеристик физической системы. Физическая система объективно характеризуется значениями координат, скоростей, масс, температур, электрических и магнитных полей, и т.д. всех ее составляющих. Но есть еще и внешний по отношению к системе наблюдатель (познающий субъект), который может иметь или не иметь знание об этих величинах. Оказывается, объективное описание системы недостаточно. Мы должны явно или неявно учитывать присутствие наблюдателя и его возможности. Определение Вселенной (ФЭ, 1988): окружающая часть материального мира, доступная наблюдению. Принципиальное ограничение объема доступных знаний о системе определяет фундаментальные законы ее поведения. Статистическая термодинамика Теория когерентности в оптике Теория относительности Квантовая механика

3. Представление информации – кодирование Информация кодируется состояниями некоторых "стандартных" физических систем, "приспособленных" для этой цели (носителей): чернила на бумаге; электромагнитное, звуковое и т.д. поле; костяшки на счетах; положение стрелки; проницаемость мембран в нейронах; электрический потенциал; намагниченность; пропускание (отражение) света; и т.д. Если информация кодируется непрерывным процессом (величина –носитель может принимать непрерывный ряд значений), то представление называется аналоговым Если носитель принимает дискретный ряд значений, то представление называется дискретным, или цифровым Содержание информации не должно зависеть от специфики носителя.

4. Каждый носитель является физическим объектом и подчиняется общим законам физики. Информация, как совокупность знаний о физическом объекте и как состояние некоторой физической системы, является элементом физической реальности. Двойственнная "физичность" информации: она отражает свойства физической системы (объекта) + сама выражается через состояние физической системы (носителя) Обработка информации подчиняется общим законам, вытекающим из самой природы носителей как физических систем Эти законы определяют реальное поведение и возможности любых информационных устройств: от человеческого мозга… до искусственного мозга, в т.ч. компьютеров Физические свойства каждого конкретного носителя накладывают свои дополнительные требования, которые определяют особенности работы конкретных систем

5. МЕРА ИНФОРМАЦИИ Нет информации: незнание Набор возможностей, между которыми можно выбирать. Неопределенность Есть информация: знание Выбор из набора возможностей совершен. Определенность Извлечение информации: выбор из набора возможностей. Элементарный выбор: из двух равновероятных возможностей (дихотомия). Простейшая информационная ячейка:бинарный элемент Знание, полученное в результате элементарного выбора – одна двоичная единица информации (binary unit = bit) В общем случае: определить какую-либо величину значит указать способ ее измерения. Количество информации можно определить, указав способ устранения начальной неопределенности. Его всегда можно свести к последовательности элементарных выборов между двумя возможностями. Последовательность вопросов, на которые можно ответить "да" или "нет" Наименьшее количество таких вопросов – мера извлекаемой информации

6. Пример Нужная ячейка находится за два шага В случае N = 2n ячеек потребуется n = log2N шагов Если N 2n , 2n–1 < N < 2nчисло шагов может быть то n – 1, то n; в среднем log2N Если двевозможности не равновероятны, то иногда можно угадать результат и без всякого измерения, просто указывая на более вероятную ячейку. Среднее число шагов < 1 Левая ячейка с вероятностью p1, праваяp2 = 1 – p1: n = –(p1log2p1 + p2log2p2) Общий случай: количество информации по Шеннону При pi = 1/N

7. молекула Любая информация может быть представлена в виде совокупности состояний бинарных элементов: иначе говоря, нулей и единиц Пример: числовая информация a020 + a121 + a222 + … + an–12n–-1 = {an–1an–2 … a1a0} 5 = 120 + 021 + 122= {101} nразрядов Физическая реализация бинарных элементов: любая система с двумя устойчивыми состояниями Модель: потенциальные барьеры = стенки Потенциальная энергия Рассмотрим на примерах общие закономерности процессов обработки информации Основные операции: запись (копирование) и стирание

8. Копирование (запись) Частица движется бесконечно медленно (обратимо) Начинает испытывать силу (например, дипольную) Состояние ячейки скопировано Заготовка для копии (пустая ячейка) Закрепление: восстанавливаются перегородки Копируемая ячейка (оригинал) Все поля консервативны: суммарная работа всех сил равна нулю Трение пропорционально скорости и может быть произвольно слабым Копирование информации всегда возможно; оно может происходить без диссипации энергии и без возрастания энтропии Копирование = измерение. Измерение также всегда возможно и может происходить бездиссипативно (обратимо) Важное условие: заготовка для копии пустая (не требуется стирать ранее записанную информацию).

9. Копирование (запись)

10. Стирание 1 0 Битовая ячейка в одном из двух состояний Удаляется перегородка, вставляется поршень Поршень сдвигается так, что независимо от начального состояния молекула оказывается в левой половине (0) Перегородка восстанавливается Узнать, где была молекула раньше, невозможно Информация потеряна! В процессе стирания поршень совершает работу; в изотермическом процессе E = kTln(V1/V2) = kTln2 Соответствующее количество теплоты передается окружению Энтропия окружающей среды возрастает наS=E/T = kln2 Энтропия однобитовой ячейки уменьшается нату же величинуS=E/T = kln2

11. Принцип Ландауэра Стирание одного бита информации сопровождается затратой по крайней мере kTln2= 0.693kTэнергии и увеличением энтропии окружающей среды на kln2 = 0.9610–23Дж/К. Эти количества не могут быть уменьшены, какие бы способы кодирования и стирания информации ни применялись • Замечание 1 (теоретическое). Принцип Ландауэра связывает информацию с физическими концепциями энергии и энтропии. • Замечание 2 (практическое). Хотя в реальности затраты энергии на элементарные операции намного больше ландауэровского предела (2.8710–21Дж = 0.018 эВ при 300 К), принцип подсказывает возможные пути и пределы минимизации энергопотребления компьютеров • Замечание 3. Принцип есть следствие логической необратимости стирания. Аналогичные выводы справедливы и в отношении других логически необратимых операций, например, И, ИЛИ: диссипация энергии составляет kTln2на каждый потерянный бит На входе: 4 равновероятных возможности Iin = 2 бита На выходе: 0 с вероятностью ¾ и 1 с вероятностью ¼ Iout = – (¾)log2(¾) –(¼)log2(¼) = = – (¾)log23 + 2 = – (¾)log23 + (¾) log24 +(¼)log24 Потерянная информация (Iin–Iout) = (¾)log23 = 1.1887 бит E = kTln2(Iin–Iout) = kTln2(¾)log23 = 0.824 kT

12. Принцип Ландауэра и демон Максвелла Ящик с "одномолекулярным" газом М Демон (Д) – интеллектуальное устройство, способное измерять, хранить и использовать информацию Сначала положение молекулы неизвестно. Д ставит перегородку, делящую ящик пополам, и определяет, в какой половине находится молекула В зависимости от результата измерения, Д размещает в ящике поршень с грузом таким образом, чтобы удары молекулы его поднимали "Газ" расширяется и совершает работу. При постоянной температуре A = kT ln(V2/V1) = kT ln2 После того, как поршень сдвинулся и груз был поднят, его удаляют. Система вернулась к исходному состоянию… и совершена работа за счет теплового резервуара при постоянной температуре Нарушено второе начало термодинамики? Упущено: Д, точнее, его память. В памяти осталась информация о состоянии ячейки, которой в начале цикла не было. Вернуть к исходному состоянию – стереть информацию: затратить энергию kT ln2

13. Демон Максвелла, гипотетическое "всемогущее" устройство, способное различать и сортировать молекулы газа, было придумано на заре статистической физики для демонстрации пределов применимости второго начала. Оказывается, включение его "памяти" в состав системы "спасает" второе начало термодинамики от нарушения даже в случае "интеллектуального" вмешательства в систему • Информация оказалась включенной в общее описание состояния системы наравне с ее физическими параметрами: это тоже физическая характеристика, а не просто математическая концепция • Одна и та же система имеет различные физические свойства в зависимости от имеющейся информации (в одном случае она способна совершить работу, в другом – нет) • Устройства хранения информации ("память демона") – физические объекты и должны рассматриваться в одном контексте с "явными" объектами системы • Введенная мера информации оказывается согласованной с общефизическими понятиями энергии и энтропии • Обращение принципа Ландауэра: любая неслучайная комбинация битов может быть использована для производства работы за счет рандомизации (адиабатическое размагничивание, … )

14. Информационная энтропия Возможен и другой подход: не включать память "демона" явно в состав сиcтемы, но учесть "знание" о системе в описании ее состояния. Полученное от резервуара количество теплоты A = kT ln2 =Q = TS Произведенная механическая работа Изменение обычной термодинамической энтропии ячейки Работа, затраченная на стирание информации Ae = –kT ln2 A+ Ae =TS–kT ln2 =TSg Полная совершенная в процессе работа Sg= S–k ln2 = 0 Можно сохранить обычное выражение второго закона термодинамики (TS 0 в замкнутом цикле), если ввести эффективную энтропию системы Sg= S–k ln2 = (S+ Si) S – обычная термодинамическая энтропия, зависящая только от ее состояния Siзависит от того, что знает о системе наблюдатель: информационная энтропия Si= –kln2 (на один бит) В общем случае, если есть Iбит информации: Si= –Ikln2 Наличие информации о системе может быть учтено, если "подправить" значение ее энтропии.

15. В определении энтропии как суммы термодинамической и информационной еще раз подчеркивается физическое значение информации. Через информационную энтропию информация напрямую включается в формулировку второго начала термодинамики. Оказывается, если мы имеем два физически тождественных состояния системы, но в одном случае мы ничего не знаем о ее состоянии, а во втором имеем какую-то информацию, то эти состояния различаются фундаментально. В одном случае мы можем получить работу, в другом – нет! Информация материальна: всегда связана с физическими объектами (носителями) Материя информационна: знания о системе придают ей дополнительные свойства. По некоторым предположениям, объективные характеристики физического мира неразрывно связаны с существованием наблюдателя(антропный принцип)

16. Взаимосвязь энтропии и информации Информационная энтропия Si= –Ikln2 отличается от количества информации I только множителем – kln2 Фактически это одна и та же величина, но измеренная в других единицах. По Больцману S= –kpilnpi = kln2(– pilog2pi) = kln2IT количество "отсутствующей" информациио термодинамическом состоянии (то, что можно было бы извлечь, если знать состояние точно) Отличие в знаке. Информация о системе уменьшает ее энтропию. Обычная энтропия есть мера нашего незнания точного микросостояния системы Система может совершать работу, если ее энтропия не максимальна. Информация меньше энтропия  больше возможности совершать работу За каждый бит можно получить до kTln2 полезной работы

17. Обратимые вычисления Обычные алгоритмы широко используют необратимые операции (например, И, ИЛИ, стирание…). С каждой такой операцией связана диссипация энергии. Можно ли создать компьютер без необратимых операций? Нужно ли это делать? • В любом реальном случае диссипация энергии значительно превышает предел Ландауэра. Однако при дальнейшем уменьшении размеров и энергопотребления теоретически неизбежная диссипация начинает влиять все сильнее. Выход: логически обратимый компьютер? • Вариант: запоминать все промежуточные результаты в специальном ЗУ. Неудобно, требуется много лишней памяти, проблема не решается, а только откладывается. • Важность физической необратимости: она позволяет нивелировать небольшие ошибки (если |1 - это 5 В, то 4.5 или 5.6 В тоже |1). • Тем не менее, полезно иметь возможность снизить диссипацию до произвольно малого уровня и не зависеть от термодинамических ограничений. • Логически обратимые операции важны и для квантового компьютера, потому что в квантовой механике возможны только обратимые операции. • Это привело к поиску логически обратимых алгоритмов. Квантовый, баллистический, брауновский компьютер

18. INPUT OUTPUT 0 0 0  0   0  0 0 0 1 0 0 1 0 1 0 0 1 0 0 1 1 0 1 1 1 0 0 1 0 0 1 0 1 1 0 1 1 1 0 1 1 1 3-битовый вход и выход, если 2 первых бита оба равны 1, то третий бит инвертируется. 1 1 1 1 1 0 выход = вход (тождество) 3-й битинвертируется Обратимые вентили Вентили – это устройства, которые выполняют заданные операции над логическими (бинарными) данными Другое название – логические элементы: И, ИЛИ, НЕ, … Из обычных операцийобратимы только отрицание (НЕ) и исключительное ИЛИ (XOR). Но они не образуют полного набора. Надо ввести еще хотя бы один стандартный элемент, например Toffoli gate (вентиль Тоффоли, 1980). Число входов = числу выходов Когда третий вход = 0, между двумя первыми входами и третьим выходом реализуется И Эта 2-битовая операция «встроена» в 3-битовую. Можно считать, что «лишние» входы и выходы обеспечивают логическую обратимость.

19. Этот вентиль может быть моделирован биллиардными шарами (баллистический компьютер). Входные шары влетают одновременно слева, сталкиваются с «зеркалами» и друг с другом. Механическая обратимость движения шаров соответствует логической обратимости. Входные данные являются частью выходных, два различающихся бита кодируют операцию. x f(x) x  x, f(x) Динамическая нестабильность: малейшие возмущения "уводят" компьютер от заданной программы (система шаров становится хаотической). Хаотизация: основной недостаток классических обратимых компьютеров. Можно восстанавливать "правильные" сигналы, но это сопряжено с диссипацией. Иначе – хаотизация. Можно ли ее использовать?

20. Вероятность шага вперед Вероятность шага назад Брауновский компьютер Тепловой шум влияет настолько сильно, что все движения похожи на случайные блуждания. Траектории удерживаются в желаемых пределах потенциальными барьерами, дрейф в требуемом направлении обеспечивается «движущей силой» (в термодинамическом смысле). Примеры в биохимии (обратимые реакции). Барьеры в несколькоkTпреодолеваются в ходе проб и ошибок, барьеры ~100kT (covalent bond) предотвращают нежелательные реакции. Мера движущей силы – высвобождаемая энергия, т.е. диссипация: В нормальных условиях редупликация ДНК идет со скоростью около 30 нуклеотидов в секунду, на каждый шаг тратится ~20kT, вероятность ошибки < 0.0001. В условиях близких к равновесию (11 шагов вперед и 10 назад диссипацияkT ln(11/10) ~ 0.1kTна нуклеотид).

21. Вероятность шага вперед Вероятность шага назад Может ли брауновский компьютер выполнять необратимые операции? Необратимость возникает при ветвящихся процессах: В точках ветвления движущая сила должна быть достаточно большой Если у текущего состояния есть m «предшественников», вероятность обратного шага возрастает в m раз: Для того, чтобы процесс продвигался, необходимо  > kTlnm. Чаще всего m = 2. Это еще одно обоснование принципа Ландауэра: Диссипация энергии при логически необратимых операциях гарантирует, что процесс вычислений идет в нужном направлении