1 / 67

Информационные ресурсы и Интернет-технологии для наук об окружающей среде

Информационные ресурсы и Интернет-технологии для наук об окружающей среде. Фазлиев А.З. Институт оптики атмосферы СО РАН, Томск. Содержание 1. Данные атмосферных наук 2. Агентные технологии 3. Семантический Интернет 4. Построение Интернет ресурсов.

herman-carter
Download Presentation

Информационные ресурсы и Интернет-технологии для наук об окружающей среде

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Информационные ресурсы и Интернет-технологии для наук об окружающей среде Фазлиев А.З. Институт оптики атмосферы СО РАН, Томск Содержание 1. Данные атмосферных наук 2. Агентные технологии 3. Семантический Интернет 4. Построение Интернет ресурсов

  2. 1. Данные - критический ресурс, который необходимо сохранять, защищать и организовывать доступ для всех пользователей и в любое время суток. 2. Значимость научных данных - в их использовании. 3. Архив данных должен быть расширяемым, вместительным и доступным. 4. Адекватная документация, или метаданные, являются необходимыми для преодоления барьеров в использовании научных данных.-> Semantic Web 5. Приемлемая и эффективная стратегия архивирования данных основана на использовании распределенных архивов, управляемых теми кто обладает предметным знанием о данных.-> GRID Принципы обращения с данными

  3. Данные наблюденийвключают в себя числовую информацию (печатную и электронную), графический материал и словесное описание. Записи существуют на бумаге, пленке (микрофиши), магнитные диски, цифровая оптическая среда. Припроведениибольшихпроектовустанавливаетсяединыйформатданных (World Ocean Circulation Experiment, World Climate Research Project, NASA’s Mission to Planet Earth). В небольших проектах не обращают внимание на форматы данных, т.к. исследователи планируют и осуществляют работу со своими данными в узком кругу научного сообщества. Проблема состоит в такой подготовке сложно структурированных научных данных при которой их структура и интерпретация доступна всем уровням пользователей. Структура данных должна допускать все возможные пути полного восстановления информации о получении, архивировании и обработке данных. Наблюдаемые данные в физических науках

  4. Объемы некоторых наборов данных в атмосферных науках

  5. Большая часть атмосферных данных меняется динамически, растет и модифицируется. В силу природы погоды временные ряды наблюдений никогда не будут “полными”. Экспедиционные программы заканчиваются конечным набором данных. • Архивы глобальных данных. Наилучшее положение в США. Лучший набор данных с 1950-х. Тем не менее, многие значимые данные других стран недостижимы для ученых США (и в некоторых случаях недостижимы также для ученых представляющих эти страны). • Метеорологические и другие атмосферные данные используются для разных целей в разных временных масштабах. Выделим три из них: • 1. текущие (реальный масштаб времени) • 2. недавнее прошлое или коротко-временная ретроспектива • 3. ретроспектива или отдаленное прошлое. Данные атмосферных наук

  6. Информационные технологии для исследований и сотрудничества Статистика. Научная информация удваивается за 12 лет и 90% всех ученых живут в настоящее время. Компьютеры, коммуникации, информационные технологии стали необходимым инструментом. Требования для сбора и организации доступа к массивам данных, трудности развития и работы с комплексными моделями данных, необходимость вычислений (достигаемых с помощью компьютерных систем высокой производительности или за счет распределенной сети вычислений) и растущее понимание того, что решение многих научных проблем находится на стыке научных дисциплин ставит задачи развития информационных технологий в науке. Две крайности – знать все больше и больше о все меньшем и меньшем или знать все меньше и меньше о все большем и большем.

  7. Центры распределенных данных (DAAC) • Alaska Synthetic Aperture Radar (SAR) Facility (ASF) DAAC Polar processes and SAR products • EROS Data Center(EDC) Land Processes DAAC Land processes • Goddard Space Flight Center(GSFC) DAAC Upper atmosphere, global biosphere, atmospheric dynamics, and geophysics • Jet Propulsion Laboratory (JPL) Physical Oceanography DAAC (PO-DAAC) Physical oceanography • Langley Research Center (LaRC) DAAC Radiation budget, tropospheric chemistry, clouds, and aerosols • National Snow and Ice Data Center (NSIDC) DAAC Snow and ice, cryosphere (non-SAR) and climate • Oak Ridge National Laboratory (ORNL) DAAC Biogeochemical dynamics • Socioeconomic Data and Applications Center (SEDAC) at the Consortium for International Earth Science Information Network (CIESIN) Human interactions in the environment • Global Hydrology Resource Center (GHRC) at Marshall Space Flight Center Hydrological cycle • National Climatic Data Center (NCDC) of National Oceanic and Atmospheric Administration (NOAA) Climate and weather • National Geophysical Data Center (NGDC) of NOAA • Solid Earth geophysics, marine geology and geophysics, solar terrestrial physics, and paleoclimatology • National Oceanographic Data Center (NODC) of NOAA Oceanography • Satellite Active Archive (SAA) of National Oceanic and Atmospheric Administration (NOAA) Satellite remote sensing

  8. EOSDIS • Создатели ECS строят ИС для сбора и обработки данных исвязи всех данных DAAC • Инструментальные и научные команды развивают алгоритмы для обработки данных и генерации продуктов данных • DAAC обрабатывает и обеспечивает сервисы пользователя • EOSDIS устанавливает требования для ИС и координирует систему DAAC • Стоимость DAAC • Бюджет EOSDIS составляет 2.000.000.000$ на 10 лет. • 30% каждый год тратится на ПО, аппаратное обеспечение и зарплату (60.000.000$) • Остальное тратится на получение данных и оплату коммуникаций

  9. Goddard Space Flight Center Основной инструмент - MODIS DAAC cоздан в 1993 Атмосферные науки и гидрология; данные по химии верхней атмосферы, глобальной биосферы , атмосферной динамики и климатологии Содержит 4Тб исторических данных и предполагается получение 2000Тб данных с платформы АМ-1 Бюджет 1997г. 9.200.000$

  10. Goddard Space Flight Center Источники данных • TOMS -данные спутников Nimbus и Метеор (1978-1994) • UARS - результаты измерений 9 разных инструментов с 1991 - 1999 • TIROS, TOVS - 1-D данные 1978 - 1994 • SeaWiFS -локальные, региональные и глобальные данные • GEDEX - локальные, региональные и глобальные данные за 1980-е • ISLSCP - глобальные данные с разрешением 1гр. (1987-88) • CZCS - данные с разрешением 1-, 4-, и 20-км. (1978-1986) • AVHRR - данные с разрешением (1981-1994) • DAO - данные с разрешением 2 и 2.5 гр. (1985-1993) • MODIS, MAS - данные на магнитной ленте (9 компаний) • TOGA-COARE - данные спутниковых, самолетных и наземных измерений (1992-1993) • Interdisciplinary Climatology Data Collection - ежемесячные данные с разрешением 1 на 1 гр. (суша, океан и атмосфера)

  11. Langley Research Center Организован в 1989 г. Построена собственная ИС ориентированная на управление данными CERES. Данные по тропосферной химии, радиационному бюджету (дистанционное зондирование и полевые измерения), облакам и аэрозолям . Объем данных - на начальной стадии 90 Гб., в 1999 - 3.3Тб, после окончания эксперимента (CERES/TRMM) 155Тб, (CERES, MOPITT, MISR) - 1106Tб. Бюджет 7.900.000$ (1998) Формат данных - HDF и другие

  12. Langley Research Center Источники данных • ACRIM II - данные по солнечному излучению (с 1991) • ERBE - радиационный бюджет, глобальные данные за сутки и месяцы (с 1989) • CERES - облака и радиация (с 1986) • Nimbus-7 ERB - глобальные данные (с 1975 по 1978) • SRB (Surface Radiation Budget) - радиационный бюджет (с 1985 по 1988) • SSE (Surface Solar Energy) - данные (с 1985 по 1988) • ISCCP - глобальные суточные данные (с 1983 по 1995) • FIRE - региональные суточные данные (1986, 1987, 1991, 1992) • SUCCESS - самолетные и наземные измерения (1996) • ARB - данные по аэрозолю (с 1982) • SAGE I, II - данные по аэрозолю и газам (1979-1981, 1984- ) • SAM II - данные с полярных областей (с 1978 по 1993) • GTE - региональные данные (1988, 1990, 1992, 1996) • MAPS - данные с полета челноков (1984 - 1994) • NVAP - глобальные данные по водяному пару (1988 - 1992) • …………...

  13. EROS Data Center Центр создан в 1992 г. Направления :биология, гидрология, лимнология и экология Данные по процессам происходящим на поверхности и вблизи ее В настоящее время данных - 9Тб, предполагается 50Тб в год от Landsat 7 и 80 - 145 Тб в год с платформы AM - 1. Бюджет 13.700.000$ в 2000г. Формат данных - HDF

  14. EROS Data Center Источники данных AVHRR - глобальные и региональные данные с разрешением 1.1 км (с 1992) SIR-C - 6 часовые глобальные данные полета SS (1994) GNOPO30 - данные 30*30 угл. секунд Landsat Pathfinder - сезонные глобальные региональные данные (1970 - 1999) Aircraft Scanners - ежемесячные локальные данные (с 1987)

  15. References • 1. 1993 Review of the World Center-A for Meteorology and the National Climatic Data Center, National Academy Press, Washington, D.C., 1994 • 2. 1993 Data Forum: A Review of an Implementation Plan for U.S. Global Change Date and Information Systems, National Academy Press, 1994 • 3. Preserving Scientific Data On Our Physical Universe, National Academy Press, Washington, D.C. 1995 • 4. A Data Foundation For The National Spatial Data Infrastructure, National Academy Press, 1995 • 5. Supporting Research and Data Analysis in NASA's Science Programs. Engines for Innovation and Synthesis, National Academy Press, Washington, D.C., 1998 • 6. National Collaboratories: Applying Information Technology for Scientific Research, National Academy Press, 1999 • 7. Review of NASA's Distributed Active Archive Centers, National Academy Press, 1999 • 8. Global Environmental Change: Research Pathways for the Next Decade, National Academy Press, 1999 • 9. The Atmospheric Sciences Entering the Twenty-First Century, National Academy Press, Washington, D.C., 1999

  16. http://badc.nerc.ac.uk

  17. Dataset Index Airborne Antarctic Ozone Experiment (AAOE-87) , Airborne Arctic Stratospheric Expedition (AASE), Airborne Arctic Stratospheric Expedition II (AASE II), Airborne Southern Hemisphere Ozone Experiment (ASHOE), Along Track Scanning Radiometer (ATSR-I) , Atmospheric Chemistry studies in the Ocean Environment (ACSOE) , Climatology Interdisciplinary Data Collection (CIDC) , Cloud & Water Vapour Experiment for Model Comparisons at Chilbolton (CWAVE) , Cloud Archive User Service data (CLAUS)   , CLOUDMAP2 ATSR cloud products , Coupled Ocean Atmosphere and European Climate (COAPEC) , Cryogenic Limb Array Etalon Spectrometer (CLAES L3) , Earth Radiation Budget Experiment (ERBE)  , ECMWF 15-year re-analysis data (ERA-15), ECMWF 40-year re-analysis data (ERA-40), ECMWF Trajectories, European Space Agency -"Measurement of H2O Absorption Cross-Sections“, ……

  18. Дополнительная информация Unidata Program Center http://my.unidata.ucar.edu/ DLESE (Digital Library for Earth System Education) http://www.dlese.org Alexandria Digital Library Geospatial Network http://www.alexandria.ucsb.edu/ _____________________________________________________ Е.Д.Вязилов Информационные ресурсы о состоянии природной среды, М., Эдиториал УРСС, 2001, 312с.

  19. "The bane of my existence is doing things that I know the computer could do for me." “Моё существование отравляет выполнение той работы, которую мог бы за меня сделать компьютер.” Dan Connolly, The XML Revolution Программные Агенты • Что такое программный агент? (software agent) • Типы программных агентов • Роли программных агентов • Будущее агентов Pattie Maes, MIT Media Group

  20. Что такое агент? • Бесполезный термин • “Агент” теоретическая концепция из ИИ • Вычислительная система, которая • долго живет • имеет цели, сенсоры и исполнительные органы • автономно решает какие действия принять в текущей ситуации для выполнения цели за минимальное время

  21. Типы агентов • Автономные роботы • Синтетические характеры • Помощники эксперта • Программные агенты, “знаботы”(knowbots), “прогботы” (softbots)

  22. Что такое программный агент? • Программный агент – это один из типов агентов помогающих пользователю при решении компьютерных проблем.

  23. Чемагент отличается от прочего программного обеспечения? • Персонифицирован, ориентирован на определенную цель • Инициативен • Автономен и долгоживуч • Адаптивен

  24. Зачем нужны программные агенты? • Большинство задач решаются на компьютерах • Огромное количество неструктурированной информации • Большинство пользователей не подготовлены • Переход от прямой манипуляции к непрямому управлению

  25. Прямая манипуляция • Задачи, решаемые этим способом • - замкнутый,статический, относительно маленький и структурированный информационный мир • Используемые методы • - визуализация объектов • - действия на объекты в интерфейсе соответствующего действиям над реальными объектами • - ничего не происходит без действий пользователя

  26. Непрямое управление/ агенты • Задачи, решаемые этим способом • - открытый, динамический, огромный и неструктурированный информационный мир • Используемые методы • - пользователь делегирует агенту свои интересы, привычки и предпочтения • - агенты делают предположения и/или действуют от имени пользователя. • Действие происходит во времени независимо от того активен или нет пользователь

  27. Критика программных агентов (Lanier, Schneiderman) • Хорошо продуманный интерфейс всегда предпочтителен • У меня нет желания решать задачу самостоятельно • Агенты делают пользователя чайником • Каждый имеет право отказаться от услуг агента • Агенты никогда не будут интеллектуальнымии не должны быть они получают знания от пользователя • Агенты не существуют • Они уже есть

  28. Программный агент = ? экспертная система • Наивный пользователь • - агенты -> “средние” пользователи; экспертные системы -> пользователи – эксперты • Задачи • - агенты -> типовые задачи; экспертные системы -> комплексные задачи • Персонификация • агенты -> разные действия; экспертные системы -> одни и те же • Активность и автономия • агенты -> самостоятельны; экспертные системы -> пассивны • Адаптивность • агенты -> обучаемы и изменяемы; экспертные системы -> остаются неизменными

  29. Типы программных агентов • Параметры, по которым они различаются: • Суть поставленной задачи • - работать с пользователем или в качестве фоновой программы? • Природа и источник “интеллекта” • - Как агент построен? Кто его программирует? • Мобильность/локальность • - Где он находится? Может ли двигаться? • Выполняемые роли • - В каких задачах он может помочь пользователю?

  30. Суть поставленной задачи • Агенты пользователя: помогают пользователю, знают интересы, привычки и предпочтения, могут действовать по поручению • - например, редактор личных новостей, личный гид в Интернете, личный торговый агент и т.д. • Сервисные агенты: решают более общие задачи в фоновом режиме • - веб-индексирование, поиск информации, балансирование загрузки телефонной сети

  31. Природа “интеллекта” Программируется пользователем – пользователь непосредственно обеспечивает правила и критерии - наиболее простым образом - не очень замысловато - в соответствие с профессиональной подготовкой - коммерчески оправдано На основе искусственного интеллекта – создается традиционной основанной на знаниях техникой ИИ - очень сложные правила - замысловатые - программируются инженером по знаниям - даже коммерчески не реализовано

  32. Программные агенты пользователя

  33. Агенты, основанные на знаниях

  34. Природа “интеллекта” Обучаемые агенты – “программы сами по себе” Образцы действий пользователя - средней сложности - “интеллектуалы” в ключевых областях (на которых сосредоточены интересы пользователей) - появляются коммерческие версии

  35. Обучение агента пользователем

  36. Обучение от других агентов

  37. Заипротивподходов Программируемый пользователем агент: + простота настройки+ приспосабливается к пользователю- пользователь не может распознать возможностей агента - пользователь не любит программировать - агент не адаптируется - агент не обладает здравым смыслом

  38. Заипротивподходов Агентсискусственным интеллектом: + изощренный, основан на базе знаний + агентготов к работе без предварительной настройки - не приспосабливаетсякпользователю - дорогое решение - агентнеадаптируется

  39. Заипротивподходов Обучаемый пользователем агент: + агент адаптируется + приспосабливаетсякпользователю + управляемая комплексность - агенту нужно время для обучения и переобучения - агент копирует предшествующие образцы - агент не обладает здравым смыслом

  40. Какойподходлучше? • Комбинация 3 подходов: • Дает агенту доступ к фоновому знанию, • имеющемуся в распоряжении • Позволяет пользователю программировать • агента, особенно в начальной стадии или • после резкой смены поведения пользователя • Агент обучается адаптации и изменениям

  41. SEMANTIC WEB

  42. XML • Популярный язык документов. • Часть языка SGML. • Иногда называют "ASCII для веба". • Коммуникационная структура, семантика отсуствует. • Дерево подобная структура. xmlns • Связывает элементы и атрибуты XML с URI. • Однозначно определяет элементы и атрибуты. • Основание для документов со многими словарями.

  43. Пример

  44. Пример

  45. Принципы Semantic web • Любая вещь может иметь URI#xxx. • Словари можно объединять и со временем заменять. • Документы описывают себя сами. • " Каждый может сказать все обо всем." • Ни одна система не знает всего. • Дизайн должен быть минимальным.

  46. Любая вещь может иметь URI#xxx Не употребляйте термин “Creator”. Используйте http://dublincore.org/2003/03/24/dces#creator” <rdf:Property rdf:about="http://purl.org/dc/elements/1.1/creator"> <rdfs:label xml:lang="en-US">Creator</rdfs:label> <rdfs:comment xml:lang="en-US"> An entity primarily responsible for making the content of the resource.</rdfs:comment> <dc:description xml:lang="en-US"> Examples of a Creator include a person, an organisation, or a service. Typically, the name of a Creator should be used to indicate the entity.</dc:description> <rdfs:isDefinedBy rdf:resource="http://purl.org/dc/elements/1.1/"/> <dcterms:issued>1999-07-02</dcterms:issued> <dcterms:modified>2002-10-04</dcterms:modified> <dc:type rdf:resource="http://dublincore.org/usage/documents/principles/#element"/> <dcterms:hasVersion rdf:resource="http://dublincore.org/usage/terms/history/#creator-004"/> </rdf:Property>

  47. Основа Semantic web для данных • Можно кодировать в XML • Простота и математическая обоснованность • Это и естьResource Description Framework (RDF)

  48. Описание ресурсов по молекуляной спектроскопии

  49. Уровень RDF схемы • Минимальная модель - (thing), Class, Property • Subproperty, Subclass • Domain & Range • Comments & labels Уровень онтологии • Расширение описания метаинформации, за счет • Transitive property, • Unique, • Unambiguous, • Cardinality, • etc

More Related