Declarative overlay
This presentation is the property of its rightful owner.
Sponsored Links
1 / 59

Declarative Overlay PowerPoint PPT Presentation


  • 47 Views
  • Uploaded on
  • Presentation posted in: General

Declarative Overlay. Alunos: Ailton Sergio Bonifacio - Doutorando Caio Ruan Nichele - Mestrando Diogo Andrade - Graduando   E-mail: {ailtons, caio, [email protected] Professor: Eduardo Almeida. Maio/2010. UFPR / Departamento de Informática. Linguagem Declarativa Exemplo: PROLOG

Download Presentation

Declarative Overlay

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Declarative overlay

Declarative Overlay

Alunos:Ailton Sergio Bonifacio - Doutorando

Caio Ruan Nichele - Mestrando

Diogo Andrade - Graduando  

E-mail: {ailtons, caio, [email protected]

Professor:

Eduardo Almeida

Maio/2010

UFPR / Departamento de Informática


Roteiro

Linguagem Declarativa

Exemplo: PROLOG

Rede Overlay

Overlay Declarativa

P2

Questões em Aberto

Trabalhos Futuros

Conclusão

Roteiro


Linguagem declarativa

Linguagem Declarativa

  • Um programa é “declarativo” se ele descreve como é algo, ao invés de como criá-lo.

  • Uma abordagem diferente da tradicional linguagem de programação imperativa, tais como Fortran, C e Java, que exigem do programador um específico algoritmo para ser executado.

  • A linguagem declarativa descreve ao computador um conjunto de condições específicas, deixando ao computador decidir como processar as informações de melhor modo.


Linguagem declarativa1

Linguagem Declarativa

  • Um programa é “Declarativo” se está escrito em uma linguagem de programação funcional ou linguagem de programação lógica.

  • A linguagem declarativa permite ao programador se concentrar na lógica do algoritmo, isto é, sua preocupação está em definir critérios, e não decidir ações.


Linguagem declarativa caracter sticas

Linguagem Declarativa – Características

  • Modelo de computação baseado num sistema onde as relações são específicas em termos de características dos dados de entrada;

  • Composta por conjuntos de definições ou equações que descrevem as relações que especificam o que deve ser computado, e não como ser computado;

  • Não existe ordem específica para execução;

  • Valores podem ser utilizados como expressões e definições.


Prolog

PROLOG

  • Linguagem baseada em um conjunto de conceitos:

    • casamento de padrões;

    • estruturação em forma de árvore;

    • backtracking automático.

  • Prolog é uma linguagem de programação que utiliza o modelo declarativo, com lógica matemática;

  • É uma linguagem especialmente associada com a inteligência artificial e semântica computacional;

  • Apresenta uma semântica declarativa inerente à lógica.


Prolog1

PROLOG

  • Conciliar o uso da lógica como uma linguagem declarativa de representação do conhecimento com a representação procedimental do conhecimento;

  • Suporta código recursivo e iterativo para a descrição de processos e problemas;

  • Permite associar o processo de especificação ao processo de codificação de programas;

  • Utiliza uma base de dados de fatos e de relações lógicas (regras) que exprimem o domínio relacional do problema a resolver.


Prolog2

PROLOG

  • PROLOG é mais direcionada ao conhecimento, menos direcionada aos algoritmos;

  • PROLOG não possui estruturas de controle como do-while, repeat-until, if-then-else, for, case ou switch como os encontrados em outras linguagens;

  • Em PROLOG utiliza-se métodos lógicos para declarar como o programa atinge seu objetivo;

  • A força do PROLOG reside em sua capacidade de Busca e Casamento de Padrões.


Prolog3

PROLOG

  • Permite a obtenção de respostas alternativas, uma vez que várias soluções diante da base de dados podem ser encontradas;


Prolog conceitos

PROLOG: conceitos

  • Átomos

    • As constantes de texto são introduzidas por meio de átomos. Um átomo é uma seqüência constituída de letras e números, mas iniciando com uma letra minúscula.

    • Ex. joaquim, 'quem é você?' , guarda-roupa

  • Números

    • Um número é uma seqüência de dígitos, permitindo também os sinais de . (para números reais), - (número negativo) e e (notação científica).

    • Ex. 814, 54.876

  • Variáveis

    • Variáveis são declaradas da mesma forma que átomos, porém iniciando com uma letra maiúscula.

    • Ex. Minha-var, Teste


Prolog conceitos1

PROLOG: conceitos

  • Termo Composto

    • É a única forma de se expressar estruturas de dados complexas em Prolog;

    • Consiste de uma cabeça e parâmetros listados entre parênteses e separados por vírgulas.

    • Ex. suc(suc(suc(0)))

  • Predicado

    • É a construção usada para declarar algo a respeito de objetos. Em Prolog, a declaração é representada por um átomo e é seguida pelos objetos, que devem ser colocados entre parênteses e estar separados uns dos outros por vírgulas.

    • Ex. robô(joão) , homem(silvestre)


Prolog conceitos2

PROLOG: conceitos

  • Frases

    • Consultas à base de dados de fatos

      • casado(pedro,maria).

      • casado(carlos,ana).

      • ?- casado(carlos,maria).

      • ?- casado(carlos,ana).

  • Fatos

    • gosta (josé, maria)


Prolog conceitos3

PROLOG: conceitos

  • Regras

    • São utilizadas para construir relações entre fatos, explicitando as dependências entre eles. Ao contrário dos fatos, que são incondicionais, as regras especificam coisas que podem ser verdadeiras se algumas condições forem satisfeitas.

    • Ex. gosta (joão, X) :- gosta (X, cachaça).


Prolog conceitos4

PROLOG: conceitos

  • Dizemos que dois fatos (ou um fato e uma questão) se unificam (são iguais) se:

    • seus predicados são os mesmos,

    • eles possuem o mesmo número de argumentos e,

    • os argumentos são iguais.

    • o PROLOG encontra um fato que se iguala a questão, ele retorna "YES", indicando que a questão tem resposta verdadeira; caso contrário, ele retorna "NO".


Prolog exemplo

PROLOG - exemplo

  • Programa:

    factorial (0,1).

    factorial (N,F) :-

    N>0,

    N1 is N-1,

    Factorial (N1,F1),

    F is N*F1.

  • Consulta:

    ?- factorial(3,W).


Prolog exemplo1

PROLOG - exemplo

Estrutura de Árvores


Exemplo concatenando listas a e b

Exemplo: Concatenandolistasa e b

list procedure cat(list a, list b)

{

list t = list u = copylist(a);

while (t.tail != nil) t = t.tail;

t.tail = b;

return u;

}

Em uma Linguagem Imperativa

cat(a,b) 

if b = nil then a

else cons(head(a), cat(tail(a),b))

Em uma Linguagem Funcional

cat([], Z, Z).

cat([H|T], L, [H|Z]) :- cat(T, L, Z).

Em uma Linguagem Declarativa


Overlays vis o geral

Overlay

Internet

Overlays: Visão Geral

  • “Overlay”: componente de roteamento e encaminhamento de mensagens de qualquer sistema distribuído não trivial


Overlays exemplos e aplica es

Overlays - Exemplos e Aplicações

  • Redes Overlay são amplamente utilizadas atualmente:

    • Roteamento e encaminhamento em sistemas distribuídos de larga escala;

    • Fornecer novas funcionalidades sobre infra-estruturas existentes.

  • Alguns exemplos:

    • Entrega de pacotes: Multicast, RON;

    • Entrega de conteúdo: CDNs, P2P file sharing, DHTs;

    • Sistemas empresarias: MS Exchange.

Rede Overlay é uma parte integrante de muitos sistemas distribuídos de larga escala.


Overlay problema

Overlay: Problema

  • Não é trivial projetar, construir e implantar uma rede overlay:

    • Processo Iterativo de Projeto:

      • Propriedades desejáveis  Protocolos e algoritmos distribuídos  Simulação  Implementação  Implantação  Repita…

    • Cada iteração toma muito tempo e utiliza uma diversidade de conhecimento.


Esfor os para inova o da internet

Esforços para inovação da internet

  • Evolução: Redes Overlay

    • Comercial (Akamai, VPN, servidores MS Exchange)

    • P2P (compartilhamento de arquivos, telefonia)

    • Pesquisas (PlanetLab)

  • Revolução:

    • Programa 1NSF Future Internet Design (FIND)

    • Iniciativa 2NSF Global Environment for Network Investigations (GENI)

      1 http://www.nets-find.net/2 http://www.geni.net/

Faltam: ferramentas de software que podem acelerar significativamente a inovação da Internet


Overlay declarativa

Overlay Declarativa

  • Tornar o desenvolvimento de redes mais acessível para os desenvolvedores de aplicações distribuídas

    • Ferramenta para prototipagem rápida de novas redes overlay

    • Especificar redes overlay em alto nível

    • Tradução automática para especificação executável

    • Ocultar tudo que não se quer tocar

  • Visa uma performance de bom desempenho

    • Foca na aceleração do processo iterativo de design

    • Permite ajuste tardio da implementação

  • Fazer para os sistemas de redes o que o SQL fez para os modelos de bancos de dados relacionais


Overlay declarativa a raz o

Overlay Declarativa: A razão

  • O conjunto de tabelas de roteamento em uma rede representa uma estrutura distribuída de dados

  • A estrutura de dados é caracterizada por um conjunto de propriedades ideais que definem a rede

    • Pensando em termos de estrutura e não de protocolo

  • Roteamento é o processo de manutenção destas propriedades a despeito de mudança dos fatos fundamentais

    • Falhas, mudanças de topologia, carga, políticas...


Duas dire es

Duas direções:

  • Expressão declarativa de protocolos de roteamento da internet

    • Loo et. al., ACM SIGCOMM 2005

  • Implementação Declarativa de Redes Overlay

    • Loo et. al., ACM SOSP 2005

    • O foco deste seminário


Overlay declarativa p2

Overlay Declarativa: P2

  • Utiliza uma linguagem lógica declarativa - Overlog

    • Baseada em Datalog

    • O foco é sobre modelos de algoritmos e protocolos, e não a implementação.

  • Analisa e executa as especificações utilizando uma arquitetura de fluxo de dados para a construção e manutenção de redes overlay

  • Objetivo: Expressar redes overlay de uma forma altamente compacta e reusável


P2 roteamento como processamento de consultas

P2: Roteamento como Processamento de Consultas

  • Em termos de banco de dados, a tabela de roteamento é uma visão sobre as mudanças de estado e condições da rede;

  • Implementação de uma engine genérica de protocolo de roteamento como um processador de consultas;

  • Utilização de um framework de fluxo de dados em tempo de execução para a manutenção das overlays;

  • Elementos de Fluxo de Dados fornecem um modelo de implementação para consultas.


Nodo tradicional de uma rede overlay

Nodo Tradicional de uma rede Overlay

Traditional Overlay Node

Packets Out

Packets In

Overlay Program

Fonte: Implementing Declarative Overlays - Boon Thau Loo - SOSP2005


Nodo de uma rede overlay p2

Overlay description: declarative query language

Runtime dataflows maintain network state

Overlay description: dataflow scripting language

Planner

Nodo de uma rede Overlay P2

Packets Out

Packets In

Overlay Program

Fonte: Implementing Declarative Overlays - Boon Thau Loo - SOSP2005

P2 Query Processor


Vantagens da abordagem p2

Vantagens da Abordagem P2

  • Linguagem de consulta declarativa

    • Expressão concisa e de alto nível

    • Estaticamente verificável (terminações, corretude)

  • Facilidade de modificação

  • Framework unificador para implementação

  • Otimizações automáticas

    • Nível de consulta e fluxo de dados (dataflows)


Modelo de dados

Modelo de Dados

  • Dados Relacionais: tuplas e tabelas relacionais

  • Dois tipos de tabelas:

    • Armazenadas:

      • E.g. neighbor(Src,Dst), forward(Src,Dst,NxtHop)

    • Fluxos (streams) transientes:

      • Mensagens da rede: message (Rcvr, Dst)

      • Eventos baseados em tempo: periodic (NodeID,10)


Framework do dataflow

Framework do Dataflow

  • Gráficos do Fluxo de Dados

    • Em C++

  • Similar ao Click1:

    • Elementos de fluxo (mux, demux, queues)

    • Elementos da rede (cc, retry, rate limitation)

  • Além disso:

    • Operadores relacionais (junções, seleções, projeções e agregação)

1 Click Modular Router Project - http://read.cs.ucla.edu/click/faq


P2 declarative networking system

Network Specifications as Queries

NetworkProtocols

P2 Declarative Networking System

P2 Declarative Networking System

Query Planner

Dataflow Engine

Dataflow

Fonte: http://p2.cs.berkeley.edu


Exemplo roteamento do anel

Exemplo: Roteamento do Anel

  • Cada nó tem um endereço (i.e. endereço IP) e um identificador (randômico)

  • Cada objeto tem um identificador

  • Nodos e objetos são ordenados dentro do anel por seus identificadores

  • Objetos são “servidos” por seu nodo sucessor

  • Cada nodo conhece seu sucessor no anel

  • Para encontrar o objeto K, caminha-se ao redor do anel até localizar o nodo sucessor imediato K’s


Exemplo roteamento do anel1

Exemplo: Roteamento do Anel

  • Como encontrar o nodo responsável pela chave k?

  • n.lookup(k)

    if k in (n, n.successor)

    return n.successor

    else

    return n.successor. lookup(k)


Estado do anel

  • n.lookup(k)

    if k in (n, n.successor)

    return n.successor

    else

    return n.successor. lookup(k)

  • Tuplas do estado do Nodo

    • node(NAddr, N)

    • successor(NAddr, Succ, SAddr)

  • Tuplas dos eventos transientes

    • lookup ( Addr, Req, K )

    • response( Addr, K, Owner )

Estado do Anel


Pseudoc digo como uma query

send response( Req, K, SAddr ) to Req

where lookup( NAddr, Req, K ) @ NAddr

andnode ( NAddr, N ),

and succ ( NAddr, Succ, SAddr ),

andK in ( N, Succ ],

  • n.lookup(k)

    if k in (n, n.successor)

    return n.successor

    else

    return n.successor. lookup(k)

  • Node state tuples

    • node(NAddr, N)

    • successor(NAddr, Succ, SAddr)

  • Transient event tuples

    • lookup ( Addr, Req, K )

    • response( Addr, K, Owner )

Pseudocódigo como uma Query


Pseudoc digo como uma query1

send response( Req, K, SAddr ) to Req

where lookup( NAddr, Req, K ) @ NAddr

andnode ( NAddr, N ),

and succ ( NAddr, Succ, SAddr ),

andK in ( N, Succ ],

send lookup( Req, K, SAddr ) to SAddr

wherelookup( NAddr, Req, K ) @ Naddr

andnode ( NAddr, N ),

and succ ( NAddr, Succ, SAddr ),

andK not in ( N, Succ ],

  • n.lookup(k)

    if k in (n, n.successor)

    return n.successor

    else

    return n.successor. lookup(k)

  • Node state tuples

    • node(NAddr, N)

    • successor(NAddr, Succ, SAddr)

  • Transient event tuples

    • lookup ( Addr, Req, K )

    • response( Addr, K, Owner )

Pseudocódigo como uma Query


Implementa o do modelo de consultas query para o dataflow

Implementação:Do modelo de consultas (query) para o Dataflow

  • Problema tradicional em bancos de dados

  • Transformar a lógica em álgebra relacional

    • Junções, projeções, seleções, agregações, etc

  • Implementar os elementos como gráfico de dataflow

    • C.f. Click, PIER, etc.

    • Fluxo de tuplas através de graphb

  • Executar este gráfico para manter a rede overlay


Da query para o dataflow

Da Query para o Dataflow

send response( Req, K, SAddr ) to Reqwhere lookup( NAddr, Req, K ) @ NAddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K in ( N, Succ ]

send lookup( Req, K, SAddr ) to SAddrwhere lookup( NAddr, Req, K ) @ Naddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K not in ( N, Succ ]


Da query para o dataflow1

Da Query para o Dataflow

send response( Req, K, SAddr ) to Reqwhere lookup( NAddr, Req, K ) @ NAddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K in ( N, Succ ]

send lookup( Req, K, SAddr ) to SAddrwhere lookup( NAddr, Req, K ) @ Naddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K not in ( N, Succ ]


Da query para o dataflow2

Da Query para o Dataflow

send response( Req, K, SAddr ) to Reqwhere lookup( NAddr, Req, K ) @ NAddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K in ( N, Succ ]

send lookup( Req, K, SAddr ) to SAddrwhere lookup( NAddr, Req, K ) @ Naddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K not in ( N, Succ ]


Da query para o dataflow3

Da Query para o Dataflow

send response( Req, K, SAddr ) to Reqwhere lookup( NAddr, Req, K ) @ NAddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K in ( N, Succ ]

send lookup( Req, K, SAddr ) to SAddrwhere lookup( NAddr, Req, K ) @ Naddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K not in ( N, Succ ]


Da query para o dataflow4

Da Query para o Dataflow

send response( Req, K, SAddr ) to Reqwhere lookup( NAddr, Req, K ) @ NAddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K in ( N, Succ ]

send lookup( Req, K, SAddr ) to SAddrwhere lookup( NAddr, Req, K ) @ Naddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K not in ( N, Succ ]


Da query para o dataflow5

Da Query para o Dataflow

send response( Req, K, SAddr ) to Reqwhere lookup( NAddr, Req, K ) @ NAddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K in ( N, Succ ]

send lookup( Req, K, SAddr ) to SAddrwhere lookup( NAddr, Req, K ) @ Naddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K not in ( N, Succ ]


Da query para o dataflow6

Da Query para o Dataflow

send response( Req, K, SAddr ) to Reqwhere lookup( NAddr, Req, K ) @ NAddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K in ( N, Succ ]

send lookup( Req, K, SAddr ) to SAddrwhere lookup( NAddr, Req, K ) @ Naddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K not in ( N, Succ ]


Da query para o dataflow7

Da Query para o Dataflow

send response( Req, K, SAddr ) to Reqwhere lookup( NAddr, Req, K ) @ NAddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K in ( N, Succ ]

send lookup( Req, K, SAddr ) to SAddrwhere lookup( NAddr, Req, K ) @ Naddr & node ( NAddr, N )& succ ( NAddr, Succ, SAddr ) & K not in ( N, Succ ]


Da query para o dataflow8

lookup

Strand 1

response

node

succ

lookup

Strand 2

lookup

Da Query para o Dataflow

  • Um strand por subconsulta

  • A ordem do Strand é indiferente

  • Strands podem ser executados em paralelo


Da query para o dataflow9

Strand 1

U

lookup

R

D

x

P

Strand 2

lookup

Sched

...

C

R

x

C

...

C

T

x

C

Q

u

e

...

u

e

Q

u

e

u

e

D

e

m

u

U

x

T

D

node

succ

...

x

P

Da Query para o Dataflow


Declarative overlay

P2

1. Sistema Distribuído especificado em uma linguagem de consulta

Descrição da

Rede

Overlay

2. Compilado dentro de gráfico otimizado de elementos dataflow

3. Gráfico executado diretamente para manter as tabelas de roteamento e o estado da rede overlay

Packets in

Packets out


P2 estado atual

P2 - Estado atual

  • Implementação do Chord em P2

    • DHT popular

    • Complexa rede overlay

    • Manutenção dinâmica

  • Como se sabe que funciona?

    • Mesmas propriedades de alto nível

      • Logarítmica de diâmetro e estado

      • Roteamento consistente

      • Restrições de propriedades como consultas adicionais

    • Desempenho comparável as implementações tradicionais


P2 estado atual1

P2 - Estado atual


Ponto chave especifica o notavelmente concisa da rede overlay

Ponto-chave: especificação “notavelmente” concisa da rede overlay

  • Especificação completa do Chord, incluindo

    • Recuperação de Falhas

    • Múltiplos sucessores

    • Estabilização

    • Manutenção otimizada

  • 44 regras OverLog

  • ...e Roda!

Fonte 10 pt


Compara o chord in c

Comparação: Chord in C++


Quest es em aberto

Questões em aberto

  • Qual o papel da prototipagem rápida?

  • Quão bom é performance “boa o suficiente” para prototipagem rápida?

  • ... e o tempo de resposta em sistemas críticos?

  • Quando os desenvolvedores devem utilizar a prototipagem rápida ou códigos “feitos à mão”?

  • Pode-se realmente alcançar a “qualidade de produção” de redes overlay proposta por P2?


Quest es em aberto1

Questões em aberto

  • Onde é o fim da rede e o início da aplicação?

    • Pode executar consultas para monitorar a rede com parâmetros

    • Integração da descoberta de recursos, gerenciamento e roteamento

    • Chance para a remodelação dos fundamentos em rede


Trabalhos futuros

Trabalhos Futuros

  • Linguagem “adequada”

    • Expressividade da linguagem

  • Dados formais e consulta semântica

  • Análise estática

    • Otimizações, Terminação e Corretude

  • Restrições Declarativas e Transações Declarativas não tem sido totalmente exploradas


Trabalhos futuros1

Trabalhos Futuros

  • Demanda esforços interdisciplinares, incluindo:

    • Banco de Dados

    • Redes

    • Sistemas

    • Linguagens de programação

    • Engenharia de software

  • Tirar proveito de:

    • paralelismo implícito para a arquitetura multi-core

    • Metaprogramação1 (Para embutir algoritmos de planning para criar visões virtuais especializadas)

      1 T. Condie, D. Chu, J. M. Hellerstein, and P. Maniatis. Evita Raced: Metacompilation for DeclarativeNetworks. In Proceedings of Conference on Very Large Data Bases (VLDB), 2008.


Conclus o

Conclusão

  • Uma abstração e infra-estrutura para repensar radicalmente redes

  • P2: Overlay Declarativa

    • Ferramenta para prototipagem rápida de novas redes overlay

  • Redes Declarativas

    • Research agenda: Specify and construct networks declaratively

    • Declarative Routing : Extensible Routing with Declarative Queries (SIGCOMM 2005)


Refer ncias bibliogr ficas

Referências Bibliográficas

  • BoonThauLoo , Tyson Condie , Joseph M. Hellerstein , PetrosManiatis , Timothy Roscoe , IonStoica, Implementingdeclarative overlays, Proceedingsofthetwentieth ACM symposiumonOperating systems principles, October 23-26, 2005, Brighton, UnitedKingdom

  • Yun Mao, On the declarativity of declarative networking, ACM SIGOPS Operating Systems Review, v.43 n.4, January 2010

  • B. T. Loo, T. Condie, M. Garofalakis, D. E. Gay, J. M. Hellerstein, P. Maniatis, R. Ramakrishnan, T. Roscoe, and I. Stoica. Declarative Networking: Language, Execution and Optimization. In Proceedings of ACM SIGMOD International Conference on Management of Data, June 2006.

  • X. Chen, Y. Mao, Z. M. Mao, and J. E. V. der Merwe. DÉCOR: DEClarative network management and OpeRation. In Proceedings of the ACM SIGCOMM Workshop on Programmable Routers for Extensible Services of TOmorrow (PRESTO), 2009.


  • Login