Observando o Universo BitTorrent Através de Telescópios

1. Observando o Universo BitTorrent Através de Telescópios Rodrigo Brandão Mansilha, Alan Mezzomo, Giovani Facchini, Luciano Paschoal Gaspary, Marinho Pilla Barcellos UFRGS - 2010 XXVIII Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos Apresentação por Leandro Guadagnin Universidade Federal do Paraná

2. Observando o universo BitTorrent através de Telescópios Sumário • Objetivo • Motivação • Introdução • O Universo BitTorrent • Arquitetura, estratégias, lentes do telescópio • Avaliação • Resultados • Conclusão • Trabalhos Futuros • Análise Crítica

3. Observando o universo BitTorrent através de Telescópios Objetivo Propor uma arquitetura flexível para monitorar de forma eficiente o ”Universo BitTorrent” através da combinação de diferentes estratégias de observação de acordo com informações desejadas.

4. Observando o universo BitTorrent através de Telescópios Motivação • Responsável por 45% a 78% de todo o compartilhamento P2P, dependendo da localização • Pouco se sabe sobre o funcionamento do BitTorrent e padrões de comportamento de seus usuários • Métodos de observação pobres em detalhe, exatidão e/ou cobertura • Vantagens do BitTorrent: • Campanhas de marketing baseadas em conteúdo, estimar perdas financeiras com cópias ilegais – pirataria, auxiliar Internet Service Providers na investigação de métodos que minimizem o custo de tráfego, combate a pedofilia, possibilidade de intercâmbio de informações entre comunidade científica

5. Observando o universo BitTorrent através de Telescópios Introdução • Bram Cohen, 2003 • O BitTorrent nasceu de uma implementação que foi incrementada, estendida e testada por usuários • Escala: planetária. Milhões de usuários operando sobre uma camada de aplicação • Dimensão, complexidade, heterogeneidade e incerteza • Formado por milhões de ”pequenas” redes sobrepostas (overlays) desconexas chamadas de enxames. • Desafio: chegar ao enxame desejado

6. Observando o universo BitTorrent através de Telescópios O Universo BitTorrent • Constituído por: • Enxames • Pares • Rastreadores (pontos de encontro) • Conteúdos (conteúdo digital) Ex.: um par é um agente de usuário que executa o protocolo e participa de um ou mais enxames, de acordo com o conteúdo que deseja compartilhar

7. Observando o universo BitTorrent através de Telescópios O Universo BitTorrent • Par: semeador ou sugador • Para ingressar em um enxame o par contata um rastreador e recebe uma lista de ips dos pares participantes daquele enxame • Para participar de um enxame um agente de usuário usa um arquivo de torrent que contém as informações sobre os fragmentos dos arquivos • Para distribuir um conteúdo o par deve gerar um torrent e torná-lo público, geralmente publicando-o em websites chamados de comunidades. • Comunidades: • abertas ou fechadas; agregadoras Ex: BJ Share http://www.bj-share.net

8. Observando o universo BitTorrent através de Telescópios O Universo BitTorrent - Download

9. Observando o universo BitTorrent através de Telescópios Exemplo do Universo BitTorrent

10. Observando o universo BitTorrent através de Telescópios Estratégias para extração de informação • 3 tipos de acordo com a fonte de informação • Comunidades: conteúdo, rastreadores e pares • Rastreadores: logs, listas de ips • Pares: pacotes, conexão com pares • Custo das estratégias • O custo da combinação das estratégias é definido pelo produto do custo com relação a cobertura, riquesa de detalhe e exatidão. • Métricas: uso de cpu, uso de memória e recursos de rede.

11. Observando o universo BitTorrent através de Telescópios Escolhendo as estratégias • Monitoramento • Comunidades: economia de recursos, não possui informação sobre os pares • Rastreadores: população de pares, menor intrusividade e menor custo, ausência de informação sobre conteúdo • Pares: riqueza de detalhes, maior custo • Monitoramento ativo e passivo • PROPOSTA: COMBINAÇÃO DE TODAS AS ESTRATÉGIAS

12. Observando o universo BitTorrent através de Telescópios Modelo de informações - TorrentU • Modelo que fornece uma estruturação e ligação a respeito das comunidades, pares, rastreadores e demais elementos do universo BitTorrent

13. Observando o universo BitTorrent através de Telescópios Arquitetura • TorrentU Observer • Front-end ou gerente da aplicação • Configuração do sistema • Observação dos dados coletados • Composto por: User Interface, Requester, Strategist e Observer Repository • TorrentU Telescope • Responsável pelo monitoramento do Universo BitTorrent • Resposta ao Observer • Composto por: Provider, Telescope Repository e Monitor • Monitor: divido em ”lentes”: • Community Lens • Tracker Lens • Peer Lens

14. Observando o universo BitTorrent através de Telescópios Exemplo de Arquitura

15. Observando o universo BitTorrent através de Telescópios Lentes do Telescópio • Community lens • Monitoramento da publicação de arquivos torrents em websites. • Utilização de parsers específicos para as comunidades • Estrutura clara para facilitar a elaboração dos parsers • Crawler focado: utilizado para obter arquivos torrent de comunidades que possuem mecanismo de busca.

16. Observando o universo BitTorrent através de Telescópios Lentes do Telescópio • Tracker Lens • Monitoramento dos rastreadores • Extração da quantidade de pares (sugadores e semeadores), endereços IP, portas e informações sobre os próprios rastreadores • O tracker lens se anuncia ao rastreador que retorna um subconjunto de sua lista de pares • Frequência de monitoramento de acordo com a carga e entrada de novos pares

17. Observando o universo BitTorrent através de Telescópios Lentes do Telescópio • Peer lens • Monitoramento dos pares • Extração de informações como nível de popularidade de determinado agente de usuário, sua versão, taxas de download/upload, quantidade de fragmentos baixados • Round Robin • A cada rodada a lente tenta se comunicar com n pares dispostos em uma fila circular. • Firewall: inalcançáveis. Aguarda a comunicação.

18. Observando o universo BitTorrent através de Telescópios Avaliação • Protótipo em Java 1.6 • SGBD MySQL • Atendimento aos requisitos • Escalabilidade: recursos X componentes utilizados • Escalável verticalmente e horizontalmente • Flexibilidade • Parâmetros para definir a riqueze de detalhes, cobertura e exatidão

19. Observando o universo BitTorrent através de Telescópios Ocupação de Recursos

20. Observando o universo BitTorrent através de Telescópios Avaliação • Estratégia vs. Eficiência • Valores estimados • Tam. arquivo torrent: 20 KB • Número de pares por rastreador: 50 • Tam. mensagem HAVE de um par: 7 bytes • Tam. mensagem handshake: 136 bytes • Tam. Mensagem bitfield de um par: 180 bytes. • Cenário • Total de pares: 100.000 • Total de torrents: 100 • Quantidade de peças por torrent: 500

21. Observando o universo BitTorrent através de Telescópios Avaliação • Exemplo: • Com base neste cenário, deseja-se saber ”quais os conteúdos compartilhados”. • O custo possível varia de 2 MB a 384 MB • Tamanho total em torrents das comunidades • 2 MB = 100 arquivos de torrent * 20 KB = 2.000 KB • Tamanho total em torrents + todas as msgs do protoc. • 384 MB = 2 MB + .... • Carga do monitoramento no decorrer de 2 dias • Entre 0,09 kbps e 17,68kbps

22. Observando o universo BitTorrent através de Telescópios Avaliação • Conclusão do exemplo • Como o TorrentU é flexível na escolha de suas estratégias e, tomando-se o resultado dos cálculos anteriores, o custo é minimizado utilizando-se apenas a técnica Community Lens. Desta forma, serão baixados apenas 2 MB, economizando-se o tempo de download dos outros 382 MB.

23. Observando o universo BitTorrent através de Telescópios Avaliação • Estudo de caso • Agenda de lançamentos do seriado “Family Guy” • Comunidades: • BTJunkie • IsoHunt • TorrentDownloads • Período de observação: pouco mais de 22 horas, iniciando 4 horas antes da estréia do episódio

24. Observando o universo BitTorrent através de Telescópios Avaliação

25. Observando o universo BitTorrent através de Telescópios Avaliação • Amostras do monitoramento em diferentes horários de observação

26. Observando o universo BitTorrent através de Telescópios Trabalhos Futuros • Projeto e implementação do BitTorrent Observer • Determinar a quantidade de telescópios, para onde ”apontarão” e quais estratégias usar para atender determinado objetivo de observação • Implementação de múltiplas instâncias do protótipo e efetuar observações de longo prazo na Internet (Planet Lab) • Estender a arquitetura do TorrentU

27. Observando o universo BitTorrent através de Telescópios Conclusão do Trabalho • Além de definir o ”Universo BitTorrent” e seus elementos, este trabalho demonstra diferentes estratégias de extração de informações que, combinadas de acordo com a disponibilidade dos recursos, fornece resultados com diferentes graus de exatidão para a observação deste universo quase que imensurável, o BitTorrent.

28. Observando o universo BitTorrent através de Telescópios Análise Crítica • É desenvolvido um protótipo e realizado um estudo de caso que validam a idéia do autor • Necessidade de explicitar melhor os resultados com relação a observação das ”lentes” • A solução é aplicável para quaisquer tipos de redes p2p. O que mudaria seria qual o tipo de lentes e serem utilizadas e como seriam utilizadas.

29. Observando o universo BitTorrent através de Telescópios OBRIGADO!