1 / 14

Rozproszone reprezentacje

Rozproszone reprezentacje. Inteligentne Systemy Autonomiczne. W oparciu o wykład Prof. Geoffrey Hinton University of Toronto. Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie. Lokalne reprezentacje.

sheng
Download Presentation

Rozproszone reprezentacje

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Rozproszone reprezentacje Inteligentne Systemy Autonomiczne W oparciu o wykład Prof. Geoffrey Hinton University of Toronto Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

  2. Lokalne reprezentacje • Najprostszą drogą reprezentacji rzeczy w sieciach neuronowych jest dedykowanie jednego neuronu dla każdej rzeczy. • Łatwe do zrozumienia. • Łatwe do ręcznego kodowania. • Często wykorzystywane do reprezentacji danych wejściowych sieci. • Łatwe do nauki. • To jest to co robią mieszane modele. • Każdy klaster odpowiada jednemu neuronowi. • Łatwedo łączenia z innymi reprezentacjami. • Ale lokalne modele są bardzo nieskuteczne gdy dane mają strukturę składnikową.

  3. Przykłady struktur składnikowych. • Duży, Żółty, Volkswagen • Czy mamy neuron dla takiej kombinacji ? • Czy jest z góryustalonyneuron DŻV ? • Czy jest on tworzony w trakcie uczenia? • Jak jest on związany z neuronami Duży i Żółty i Volkswagen? • Rozważ obserwowany obraz • Zawiera wiele różnych obiektów • Każdy objekt ma wiele własności np. kolor, wielkość, kształt, ruch • Obiekty mają przestrzenne relacje z innymi obiektami

  4. Reprezentują połączenia przez aktywowanie wszystkich elementów w tym samym czasie. To nie wymaga połączeń między elementami Ale co gdy rownoczesnie chcemy reprezentować żółty trójkąt i niebieskie koło? Może to tłumaczy seryjną naturę świadomości. A może nie! Wykorzystanie równoczesności do łączeniarzeczy razem kształtne neurony kolorowe neurony

  5. Wykorzystanie przestrzeni do łączeniarzeczy razem. • Typowe komputery potrafią łączyć rzeczy razem przez umieszczenie ich w sąsiednich komórkach pamięci. • Najlepiej prezentuje się to na wizji. Powierzchnie są generalnie nieprzezroczyste, więc widzimy tylko jedną rzecz w każdym miejscu pola wizyjnego. • Jeśli używamy map topograficznych dla różnych cech, to możemy założyć, że cechy w tej samej lokalizacji należą do tej samej rzeczy.

  6. Definicja „rozproszonej reprezentacji”. • Każdy neuron musi reprezentować coś, więc musi to być lokalna reprezentacja. • “Reprezentacja rozproszona” oznaczarelacje wiele-do-wielu między dwoma typami reprezentacji (takimi jak koncepcje i neurony). • Każda koncepcja jest reprezentowana przez wiele neuronów. • Każdy neuron uczestniczy w reprezentacji wielu koncepcji.

  7. Kodowanie przybliżone • Wykorzystanie jednego neuronu dla kazdej rzeczy jest nieefektywne. • Wydajny kod miałby każdy neuron aktywny przez połowę czasu • To mogłoby być mało wydajne dla innych celów (jak łączenie odpowiedzi z odwzorowaniami). • Czy możemy uzyskać dokładne reprezentacje przez wykorzystanie wielu niedokladnych neuronów? • Jeśli tak to byłoby to bardzo odporne na awarie sprzętu komputerowego.

  8. Użyj trzech nakładających się tabel o dużych komórkach aby uzyskać tabele wielu drobnych komórek Jeśli punkt jest w drobnej komórce, koduj go przez aktywacje 3 dużych komórek Jest to skuteczniejsze od używania neuronu dla każdej drobnej komórki. Koszt - 3 tablele Zysk - 3x3 w rozdzielczosci Ogólnie 3-krotna oszczednosc Kodowanie przybliżone

  9. Jak skuteczne jest kodowanie przybliżone? • Efektywność zależy od wymiarowości • W przestrzeni jedno-wymiarowej kodowanie przybliżone nie pomaga. • W 2D oszczędność w neuronach jest proporcjonalna do stosunku drobnego rozmiaru do zgrubnego rozmiaru. • W przestrzeni k – wymiarowej, powiększając rozmiarrkrotnie możemy utrzymać tę samą dokładność jak z drobnymi polami i zaoszczędzić :

  10. Limity kodowania przybliżonego • Osiąga dokładność ale kosztem rozdzielczosci • Dokładnośćjest zdefiniowana jako wielkość przesunięcia punktu do momentu zmiany reprezentacji • Rozdzielczoscjest zdefiniowana jako ta odległość przy której punkty mogą być nadal rozróżnialne w reprezentacji. • Reprezentacje mogą zachodzić na siebie i wciąż być dekodowane jeśli pozwolimy na aktywność powyżej 1 • To sprawia trudności w kojarzeniu bardzo różnych odpowiedzi z podobnymi punktami, ponieważ ich reprezentacje nakładają się. • Jest to użyteczne do generalizacji. • Efekty graniczne dominują gdy pola są bardzo duże.

  11. Kodowanie przybliżone w systemiewizyjnym • Idąc dalej od siatkówki oka obszary wejsciowe neuronów stają się coraz większe i wymagają bardziej skomplikowanych cech. • Większość neurologów interpretuje to jako dowód niezmienniczości neuronów • Jest to również potrzebne w przypadku gdy neurony chciałyby osiągnąć wysoką dokładność • Dla właściwości takich jak pozycja, orientacja i rozmiar • Wysoka dokładność jest potrzebna, by zdecydować czy części obiektu są we właściwej przestrzennej relacji ze soba

  12. Reprezentacja struktury relacyjnej • “George kocha Pokój” • Jak twierdzenie może być przedstawione jako rozproszony model działania? • Jak neurony przedstawiające różne twierdzenia sa powiązane ze soba i ze skladowymi tych twierdzen? • Potrzebujemy reprezentowacrolę dla każdego skladnika w twierdzeniu.

  13. George Tony Wojna Pokój Ryba Chipsy Robaki Miłość Wstręt Jedzenie Dawanie Droga do reprezentacji struktur agent objekt beneficjant akcja

  14. Problem rekurencji • Jacques był rozgniewany tym iżTony pomógłGeorgowi • Jedno twierdzenie może być częścią innego twierdzenia. Jak możemy to pokazać w neuronach? • Jedną z możliwości jest użycie „skróconych opisów”. Oprocz pełnej reprezentacji przez model rozlozony na dużą liczbę neuronów, jednostka może mieć znacznie bardziej zwarta reprezentacje, która moze być częścią większej jednostki. • Jest to trochę jak wskazniki (pointers). • Mamy pełną reprezentację wybranego przedmiotu i zredukowane reprezentacjejego części składowych. • Ta teoria wymaga mechanizmów kompresji pełnych reprezentacji do reprezentacji zredukowanych i rozszerzania skróconych opisów do opisow pełnych.

More Related