LSTM

Dlouhá krátkodobá paměť (Long Short-Term Memory, LSTM)^[1][2] je systém hlubokého učení (deep learning) neuronové sítě, který se vyhýbá problému mizejícího gradientu algoritmu zpětného šíření chyby, vyskytujícího se v sítích MLP, ale i v některých sítích RNN, které jsou pak trénovány jejich rozvinutím do hlubokých dopředných sítí, kde se pro každý časový krok vstupní sekvence zpracovávané sítí vytvoří nová vrstva (kombinace rozvinutí a zpětného šíření se nazývá zpětné šíření v čase), tj. chyby pak mohou zpětně proudit přes neomezený počet skrytých vrstev. Cílem LSTM je poskytnout neuronové síti krátkodobou paměť, překlenující tisíce gradientních kroků, tedy „dlouhou krátkodobou paměť“. LSTM se tedy může učit úlohy, které vyžadují vzpomínky na události, které se staly tisíce nebo dokonce miliony diskrétních časových (gradientních) kroků dříve, tj. LSTM funguje i při dlouhých prodlevách mezi významnými událostmi^[3].