LSTM

LSTM — rekurentā mākslīgā neironu tīkla (RNN) paveids “Long Short-Term Memory”,^[1] kas tiek izmantots dziļās mācīšanās jomā. Atšķirībā no standarta neironu tīkliem, LSTM ir atgriezeniskās saites savienojumi. Ar LSTM var aprēķināt visu, ko var izmantot Tjūringa mašīna.^[2] Tam nevar būt viens datu punkts (piem., attēls vai video). LSTM ir piemērots tādiem uzdevumiem kā saistītā rokraksta atpazīšana^[3] un runas atpazīšana.^[4] Bloomberg Business Week rakstīja: "Šīs īpašības neapšaubāmi padara LSTM par vislielāko komerciālo AI sasniegumu, ko izmanto visur, sākot no slimību prognozēšanas līdz mūzikas veidošanai."^[5]

Bieži sastopama LSTM vienība sastāv no šūnas, ievada vārtiem, izvada vārtiem un aizmiršanas vārtiem. Šūna atceras vērtības patvaļīgos laika intervālos, un trīs vārti regulē informācijas plūsmu uz un no šūnas.

LSTM tika izstrādāts, lai risinātu pārslodzes un izzūdošo gradientu problēmas, kas var rasties, apmācot tradicionālos RNN. Relatīvā nejutība pret tukšiem datiem ir LSTM priekšrocība pār RNN, slēptajiem Markova modeļiem un citām secību mācīšanās metodēm daudzās lietojumprogrammatūrās.

1. ↑ Sepp Hochreiter; Jürgen Schmidhuber (1997). "Long Short-term Memory". Neural Computation 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. PMID 9377276.
2. ↑ Hava T. Siegelmann, Eduardo D. Sontag. On the Computational Power of Neural Nets. COLT '92. ACM, 1992. 440–449. lpp. ISBN 978-0-89791-497-0. doi:10.1145/130385.130432.
3. ↑ Graves, A.; Liwicki, M.; Fernandez, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (2009). "A Novel Connectionist System for Improved Unconstrained Handwriting Recognition". IEEE Transactions on Pattern Analysis and Machine Intelligence 31 (5): 855–868. doi:10.1109/tpami.2008.137. PMID 19299860.
4. ↑ Hasim Sak, Andrew Senior, Francoise Beaufays. «Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling», 2014. Arhivēts no oriģināla, laiks: 2018. gada 24. aprīlī. Skatīts: 2019. gada 2. jūnijā.
5. ↑ Ashlee Vance. «Quote: These powers make LSTM arguably the most commercial AI achievement, used for everything from predicting diseases to composing music.». Bloomberg Business Week, 2018.