Autoencoder

Ένας autoencoder είναι ένας τύπος τεχνητού νευρωνικού δικτύου που χρησιμοποιείται για την εκμάθηση αποτελεσματικών κωδικοποιήσεων δεδομένων χωρίς ετικέτα (μη εποπτευόμενη μάθηση). ^[1] Η κωδικοποίηση επικυρώνεται και βελτιώνεται επιχειρώντας να αναδημιουργηθεί η είσοδος από την κωδικοποίηση. Ο autoencoder μαθαίνει μια αναπαράσταση (κωδικοποίηση) για ένα σύνολο δεδομένων, συνήθως για να πετύχουμε μείωση διαστάσεων, εκπαιδεύοντας το δίκτυο να αγνοεί ασήμαντα δεδομένα («θόρυβο»).

Υπάρχουν παραλλαγές για autoencoders, οι οποίες στόχο έχουν να αναγκάσουν προς μάθηση αναπαραστάσεις να προσλάβουν χρήσιμες ιδιότητες. ^[2] Παραδείγματα είναι οι κανονικοποιημένοι autoencoders, οι οποίοι είναι αποτελεσματικοί στην εκμάθηση αναπαραστάσεων που αφορούν επόμενες εργασίες ταξινόμησης, ^[3] και variational autoencoder, με εφαρμογές ως παραγωγικά μοντέλα . ^[4] Οι autoencoders εφαρμόζονται σε πολλά προβλήματα, από την αναγνώριση προσώπου, ^[5] ανίχνευση χαρακτηριστικών, ^[6] ανίχνευση ανωμαλιών έως την απόκτηση της σημασίας των λέξεων. ^[7] ^[8] Οι autoencoders είναι επίσης μοντέλα παραγωγής: μπορούν να δημιουργήσουν τυχαία νέα δεδομένα που είναι παρόμοια με τα δεδομένα εισόδου (δεδομένα εκπαίδευσης). ^[6]

↑ Kramer, Mark A. (1991). «Nonlinear principal component analysis using autoassociative neural networks». AIChE Journal 37 (2): 233–243. doi:10.1002/aic.690370209. https://www.researchgate.net/profile/Abir_Alobaid/post/To_learn_a_probability_density_function_by_using_neural_network_can_we_first_estimate_density_using_nonparametric_methods_then_train_the_network/attachment/59d6450279197b80779a031e/AS:451263696510979@1484601057779/download/NL+PCA+by+using+ANN.pdf.
↑ Goodfellow, Ian· Bengio, Yoshua (2016). Deep Learning. MIT Press. ISBN 978-0262035613.
↑ Vincent, Pascal; Larochelle, Hugo (2010). «Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion». Journal of Machine Learning Research 11: 3371–3408.
↑ Welling, Max; Kingma, Diederik P. (2019). «An Introduction to Variational Autoencoders». Foundations and Trends in Machine Learning 12 (4): 307–392. doi:10.1561/2200000056. Bibcode: 2019arXiv190602691K.
↑ Hinton GE, Krizhevsky A, Wang SD. Transforming auto-encoders. In International Conference on Artificial Neural Networks 2011 Jun 14 (pp. 44-51). Springer, Berlin, Heidelberg.
↑ ^6,0 ^6,1 Géron, Aurélien (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. Canada: O’Reilly Media, Inc. σελίδες 739–740.
↑ Liou, Cheng-Yuan; Huang, Jau-Chi; Yang, Wen-Chie (2008). «Modeling word perception using the Elman network». Neurocomputing 71 (16–18): 3150. doi:10.1016/j.neucom.2008.04.030.
↑ Liou, Cheng-Yuan; Cheng, Wei-Chen; Liou, Jiun-Wei; Liou, Daw-Ran (2014). «Autoencoder for words». Neurocomputing 139: 84–96. doi:10.1016/j.neucom.2013.09.055.

[1] Kramer, Mark A. (1991). «Nonlinear principal component analysis using autoassociative neural networks». AIChE Journal 37 (2): 233–243. doi:10.1002/aic.690370209. https://www.researchgate.net/profile/Abir_Alobaid/post/To_learn_a_probability_density_function_by_using_neural_network_can_we_first_estimate_density_using_nonparametric_methods_then_train_the_network/attachment/59d6450279197b80779a031e/AS:451263696510979@1484601057779/download/NL+PCA+by+using+ANN.pdf.

[:0-2] Goodfellow, Ian· Bengio, Yoshua (2016). Deep Learning. MIT Press. ISBN 978-0262035613.

[:4-3] Vincent, Pascal; Larochelle, Hugo (2010). «Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion». Journal of Machine Learning Research 11: 3371–3408.

[:11-4] Welling, Max; Kingma, Diederik P. (2019). «An Introduction to Variational Autoencoders». Foundations and Trends in Machine Learning 12 (4): 307–392. doi:10.1561/2200000056. Bibcode: 2019arXiv190602691K.

[5] Hinton GE, Krizhevsky A, Wang SD. Transforming auto-encoders. In International Conference on Artificial Neural Networks 2011 Jun 14 (pp. 44-51). Springer, Berlin, Heidelberg.

[:2-6] 6,0 ^6,1 Géron, Aurélien (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. Canada: O’Reilly Media, Inc. σελίδες 739–740.

[7] Liou, Cheng-Yuan; Huang, Jau-Chi; Yang, Wen-Chie (2008). «Modeling word perception using the Elman network». Neurocomputing 71 (16–18): 3150. doi:10.1016/j.neucom.2008.04.030.

[8] Liou, Cheng-Yuan; Cheng, Wei-Chen; Liou, Jiun-Wei; Liou, Daw-Ran (2014). «Autoencoder for words». Neurocomputing 139: 84–96. doi:10.1016/j.neucom.2013.09.055.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]