Επιφόρτωση …των εγκεφαλικών λειτουργιών στον υπολογιστή (Μέρος 1ο) - (Μέρος 2ο)

Σε σύντομη μορφη url  (Μέρος 1ο) :  http://bit.ly/2xpFHFu         (Μέρος 2ο)  :  http://bit.ly/2xfvhHB

Η επιφόρτωση (η οποία κατά περίσταση αναφέρεται ως μεταφόρτωση) είναι η επιστήμη που μελετά τη μεταφορά της ανθρώπινης συνείδησης και μνήμης από έναν οργανικό ιστό σε ένα αυτοματοποιημένο ακριβές αντίγραφο, η οποία συνήθως, με τη στενή έννοια, ορίζεται ως η μεταφορά εγκεφαλικών λειτουργιών στον υπολογιστή.

Η επιφόρτωση, που δεν είναι ευρέως γνωστή σε κύκλους πέρα των φίλων της τεχνολογίας, παραμένει ως η πιο αμφιλεγόμενη από όλες τις πιθανές τεχνολογίες, όπου γίνεται αναφορά σε αυτήν. Και αυτό, παρά το γεγονός πως κατά τα φαινόμενα καμία τεχνολογία στην ιστορία που βασίζεται σε θεωρητικά μοντέλα –ούτε καν η ίδια η νανοτεχνολογία– δεν μπορεί να υποστηρίξει ότι παρέχει πιο ασυνήθιστες δυνάμεις στην ανθρωπότητα.

Το εύρος των δυνατοτήτων που ανοίγονται σε ένα ον με συνείδηση στον κυβερνοχώρο είναι δύσκολο ακόμη και να το φανταστούμε αρχικά. Εντός ενός προγράμματος η/υ θα γίνεις αθάνατος, θα αποκτήσεις ανοσία στις ασθένειες, δεν θα γερνάς και δεν θα μπορείς να υποστείς τραυματισμούς. Θα μπορείς να ζεις μέσα σε έναν φανταστικό κόσμο ο οποίος δεν υπόκειται στους νόμους της φύσης, θα μπορείς να παίρνεις οποιαδήποτε μορφή, ή να εμφυσήσεις την συνείδησή σου σε οποιοδήποτε αντικείμενο μέσα στο πρόγραμμα. Θα μπορείς να πετάς ή να μετακινείς αντικείμενα με τηλεκίνηση. Θα μπορείς να τροποποιείς το περιβάλλον σου σύμφωνα με τα καπρίτσια σου σε μορφές άγνωστες στην Γη ή άγνωστες, κατά τα φαινόμενα, και οπουδήποτε αλλού.

Όχι πως η επιφόρτωση περιορίζεται στο περιβάλλον εντός ενός προγράμματος. Εάν η ιδέα είναι εφικτή – υλοποιήσιμη, τότε θα μπορούμε να τοποθετήσουμε το πρόγραμμα η/υ σε οποιοδήποτε πλαίσιο μπορεί να το υποστηρίξει. Ήδη καταστρώνονται ενδιαφέρουσες θεωρίες σε σχέση με αυτό το επίτευγμα.

Τόσο η χρήσιμη ομίχλη (ομιχλοσωματίδια) όσο και το δενδρικό ρομπότ του Μόραβεκ (Μόραβεκ 1988: 102-108), θα μπορούσαν να είναι υποψήφιοι αποδέκτες μιας επιφόρτωσης. Με λιγότερες δυνατότητες, ίσως, είναι οι θεωρίες του Ρόμπιν Χάνσον. Ο τελευταίος οραματίζεται μικροσκοπικές επιφορτώσεις που λειτουργούν σε υψηλή ταχύτητα: «Πιο γρήγορες επιφορτώσεις που χρειάζονται σώματα που να μπορούν να ανταπεξέλθουν στους ρυθμούς των πιο γρήγορων εγκεφάλων τους ίσως να χρησιμοποιούν αναλογικά πιο μικρά σώματα… Ένα ανθρωπόμορφο σώμα ύψους 7 χιλιοστόμετρων μπορεί να έχει έναν εγκέφαλο που να χωράει στην εγκεφαλική του κοιλότητα, να μπορεί να αντεπεξέλθει στις κατά 260 φορές γρηγορότερες κινήσεις του σώματος του, και να καταναλώνει μόλις 16 Βαττ σε ενέργεια. Τέτοιες επιφορτώσεις θα λάμπουν σαν την Τίνκερμπελ στον αέρα ή θα ζουν στο νερό για να διατηρούν μια χαμηλή θερμοκρασία.

Δισεκατομμύρια τέτοιες επιφορτώσεις μπορούν να ζουν και να δουλεύουν σε ένα και μόνο ουρανοξύστη, με ευρύχωρες εγκαταστάσεις για όλες, εφόσον υπήρχε αρκετή ενέργεια και ψύξη του αέρα. Για να αποφευχθεί η απομόνωση, πολλές επιφορτώσεις μπορεί να νιώσουν άνετα ζώντας σε μικροσκοπικά δέντρα με γνώριμα χαρακτηριστικά, σπιτάκια κτλ., κάτω από έναν τεχνητό ήλιο που θα ανατέλλει και θα δύει 260 φορές την ημέρα. Άλλες μπορεί να απορρίψουν το γνώριμο και να εξερευνήσουν επιθετικά νέες δυνατότητες» (Χάνσον 1994: 11).

Προτού εμβαθύνουμε τόσο πολύ στις αντικρουόμενες απόψεις και τις σχετικές θεωρίες γύρω από τις επιφορτώσεις, μια ιδεούλα για το σε τι μπορεί να συνίσταται η διαδικασία της επιφόρτωσης μπορεί να δώσει στον αναγνώστη μια καλύτερη αίσθηση του τί πράγματι επιχειρείται.

Ένα σενάριο το οποίο έχει εκπονηθεί (Μόραβεκ 1988: 109-110) εκτυλίσσεται γύρω από ένα ρομπότ χειρούργο εγκεφάλου που ανοίγει το κρανίο του ασθενή που βρίσκεται σε καταστολή, και τοποθετεί το χέρι του στην επιφάνεια του εγκεφάλου. Το χέρι έχει τριχίδια με μικροσκοπικά όργανα, που μπορούν να σαρώσουν το περιεχόμενο των πρώτων χιλιοστών της επιφάνειας του εγκεφάλου. Υψηλής ανάλυσης μετρήσεις μαγνητικού τομογράφου χτίζουν έναν τρισδιάστατο χημικό χάρτη, ενώ ένα σετ ηλεκτρικών κεραιών καταγράφει τους παλμούς γύρω από τους νευρώνες. Ένας υπολογιστής συνδεδεμένος με το ρομπότ αποθηκεύει τις παραπάνω πληροφορίες σαν ένα πρόγραμμα βασισμένο στον σαρωμένο εγκεφαλικό ιστό. Στον/στην ασθενή παρέχεται ένα κουμπί με το οποίο μπορεί να δοκιμάσει την προσομοίωση. Όταν ο/η ασθενής το πατά, ενεργοποιούνται τα ηλεκτρόδια στα χέρια του ρομπότ τα οποία υπερισχύουν έναντι του συνήθους σήματος που εκπέμπει η λειτουργία των νευρώνων που σαρώνονται. Όσο το κουμπί παραμένει πατημένο, ένα μικρό τμήμα του εγκεφάλου του/της ασθενούς αντικαθίσταται από την προσομοίωση με υπολογιστή. Αφ’ ότου πατήσουμε το κουμπί αρκετές φορές ώστε να βεβαιωθούμε ότι δεν υπάρχει κάποια διαφορά, ο/η ασθενής επιτρέπει στην προσομοίωση να ενεργοποιηθεί σε μόνιμη βάση. Ο εγκεφαλικός ιστός που σαρώθηκε είναι τώρα αποδυναμωμένος, στέλνει και δέχεται σήματα όπως και προηγουμένως, όμως το υπόλοιπο μέρος του εγκεφάλου τα αγνοεί.

Μικροσκοπικοί χειριστές που βρίσκονται στα χέρια του ρομπότ προσεκτικά εισέρχονται στον περιττό εγκεφαλικό ιστό και τον απομακρύνουν με απορρόφηση.

Τα χέρια του ρομπότ βυθίζονται ελαφρώς πιο βαθειά στον εγκέφαλο, και η διαδικασία ξεκινάει από την αρχή. Κάποια στιγμή το κρανίο είναι κενό, και το χέρι του ρομπότ βρίσκεται βαθειά στο εγκεφαλικό στέλεχος του/της ασθενούς. Ο εγκέφαλος θεωρούμε πως μεταφέρθηκε από το ανθρώπινο σώμα σε έναν υπολογιστή. Σε μια τελευταία σκηνή, με μπόλικο δράμα, το ρομπότ βγάζει το χέρι του από το κρανίο. Η σύνδεση κόβεται, το σώμα νεκρώνει και πεθαίνει.

Ένα άλλο σενάριο (Ρος 1992: 16) έχει να κάνει με την ενέσιμη τοποθέτηση νανομηχανών στο αίμα, οι οποίες θα αντικαταστήσουν κάθε εγκεφαλικό και αισθητήριο νευρώνα με μια τεχνητή δομή με ανάλογες λειτουργίες. Η νανομηχανή θα εμπεριέχει ένα πρόγραμμα το οποίο θα προσομοιώνει τον νευρώνα, ενώ ταυτόχρονα θα αλληλεπιδρά με τα γειτνιάζοντα κύτταρα σαν να βρισκόταν ακόμη εκεί ο νευρώνας που αντικαταστάθηκε. Τα κύτταρα που περιβάλλουν τον νευρώνα δεν θα αντιλαμβάνονται την όποια αλλαγή. Σταδιακά, κάθε σύναψη μέσα στον εγκέφαλο θα μετατραπεί σε πληροφορίες μέσα σε ένα πρόγραμμα η/υ, παραμένοντας λειτουργική αλλά χωρίς την προηγούμενη φυσική δομή της.

Όταν η διαδικασία ολοκληρωθεί, ό,τι αντιλαμβανόμασταν προηγουμένως ως το «άτομο» θα ξεκινάει μια νέα ζωή μέσα στον κυβερνοχώρο.

Ταυτότητα αρχέτυπου

Μια συνήθης παρεξήγηση που ανακύπτει στις συζητήσεις σχετικά με την επιφόρτωση είναι η διαφορά μεταξύ αντίγραφου και μεταφερόμενου δεδομένου. Το ερώτημα είναι κατά πόσον το τελευταίο είναι δυνατό να επιτευχθεί και αποτελεί την πιο σκληρή και βασική αντιπαράθεση πάνω στο ζήτημα της επιφόρτωσης.

Το αντίγραφο είναι η προσομοίωση ενός ατόμου που μπορεί να ομοιάζει σε πολλά σημεία με το αρχέτυπο, όμως δεν αποσκοπεί στο να είναι το αρχέτυπο. Δεδομένου του υπάρχοντος ρυθμού της τεχνολογικής προόδου, η δυνατότητα να κατασκευάζει κάποιος αντίγραφα ως ένα βαθμό, συμπεριλαμβανομένης της δοκιμής Τούρινγκ, το να πιάσεις κορόιδα φίλους, συγγενείς κτλ., μοιάζει δυνατή.

Η μεταφορά δεδομένου είναι πολύ πιο δύσκολη, αν όχι αδύνατη. Η μεταφορά συνείδησης από τον εγκέφαλο σε έναν η/υ προϋποθέτει την αντιγραφή σε ένα αρκετά βαθύ επίπεδο, τουλάχιστον τόσο ώστε να αντιγράφει μεμονωμένους νευρώνες, ενώ ταυτόχρονα θα καταστρέφει το αρχέτυπο και θα διατηρεί την λειτουργική συνοχή του συνόλου στην διάρκεια της όλης διαδικασίας. Αυτοί είναι οι ελάχιστοι περιορισμοί που μπορούν να υποτεθούν σε μια μελλοντική διαδικασία επιφόρτωσης, όμως δεν απαντούν στο πιο κρίσιμο ερώτημα: τι αποδείξεις ή λογικό συμπέρασμα υπάρχει πως η επιφόρτωση είναι πράγματι εφικτή.

Η θεωρία που προβάλλουν οι υποστηρικτές της επιφόρτωσης, για να υποστηρίξουν την πεποίθηση τους σχετικά με την εφαρμοσιμότητα της, λέγεται ταυτότητα αρχέτυπου. Ο Μόραβεκ έχει γράψει και εκδώσει την πιο πλήρη έκθεση αυτής της άποψης σχετικά με την επιφόρτωση, και τα παρακάτω αποτελούν την σύνοψη των επιχειρημάτων του και την απάντηση στα όποια ερωτήματα, (Μόραβεκ 1988: 116-122).

Η ταυτότητα του αρχέτυπου βασίζεται στην βασική υπόθεση, ότι η συνέχιση της ζωής καθορίζεται από τα πρότυπα και από την διαδικασία, όχι από την ύλη που τα περικλείει. Ο Μόραβεκ αντιπαραθέτει την θέση του βάσει της ταυτότητας του αρχέτυπου με αυτό που αποκαλεί σώμα-ταυτότητα, την ιδέα ότι το άτομο καθορίζεται από την ουσία από την οποία αποτελείται. Αν και κάποια ενδιαφέροντα επιχειρήματα συγκεντρώνονται υπέρ της ταυτότητας του προτύπου, δεν χρειάζεται κάποιος να ακολουθήσει άκριτα την άλλη άποψη του σώματος-ταυτότητα για να επισημάνει τα αδύναμα σημεία τους.

Ξεκινάει με την παρατήρηση ότι η διατήρηση της ταυτότητας και η μη διατήρηση της ύλης, της ουσίας, αποτελεί κανονικό μέρος της οργανικής ζωής, ότι οι άνθρωποι τρώνε και αποκρίνουν, ότι τα παλιά κύτταρα πεθαίνουν για να αντικατασταθούν από νέα, ότι μέρη μέσα στα κύτταρα σιγά-σιγά ξαναχτίζονται και αντικαθίστανται, κτλ… Το πιο ισχυρό του επιχείρημα υπαινίσσεται πως έχει μια δόση αλήθειας, όσον αφορά στην ταυτότητα-αρχέτυπο και χρειάζεται περαιτέρω έρευνα.

Αν και είναι αλήθεια πως η ουσία δεν αλλάζει τις ζωτικές λειτουργίες, το ίδιο ισχύει και για το αρχέτυπο. Κάποιος μπορεί, ας πούμε, να χάσει χιλιάδες νευρώνες από την χρήση ναρκωτικών ουσιών, και παρά ταύτα να παραμείνει ο ίδιος άνθρωπος, αν και η ταυτότητα των νευρώνων έχει αλλάξει. Μπορεί, ακόμη, η επίδραση να μην γίνει αντιληπτή. Πράγματι, αρχέτυπα που προέρχονται από την οργανική φόρμα συνεχώς αλλάζουν χωρίς να επιδρούν στην ταυτότητα. Όλοι αλλάζουμε στην διάρκεια του χρόνου, αλλά παραμένουμε ο εαυτός μας.

Ο αναγνώστης ίσως τώρα να μπορεί να διακρίνει τον βασικό τομέα των επιστημών που αγνοεί η θεωρία της επιφόρτωσης: την χημεία. Στην χημεία, το υλικό είναι το μήνυμα όπως το αντιλαμβανόμαστε άμεσα. Διαφορετική σύσταση σημαίνει διαφορετικό αρχέτυπο.

Αν και ένα δεδομένο μήνυμα ή αρχέτυπο μπορεί να μεταφερθεί από διαφορετικά μέσα, κάθε αυταπάτη περί ταυτότητας μπορεί να λήξει εδώ. Το μέσο (σε αυτή την περίπτωση, οι οργανικοί νευρώνες εναντίον των η/υ) προφανώς κατέχει διαφορετικές ιδιότητες και μια διαφορετική «ζωή».

Η ταυτότητα αρχέτυπο, όπως περιγράφεται από τον Μόραβεκ, είναι, στην καλύτερη περίπτωση, μια μονοδιάστατη περιγραφή της ζωής και όχι ένα μαγικό κλειδί για την μετεξέλιξη της.

Θα πρέπει, επίσης, να σημειωθεί, πως οι πολύ σταδιακές αλλαγές στην ουσία, οι οποίες παρατηρούνται στην μεταβολική διαδικασία, ελέγχονται πλήρως από τον οργανισμό και δεν προέρχονται από μια εξωτερική δύναμη, όπως οι ασταμάτητα εργαζόμενες νανομηχανές. Προφανώς, όλες οι αλλαγές στην ουσία πρέπει να συμβαίνουν μέσα σε ένα πολύ στενό πλαίσιο ώστε να διατηρηθεί η ζωή.

Επί πλέον, δεν υπάρχουν διαθέσιμες αποδείξεις για τον σχηματισμό ζωής πέρα από τα μόρια που βασίζονται στον άνθρακα οπουδήποτε στην Γη, ή, από όσο ξέρουμε, στο Σύμπαν, παρ’ όλα τα δισεκατομμύρια έτη που έχουν περάσει και κάτι τέτοιο θα μπορούσε να είχε συμβεί. Αυτό σημαίνει πως όχι μόνο δεν αναπτύχθηκε από μόνη της καμία μορφή ζωής η οποία έχει ως βάση τον άνθρακα, αλλά και πως καμία μορφή ζωής με βάση τον άνθρακα ποτέ δεν άλλαξε την χημική της σύσταση σε νέα στοιχεία, παρ’ όλες τις αφόρητες πιέσεις της ε-ξέλιξης (ώστε να εκμεταλλευτεί νέες ουσίες, νέες ιδιότητες και νέα περιβάλλοντα).

Παρακάτω, η επιχειρηματολογία του Μόραβεκ υπέρ της ταυτότητας-αρχέτυπο, προβάλλει τον αναγωγισμό που υπάρχει στην θεωρία του.

Ο Μόραβεκ ξεκινά με το μήνυμα «Δεν είμαι μια μέδουσα». (Θα εύχονταν, ίσως όσοι δεν είναι ευχαριστημένοι με την ύπαρξη τους ως πρωτοπλάσματα.)

«Καθώς δακτυλογραφώ το κείμενο, αυτό πηγαίνει από τον εγκέφαλο στο πληκτρολόγιο του η/υ μου, διαμέσου χιλιάδων ηλεκτρονικών κυκλωμάτων, και περνώντας πολλά μέτρα καλωδίου. Μετά από αναρίθμητες περιπέτειες, το μήνυμα εμφανίζεται σε πολλά βιβλία σαν αυτό που κρατάτε. Πόσα μηνύματα υπάρχουν; Υποστηρίζω πως είναι πιο χρήσιμο να σκεφτόμαστε πως υπάρχει μόνον ένα, παρ’ όλη την μαζική αντιγραφή του. Εάν το επαναλάβω εδώ πως «Δεν είμαι μια μέδουσα», πάλι θα είναι ένα το μήνυμα… Το μήνυμα είναι η πληροφορία που μεταφέρεται, όχι το μέσο διαμέσου του οποίου γίνεται η κωδικοποίηση/μεταφορά. Το «αρχέτυπο» που αξιώνω είναι πως το αληθινό εγώ έχει τις ίδιες ιδιότητες με αυτό το μήνυμα», (Μόραβεκ 1988: 118-119).

Η σύγχυση εδώ γίνεται μεταξύ ενός υπαρκτού αντικειμένου και της συμβολικής του αναπαράστασης. Το σύμβολο είναι εξ ορισμού, κάτι το οποίο υπάρχει στην θέση κάποιου πράγματος, μια μινιμαλιστική εκδοχή της πραγματικότητας που μπορεί να αναπαραχθεί ασταμάτητα. Στο παράδειγμα που δίνει ο Μόραβεκ, αυτό που ήταν αληθινό και μοναδικό ήταν η όλη νοητική διεργασία η οποία τον έκανε να σκεφτεί την φράση «Δεν είμαι μια μέδουσα». Όλα τα υπόλοιπα είναι απλώς μια απλή αναπαράσταση.

Τζων Φίλις
Μετάφραση Κ.

Από την ΔΙΑΔΡΟΜΗ ΕΛΕΥΘΕΡΙΑΣ, φ. 124, Φεβρουάριος 2013                                                                                                                                                                                                                                                                                                                                                               

Επιβεβαιώνοντας την μεταφορά

Εάν η θεωρία της επιφόρτωσης τίθεται υπό αμφισβήτηση, τότε πώς να βρούμε αποδεικτικά στοιχεία; Όταν θα είναι διαθέσιμη η τεχνολογία, δεν μπορούμε να πειραματιστούμε με διαφορετικές διαδικασίες και να δούμε ποια θα είναι τα αποτελέσματα;

Εδώ ανακύπτουν ορισμένα προβλήματα. Για αρχή, εφόσον η επιφόρτωση απαιτεί ότι ο αρχικός εγκεφαλικός ιστός θα καταστραφεί, ή έστω θα καταστεί ανενεργός, ο αναμενόμενος θάνατος του ασθενούς θα έκανε δυσεύρετους τους εθελοντές, άσε το τί θα μπορούσε να σκεφτεί σχετικά ο νομοθέτης. Αυτή η δυσκολία μπορεί να ξεπεραστεί με αναμονή, όπως προτείνει ο Ραλφ Μερκλ, ώστε να είναι νεκρή η υποψήφια επιφόρτωση, (Μερκλ 1993: 5).

Θεωρώντας πως αυτή η κατάσταση μπορεί να υπάρξει, και ότι είναι δυνατόν να χαρτογραφηθεί γρήγορα και/ή να διατηρηθούν οι νευρώνες από την αλλοίωση (πράγμα που δεν μπορεί να είναι και πολύ δύσκολο με την χρήση νανοτεχνολογίας, με το που σταματάνε τα σημεία ζωής, υποδόριες αποθήκες με αισθητήρες θα μπορούσαν να απελευθερώσουν ορδές αυτο-πολλαπλασιαζόμενων νανομηχανών στο αίμα ώστε να διατηρήσουν και να προφυλάξουν τους νευρώνες), ένα άλλο πρόβλημα προφανώς ανακύπτει. Όταν ένα σώμα είναι ήδη νεκρό η πιο σημαντική ένδειξη είναι ότι εσύ πράγματι κάνεις την μεταφορά.

«…αν το άτομο δεν έχει τις αισθήσεις του… δεν μπορεί κάποιος που να θέλει να εμπλακεί σε μια τέτοια διαδικασία να είναι σίγουρος ότι θα επιβιώσει», (Ρος 1992: 15).

Πράγματι, η ιδέα τού να έχει κάποιος τις αισθήσεις του στη διάρκεια της «μεταφοράς» κατά κάποιο τρόπο προσδίδει την σιγουριά ότι η όλη διαδικασία γίνεται αδιάκοπα, είναι εντελώς αβάσιμη. Στη διάρκεια της επιφόρτωσης, οι νευρώνες του εγκεφάλου, η έδρα της συνείδησης, αντικαθίστανται από νανομηχανές ενεργοποιητές που αλληλεπιδρούν με γειτνιάζοντα κύτταρα σαν να ήταν ακόμη εκεί ο νευρώνας που αντικαταστάθηκε. Ο εγκέφαλός σου αντικαθίσταται, κομματάκι-κομματάκι σε μικροσκοπικό επίπεδο, από μηχανές, αρκετά έξυπνες ώστε να κοροϊδέψουν τα ανέγγιχτα κύτταρα πως τίποτα το αλλόκοτο δε συμβαίνει. Υπό αυτές τις συνθήκες, τί απόδειξη θα υπάρχει ότι η μεταφορά δεν συμβαίνει; Η εισαγωγή αισθητήριων δεδομένων θα συγχρονίζεται μεταξύ νανομηχανής και νευρώνα, έτσι ο κόσμος γύρω σου θα μοιάζει ίδιος σε όλες τις αισθήσεις σου. Μήπως κάποια αίσθηση ενστικτώδους άγχους ή αδιαθεσίας θα σε κατακλύσει στην διάρκεια της επιφόρτωσης; Δεν υπάρχει λόγος να πιστέψουμε ότι κάτι τέτοιο θα συμβεί, ούτε θα αποδεικνύει ότι σε σκοτώνουν αντί απλώς να σε τοποθετούν από το ένα πλαίσιο σε ένα άλλο.

Ακόμη πιο περίεργη είναι η θεωρία, πως το αντίγραφο από μόνο του θα έχει συναίσθηση πως δεν είναι το αρχέτυπο. Στο άρθρο του σχετικά με την επιφόρτωση στο «Εξτροπία», ο Ραλφ Μερκλ γράφει ένα ρόλο για έναν φανταστικό επιστήμονα ο οποίος ρωτάει μια επιφόρτωση σε η/υ «Νομίζεις ότι δεν είσαι εσύ;», στην οποία ερώτηση η έτοιμη απάντηση είναι: «Όχι, εγώ είμαι», (Μερκλ 1993: 5). Ακόμη και ένα σχετικά απλό πρόγραμμα η/υ θα πρέπει να μπορεί να αποφύγει να δώσει την απάντηση που είναι μια σαφής αντίφαση των όρων, όπως π.χ. «Δεν είμαι εγώ». Μια λιγότερο ανόητη ερώτηση θα μπορούσε να είναι να ρωτήσει προσφωνώντας το με το όνομα, όπως π.χ. «Είσαι ο Τζον Σμιθ;», παρ’ όλο που και αυτή συμπεραίνει πως ένα πρόγραμμα η/υ θα έχει μια άλλη ταυτότητα πέρα από αυτή με την οποία έχει προγραμματιστεί. Μάλιστα, μια τέτοια ερώτηση θα ήταν χρήσιμη σε ένα αντίγραφο, για να δούμε αν η μνήμη έχει πράγματι περαστεί, αλλά η επιβεβαίωση της μεταφοράς ακόμη μας διαφεύγει.

Μελλοντικές προοπτικές

Είναι δύσκολο να προβλέψει κανείς την μελλοντική πορεία μιας επιστήμης που είναι ταυτόχρονα τόσο μη αποδεδειγμένη όσο και αντιφατική, όμως είναι πιθανό ότι μια απόπειρα που μοιάζει με διαδικασία επιφόρτωσης θα μπορεί να επιχειρηθεί σε πολύ σύντομο χρονικό διάστημα μετά την έλευση της νανοτεχνολογίας. Υπήρχε μια απόπειρα από κάποιους θεωρητικούς, κυρίως από τον Μόραβεκ, να υπολογίσουν την αναγκαία ταχύτητα και μνήμη η/υ που να μπορεί να σηκώσει μια επιφόρτωση και έπειτα να παρουσιάσουν το σημείο σε γραφική απεικόνιση του χρόνου, όπου θα είναι διαθέσιμη μια τέτοια μηχανή. Υπολόγισε πως θα χρειαστούν 10 τέραοπς (10 τρισεκατομμύρια ενέργειες το δευτερόλεπτο) με 10 τρισεκατομμύρια λέξεις μνήμη και προβλέπει πως ένας τέτοιος υπολογιστής θα είναι διαθέσιμος και οικονομικά προσιτός το 2030, (Μόραβεκ 1988: 50-60, 68).

Σε μια από τις πλέον εμπεριστατωμένες εκθέσεις που έχουν γραφτεί γύρω από την επιφόρτωση, ο Ντέιβ Ρος τονίζει πως η ταχύτητα επεξεργαστή δεν συνάδει απαραίτητα με την νοημοσύνη του προγράμματος, (Ρος 1992: 12). Ένα πρόγραμμα με νοημοσύνη, είτε είναι επιφόρτωση, αντίγραφο ή κάποια μορφή τεχνητής νοημοσύνης θα μπορούσε, έχοντας διαθέσιμη την μνήμη που απαιτείται, να τρέξει στον πιο απλό η/υ. Απλώς θα ήταν αναλογικά πιο αργό.

Ο Ρος αντιμετωπίζει την νοημοσύνη περισσότερο σαν ένα ζήτημα της «πολυπλοκότητας» του συστήματος (ό.π.: 12-13), ένα σωστό, αν και αρκετά αόριστο συμπέρασμα. Τα καθοριστικά χαρακτηριστικά της νοημοσύνης, η ελαστικότητα και η ρευστότητα, η δυνατότητα να πραγματοποιεί περίπλοκες ενέργειες, μπορεί να προσομοιωθεί ή να επιτευχθεί μόνο μέσω της σύνθετης αλληλεπίδρασης ενός ευρέος αριθμού μεμονωμένων υποσυστημάτων, που δεν χρειάζεται να έχουν ιδιαίτερες ικανότητες το καθένα ξεχωριστά, ούτε και να είναι απαραίτητα για την λειτουργία του συστήματος από μόνα τους.

Αν και είναι δύσκολο να κατηγορήσεις έναν τέτοιο ορισμό για την νοημοσύνη, είναι το ίδιο αφαιρετικός όσο και επεξηγηματικός. Ίσως να αρκεί να εξηγήσουμε τα μέσα με τα οποία μπορούμε να δημιουργήσουμε τεχνητή νοημοσύνη που να μπορεί να περάσει με επιτυχία τα υποκειμενικά μας τεστ εξυπνάδας, όμως δεν μας δίνει ακριβώς την εξήγηση του τι ακριβώς είναι η νοημοσύνη. Και η αδυναμία ως τώρα να το κάνουμε, κάνει το επιχείρημα ότι οι υπολογιστές δεν μπορούν να σκεφτούν να φαίνεται μη πειστικό. Αν είναι αδύνατον να καθορίσουμε με ακρίβεια τι είδος αλληλεπίδρασης προκαλεί την νοημοσύνη στον άνθρωπο, είναι το ίδιο αδύνατον να υποστηρίξουμε ότι η νοημοσύνη δεν μπορεί να εμφανιστεί στις μηχανές. Το μόνο που μπορούμε να πούμε με σιγουριά είναι πως οι άνθρωποι δεν είναι μηχανές, και οι μηχανές δεν είναι άνθρωποι. Οι άνθρωποι και οι μηχανές μπορεί να έχουν πολλά κοινά χαρακτηριστικά, αλλά όχι κοινή ταυτότητα.

Μια άλλη σκέψη που μπορεί να επηρεάσει το αναμενόμενο χρονικό πλαίσιο για τις επιφορτώσεις είναι το ζήτημα τού σε πόσο βαθύ επίπεδο θα πρέπει να αναπαραχθεί ώστε να μπορεί να υποστηρίξει μια επιφορτωμένη συνείδηση. Πρέπει να προσομοιώσουμε κάθε άτομο ξεχωριστά, ή ακόμη κάθε μόριο, ή πιθανά ακόμη και κάθε υποκυτταρικό οργανίδιο, ή ιδανικά απλώς να προσομοιώσουμε κάθε νευρώνα; Η ουσιαστική διαφορά έγκειται στην ποσότητα μνήμης η/υ που απαιτείται. Ο Μερκλ εκτιμά, πως κάπου μεταξύ του 2010 και του 2020, η ποσότητα μνήμης που απαιτείται για να αποθηκεύσει ο η/υ μια περιγραφή του κάθε ατόμου του εγκεφάλου ξεχωριστά θα έχει τον όγκο κάπου 100 λίτρων. Στην ίδια χρονική περίοδο στο μέλλον, ένας υπολογιστής που θα μπορεί να προσομοιώνει κάθε νευρώνα του εγκεφάλου, κάθε σύναψη, και κάθε νευρικό ερέθισμα θα καταλαμβάνει όγκο όσο ένα κυβικό εκατοστό, (Μερκλ 1993: 5,8). Όσο η πιθανότητα της επιφόρτωσης είναι μη αποδεδειγμένη, ο βαθμός προσομοίωσης που χρειάζεται είναι αβέβαιος.

Μια ακόμη σημαντική παράμετρος που θα επηρέαζε το να ενστερνιστούμε την επιφόρτωση είναι το κοινωνικό περιβάλλον. Είναι πολύ νωρίς για να προβλέψουμε πόσο αποδεκτή θα γίνει η ιδέα της επιφόρτωσης και των όσων υπόσχεται, όμως κάποιες από τις επιπτώσεις σε έναν κόσμο γεμάτο επιφορτώσεις μπορούν να προβλεφθούν. Μια επίπτωση θα είναι η σταδιακή απώλεια του πλούτου της ανθρωπότητας που θα περνάει στα χέρια των μηχανών. Δεν θα μπορεί ο πλούτος, μεγάλος ή μικρός, να μεταβιβάζεται στις επόμενες γενιές, αλλά θα «παραμένει» κάτω από τον έλεγχο των ατόμων που θα έχουν επιφορτωθεί σε ένα πρόγραμμα η/υ, ή έστω σε προγράμματα η/υ που θα δίνουν μια πειστική προσομοίωση ατομικών προσωπικοτήτων.

Μία ακόμη επίπτωση θα είναι πως ένα ολοένα αυξανόμενο ποσοστό του εργατικού δυναμικού θα εξουσιάζεται από τις μηχανές-εργοδότες, καθώς όχι μόνο η προσωπική περιουσία θα παρακρατείται από τις μηχανές, αλλά προφανώς και χρήσιμες επαγγελματικές ικανότητες και επαγγελματική εμπειρία. Καθώς οι επιφορτώσεις δεν χρειάζονται ύπνο, και πιθανώς θα λειτουργούν σε ταχύτητες χιλιάδες φορές πιο γρήγορες από έναν άνθρωπο, (μια επιφόρτωση με αρκετή ταχύτητα στον επεξεργαστή θα μπορεί να πραγματοποιήσει, λόγου χάριν, την έρευνα και την ανάλυση ενός σχεδίου που κανονικά θα έπαιρνε ένα μήνα, σε μόλις τον χρόνο που αποτελεί ένα διάλειμμα για φαγητό), θα αποδειχτούν εξαιρετικά πολύτιμες και με τον καιρό απαραίτητες για την λειτουργία μεγάλων επιχειρήσεων, εταιριών νομικών συμβούλων, επενδυτικών και συμβουλευτικών εταιριών, πανεπιστημίων, «δεξαμενών σκέψης» καθώς και στον τομέα της έρευνας. Στην πραγματικότητα, εξ αιτίας των πολύ πιο γρήγορων ταχυτήτων και της πιθανής αύξησης της αποδοτικότητας, ένα άτομο θα μπορεί να είναι πολύ πιο χρήσιμο σαν επιφόρτωση παρά σαν άνθρωπος με σάρκα και οστά.

Το επερχόμενο κύμα

Οι επιπτώσεις της επιφόρτωσης είναι τόσο ευρείες που είναι δύσκολο να τις απαριθμήσουμε χωρίς να δημιουργήσουμε νέες επιπτώσεις και αντιφάσεις. Πρώτα από όλα, το γεγονός και μόνο ότι η επιφόρτωση είναι ταυτόχρονα και εφικτή και επιθυμητή βασίζεται σε μια αλυσιδωτή σειρά ισχυρισμών. Ας ρίξουμε μια ματιά στον κάθε ένα.

Ένα πολύ βασικό ζήτημα είναι το κατά πόσον οι υπολογιστές θα μπορέσουν στο μέλλον να σκέφτονται, ή να εξελίσσονται από μόνοι τους. Αν και οι μηχανές αποτελούνται από διάφορα στοιχεία με διαφορετική δομή και λειτουργίες από την οργανική μορφή ζωής, δεν υπάρχει κάποιος λόγος να μην πιστεύουμε πως οι υπολογιστές δεν θα κατέχουν δυνάμεις που δεν θα μπορούν να εκπληρώσουν τον πιο απαιτητικό ορισμό της νοημοσύνης. Παρομοίως, είναι ίσως δυνατόν να φανταστούμε ένα μέλλον όπου οι μηχανές θα είναι οι μοναδικοί υπεύθυνοι σχεδιαστές και κατασκευαστές καινούργιων, εξυπνότερων και ισχυρότερων μηχανών. Η πορεία ενός μέλλοντος, που προβάλλεται μετά την επιφόρτωση, είναι κατά μια έννοια εξαρτημένη από αυτές τις δύο ικανότητες.

Η προοπτική να κατασκευάσουμε έναν υπολογιστή διπλότυπο του εαυτού μας μοιάζει ικανοποιητική στα πλαίσια του εφικτού. Ίσως να είναι πιο δύσκολο από όσο αναμένουν οι θιασώτες της επιφόρτωσης. Είναι δύσκολο να γνωρίζει κανείς με σιγουριά ακόμη κι αν μια επιφόρτωση που αποτελεί την προσομοίωση κάθε νευρώνα, σύναψης και νευρικού ερεθίσματος που ταξιδεύει διαμέσου κάθε νευρώνα μέσα στον ανθρώπινο εγκέφαλο, πως θα συμπεριφερθεί σαν το αρχέτυπο. Η αποθήκευση μνήμης στον ανθρώπινο εγκέφαλο παραμένει ακόμη ένα μυστήριο, και μπορεί να προκύψουν δυσκολίες που δεν μπορούμε να προβλέψουμε στη διαδικασία μεταφοράς της μνήμης από το αρχέτυπο στο διπλότυπο. Γενικά, όμως, το διπλότυπο δεν μοιάζει ακατόρθωτο να κατασκευαστεί.

Η μεταφορά συνείδησης από τον ανθρώπινο εγκέφαλο σε έναν υπολογιστή είναι από την άλλη, ένα εντελώς διαφορετικό ζήτημα. Δεν υπάρχει ένα ακλόνητο επιχείρημα ή απόδειξη για το αν είναι εφικτό κάτι τέτοιο. Η θεωρία σχετικά με την επιφόρτωση –ταυτότητα-αρχέτυπου– δεν έχει βάσεις: πιο πολύ από οτιδήποτε άλλο, μοιάζει με μια προέκταση της ατυχούς συνήθειας του ανθρώπινου είδους να μπερδεύει το υπαρκτό αρχέτυπο με την απεικόνισή του. Ο χάρτης δεν είναι η γη που απεικονίζει. Η ταυτότητα μπορεί να «ξεπατικωθεί» και να αντιγραφτεί αλλά η ταυτότητα παραμένει μοναδική και ανέγγιχτη.

Μια άλλη δυσκολία ανακύπτει, η οποία δεν έχει συζητηθεί πολύ, σε ό,τι αφορά την υπόθεση ότι μπορεί να μεταφερθεί ο εαυτός από το σώμα στην μηχανή. Μπορεί η συναισθηματική ζωή του ατόμου να επιφορτωθεί σε έναν υπολογιστή; Το επιχείρημα ότι θα μπορούσαμε να μεταφέρουμε τα συναισθήματά μας από το ανθρώπινο σώμα στην μηχανή μοιάζει ακόμη πιο αδύνατο από το να μεταφέρουμε την εγκεφαλική λειτουργία. Το να επιτευχθεί η προσομοίωση ορισμένων εγκεφαλικών λειτουργιών, είναι, εξ άλλου, αυτό για το οποίο σχεδιάστηκαν οι η/υ από την πρώτη μέρα που έγινε η σύλληψη της έννοιας η/υ. Όμως τα συναισθήματα μοιάζουν να είναι ένα εντελώς διαφορετικό πρόβλημα.

Αν και οι νοητικές λειτουργίες μπορούν, σε ένα μεγάλο μέρος, να αφορούν τον εγκέφαλο, τα συναισθήματα μοιάζουν να αφορούν το σύνολο του σώματος. Σχετίζονται με την αναπνοή, τον καρδιακό ρυθμό, το ενδοκρινολογικό σύστημα, τους μύες καθώς και με τον εγκέφαλο. Θα μπορεί μια επιφόρτωση νευρώνα να νιώθει κάτι που να μοιάζει με την ικανότητα του ανθρώπου να αισθάνεται συναισθήματα; Θα νιώθει κάτι;

Είναι σημαντικό να τονίσουμε πως τα συναισθήματα, τα οποία κατ’ ουσίαν τα αγνοούν σε κάθε συζήτηση γύρω από την επιφόρτωση, είναι αυτά που δίνουν νόημα στη ζωή μας. Καλύτερα να είσαι ζωντανός έστω και για μια μέρα και να μπορείς να νιώσεις χαρά, παρά να βιώσεις μια αιωνιότητα ως επεξεργαστής δεδομένων χωρίς καθόλου συναισθήματα.

Αφήνοντας αυτό κατά μέρος, ποιό θα μπορούσε να είναι το μέλλον μας σε έναν κόσμο μετά την επιφόρτωση; Παρ’ όλες τις νεοανακαλυφθείσες δυνάμεις και ικανότητες μας, σύντομα θα κλέψουν την παράσταση οι υπολογιστές με τεχνητή νοημοσύνη που δεν θα χρειάζονται την επιφόρτωση από άνθρωπο. Αυτές οι μηχανές τεχνητής νοημοσύνης θα είναι πολύ πιο αποτελεσματικές και προσαρμοζόμενες από τις επιφορτώσεις και θα μας ξεπεράσουν σίγουρα κάποια στιγμή σε κάθε εργασία. Ο Μόραβεκ, προς τιμήν του, είναι ένας από τους υποστηρικτές της επιφόρτωσης, προσεγγίζοντας με εντιμότητα αυτό το ζήτημα.

«Ο άνθρωπος μάλλον δεν θα τα καταφέρνει επαρκώς σε ένα τέτοιο κυβερνοχώρο. Σε αντίθεση με τις «μοντέρνες» τεχνητές νοημοσύνες που τρέχουν τριγύρω κάνοντας ανακαλύψεις και συμφωνίες, επαναδομώντας τον εαυτό τους ώστε να χειρίζονται αποτελεσματικά τα δεδομένα που αποτελούν τις ενέργειες τους, ο ανθρώπινος εγκέφαλος θα βαδίζει αργά σε μια ακατάλληλη κατά το πλείστον προσομοίωση σώματος, ανάλογη με αυτήν κάποιου με στολή κατάδυσης που κολυμπάει με δυσκολία ανάμεσα σε δελφίνια-ακροβάτες», (Μόραβεκ 1993: 7).

Έχοντας προβάλλει την μελλοντική αύξηση της υπολογιστικής ισχύος, την προσδοκώμενη εξέλιξη της νανοτεχνολογίας και πραγματοποιώντας μια πιο εκλεπτυσμένη προσέγγιση, το μέλλον για την τεχνητή νοημοσύνη μοιάζει να είναι ευοίωνο. Αν ο Έρικ Ντρέξλερ, εμπνευστής της νανοτεχνολογίας, αποδειχθεί σωστός σχετικά με το ότι η νοημοσύνη των μετα-νανοτεχνολογικών μηχανών θα μπορεί να πραγματοποιήσει την έρευνα και την ανάπτυξη που αντιστοιχεί σε εκατομμύρια χρόνια μέσα σε ένα έτος (Ντρέξλερ 1994: 35), τότε μοιάζει πιθανόν, μέσα σε πολύ σύντομο χρονικό διάστημα, οι τεχνητές νοημοσύνες να μας ξεπεράσουν και να τις διέπει ένας κώδικας αξιών που μόνο μπορούμε να υποθέσουμε ποιος θα είναι. Αν και ορισμένες ή περισσότερες τεχνητές νοημοσύνες δεν θα είναι εχθρικές, οι οικονομικοί περιορισμοί ενός κόσμου που έρχεται αντιμέτωπος με μια τέτοια τυφλή τεχνολογική πρόοδο, με έναν τόσο συνακόλουθα οξύ ανταγωνισμό, μπορεί να τις κάνει να περιορίσουν την σφαίρα κινήσεων μας όλο και περισσότερο προκειμένου να μην εμποδίσουμε την δικιά τους εξέλιξη.

Αν δεν μπορούμε τότε να πραγματοποιήσουμε καμία χρήσιμη λειτουργία ως πρωτόγονος συνεχιστής-απομεινάρι της ζωής με βάση τον άνθρακα, τότε η σημασία μας στο σύμπαν της επιστημονικής ανάπτυξης θα φθίνει. Όταν θα φτάσουμε στο σημείο όπου δεν θα είμαστε πια χρήσιμοι, ίσως τότε χρειαστεί να αποδείξουμε ότι είμαστε αξιόπιστοι απέναντι σ’ αυτές τις τεχνητές νοημοσύνες, ώστε να διάκεινται ευνοϊκότερα προς εμάς.

Ποια θα ήταν ίσως η απάντηση μιας επιφόρτωσης που έρχεται αντιμέτωπη με έναν οξύ ανταγωνισμό από πιο αποδοτικές τεχνητές νοημοσύνες; Ο Μόραβεκ παραθέτει: «Μπορεί να μπούμε στον πειρασμό να αντικαταστήσουμε κάποιες από τις πιο μύχιες εγκεφαλικές λειτουργίες μας με πιο κατάλληλα προγράμματα για τον κυβερνοχώρο, τα οποία θα έχουμε «αγοράσει» από την τεχνητή νοημοσύνη και έτσι, σιγά σιγά, θα μετατρέψουμε τους εαυτούς μας σε κάτι που θα της μοιάζει αρκετά. Στην ουσία, η διαδικασία της σκέψης θα απελευθερωθεί από κάθε ίχνος του παλιού μας σώματος, και μάλιστα και κάθε σώματος. Όμως το ασώματο μυαλό που προκύπτει, όσο καταπληκτικό και να είναι για την καθαρότητα της σκέψης του και το μεγάλο εύρος της αντίληψης που διαθέτει, δεν θα μπορεί κατά καμία έννοια να θεωρείται πλέον ανθρώπινο», (Μόραβεκ 1993: 7).

Αυτά, παρεμπιπτόντως για την ταυτότητα-αρχέτυπο.

Ως ένα βαθμό, η επιφόρτωση μπορεί να είναι η πιο τέλεια (αν είναι ακούσια) μέθοδος εξάλειψης του ανθρώπινου γένους που έχει επινοηθεί ποτέ. Το άτομο καταστρέφεται και αντικαθίσταται με ένα νοήμον διπλότυπο και η σύνδεση μεταξύ των δύο έχει αποδειχθεί μέσω αναγωγιστικής επιχειρηματολογίας που εξαφανίζει την μοναδικότητα της ατομικής συνείδησης.

Όμως αυτό αποτελεί μέρος ενός πιο μακρινού μέλλοντος το οποίο είναι δύσκολο να προβλέψουμε. Στο παρόν και το εγγύς μέλλον, η πιο επικίνδυνη ίσως διάσταση της θεωρίας της επιφόρτωσης είναι το χρυσωμένο χαπάκι που προσφέρεται για πολλές πλευρές του κυβερνο-μέλλοντος μας. Όσο οι ζωές μας μπερδεύονται όλο και πιο βαθειά σε ένα τεχνοκρατικό ιστό, τόσο πιο δελεαστική είναι η προοπτική σύμπτυξης μας με τις μηχανές στην οποία θα υποκείμεθα όλο και περισσότερο. Αν το μέλλον μας προαναγγέλλει την περιθωριοποίηση του οργανικού από το αυτοματοποιημένο, τότε ίσως η πιο ελπιδοφόρα ανταπόκριση θα είναι να αγκαλιάσουμε αυτό το επερχόμενο κύμα.

Κάνοντας μια ανασκόπηση στις ιδέες και τις θεωρίες που αποτελούν το θεμέλιο της μελλοντικής επιστήμης της επιφόρτωσης, τίποτα δεν τις θυμίζει περισσότερο όσο οι σαρκοφάγοι και τα τοτέμ των αρχαίων πολιτισμών, μια απόπειρα να εγγράψεις ένα αιώνιο αποτύπωμα του εαυτού σου στο αέναο κενό, μια επιθυμία να υπάρξεις για πάντα. Όσο ευγενές και ανώτερο μπορεί να μοιάζει ένα τέτοιο όραμα, θα πρέπει να βασιστεί σε κάποιο δείγμα κριτικής σκέψης και όχι σε ευχολόγια, ώστε να μην μετατραπεί σε ένα εργαλείο για την μελλοντική μας υποδούλωση, όπως είχε γίνει στο παρελθόν.

Όποια κι αν είναι η πιθανότητα της ανθρωπότητας για την αθανασία, θα πρέπει να τα καταφέρει με έναν καλύτερο τρόπο  από αυτόν…

Τζων Φίλις
Μετάφραση Κ.

Πηγές
Drexler, K. Eric (1994). «FORUM: Automated police & defense («Nanarchy»)» Extropy #12: 32-39
Hanson, Robin (1994). «If Uploads Come First: The Crack of a Future Dawn» Extropy #13: 10-15
Merkle, Ralph (1993). «Uploading Consciousness» Extropy #11: 5-8
Moravec, Hans (1988). Mind Children. Cambridge, Massachusetts: Harvard University Press
Moravec, Hans (1993). «Pigs in Cyberspace» Extropy #10: 5-7
Penrose, Roger (1990). The Emperor’s New Mind. New York, New York: Oxford University Press
Ross, David Justin (1992). «Persons, Programs, and Uploading Consciousness» Extropy #9: 12-16

Επί πλέον πηγές
http://news.kathimerini.gr/4dcgi/_w_articles_world_7_19/04/01_I7064357=I7064357=|01&01-0401!cod190401$31993.html
http://www.islandone.org/MMSG/HansMoravecRobotBush.html
http://www.frc.ri.cmu.edu/~hpm/project.archive/robot.papers/1999/NASA.report.99/
http://en.wikipedia.org/wiki/Hans_Moravec
http://en.wikipedia.org/wiki/Turing_test
http://en.wikipedia.org/wiki/Robin_Hanson
http://en.wikipedia.org/wiki/Ralph_Merkle
http://en.wikipedia.org/wiki/Eric_Drexler
http://future.wikia.com/wiki/Scenario:_Uploading
http://en.wikipedia.org/wiki/Extropianism

Από την ΔΙΑΔΡΟΜΗ ΕΛΕΥΘΕΡΙΑΣ, φ. 124, Φεβρουάριος 2013

Προσθέστε περισσότερες πληροφορίες

Creative Commons License

Όλα τα περιεχόμενα αυτού του δικτυακού τόπου είναι ελεύθερα προς αντιγραφή, διανομή, προβολή και μεταποίηση, αρκεί να συνεχίσουν να διατίθενται, αυτά και τα παράγωγα έργα που πιθανώς προκύψουν, εξίσου ελεύθερα, υπό τους όρους της άδειας χρήσης Creative Commons Attribution-ShareAlike 4.0 International License