Deep Learning Handbook Of Statistics Volume 48 Venu Govindaraju Arni Sr Srinivasa Rao Cr Rao
piersdeeynk1
7 views
89 slides
May 12, 2025
Slide 1 of 89
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
About This Presentation
Deep Learning Handbook Of Statistics Volume 48 Venu Govindaraju Arni Sr Srinivasa Rao Cr Rao
Deep Learning Handbook Of Statistics Volume 48 Venu Govindaraju Arni Sr Srinivasa Rao Cr Rao
Deep Learning Handbook Of Statistics Volume 48 Venu Govindaraju Arni Sr Srinivasa Rao Cr Rao
Slide Content
Deep Learning Handbook Of Statistics Volume 48
Venu Govindaraju Arni Sr Srinivasa Rao Cr Rao
download
https://ebookbell.com/product/deep-learning-handbook-of-
statistics-volume-48-venu-govindaraju-arni-sr-srinivasa-rao-cr-
rao-48265894
Explore and download more ebooks at ebookbell.com
Venu Govindaraju Arni Sr Srinivasa Rao Cr Rao
download
https://ebookbell.com/product/deep-learning-handbook-of-
statistics-volume-48-venu-govindaraju-arni-sr-srinivasa-rao-cr-
rao-48265894
Explore and download more ebooks at ebookbell.com
Here are some recommended products that we believe you will be
interested in. You can click the link to download.
Handbook Of Research On Deep Learning Techniques For Cloudbased
Industrial Iot Teamira P Swarnalatha Editor
https://ebookbell.com/product/handbook-of-research-on-deep-learning-
techniques-for-cloudbased-industrial-iot-teamira-p-swarnalatha-
editor-51336022
Handbook Of Deep Learning Applications Balas Valentina Emilia Roy
https://ebookbell.com/product/handbook-of-deep-learning-applications-
balas-valentina-emilia-roy-32704804
Handbook Of Deep Learning In Biomedical Engineering And Health
Informatics 1st Edition E Golden Julie Editor
https://ebookbell.com/product/handbook-of-deep-learning-in-biomedical-
engineering-and-health-informatics-1st-edition-e-golden-julie-
editor-33377738
Handbook Of Deep Learning In Biomedical Engineering Techniques And
Applications 1st Edition Valentina Emilia Balas Editor
https://ebookbell.com/product/handbook-of-deep-learning-in-biomedical-
engineering-techniques-and-applications-1st-edition-valentina-emilia-
balas-editor-34709820
interested in. You can click the link to download.
Handbook Of Research On Deep Learning Techniques For Cloudbased
Industrial Iot Teamira P Swarnalatha Editor
https://ebookbell.com/product/handbook-of-research-on-deep-learning-
techniques-for-cloudbased-industrial-iot-teamira-p-swarnalatha-
editor-51336022
Handbook Of Deep Learning Applications Balas Valentina Emilia Roy
https://ebookbell.com/product/handbook-of-deep-learning-applications-
balas-valentina-emilia-roy-32704804
Handbook Of Deep Learning In Biomedical Engineering And Health
Informatics 1st Edition E Golden Julie Editor
https://ebookbell.com/product/handbook-of-deep-learning-in-biomedical-
engineering-and-health-informatics-1st-edition-e-golden-julie-
editor-33377738
Handbook Of Deep Learning In Biomedical Engineering Techniques And
Applications 1st Edition Valentina Emilia Balas Editor
https://ebookbell.com/product/handbook-of-deep-learning-in-biomedical-
engineering-techniques-and-applications-1st-edition-valentina-emilia-
balas-editor-34709820
Handbook Of Research On Machine And Deep Learning Applications For
Cyber Security Advances In Information Security Privacy And Ethics
Padmavathi Ganapathi
https://ebookbell.com/product/handbook-of-research-on-machine-and-
deep-learning-applications-for-cyber-security-advances-in-information-
security-privacy-and-ethics-padmavathi-ganapathi-11069536
The Deep Learning Architects Handbook Anonymous
https://ebookbell.com/product/the-deep-learning-architects-handbook-
anonymous-55290568
Deep Learning Ian Goodfellow Yoshua Bengio Aaron Courville
https://ebookbell.com/product/deep-learning-ian-goodfellow-yoshua-
bengio-aaron-courville-44886094
Deep Learning In Biology And Medicine Davide Bacciu Paulo J G Lisboa
https://ebookbell.com/product/deep-learning-in-biology-and-medicine-
davide-bacciu-paulo-j-g-lisboa-44899934
Deep Learning For Sustainable Agriculture Ramesh Poonia Vijander Singh
https://ebookbell.com/product/deep-learning-for-sustainable-
agriculture-ramesh-poonia-vijander-singh-46110062
Cyber Security Advances In Information Security Privacy And Ethics
Padmavathi Ganapathi
https://ebookbell.com/product/handbook-of-research-on-machine-and-
deep-learning-applications-for-cyber-security-advances-in-information-
security-privacy-and-ethics-padmavathi-ganapathi-11069536
The Deep Learning Architects Handbook Anonymous
https://ebookbell.com/product/the-deep-learning-architects-handbook-
anonymous-55290568
Deep Learning Ian Goodfellow Yoshua Bengio Aaron Courville
https://ebookbell.com/product/deep-learning-ian-goodfellow-yoshua-
bengio-aaron-courville-44886094
Deep Learning In Biology And Medicine Davide Bacciu Paulo J G Lisboa
https://ebookbell.com/product/deep-learning-in-biology-and-medicine-
davide-bacciu-paulo-j-g-lisboa-44899934
Deep Learning For Sustainable Agriculture Ramesh Poonia Vijander Singh
https://ebookbell.com/product/deep-learning-for-sustainable-
agriculture-ramesh-poonia-vijander-singh-46110062
Handbook of Statistics
Volume 48
Deep Learning
Volume 48
Deep Learning
Handbook of Statistics
Series Editors
C.R. Rao
C.R. Rao AIMSCS, University of Hyderabad Campus,
Hyderabad, India
Arni S.R. Srinivasa Rao
Medical College of Georgia, Augusta University, United States
Series Editors
C.R. Rao
C.R. Rao AIMSCS, University of Hyderabad Campus,
Hyderabad, India
Arni S.R. Srinivasa Rao
Medical College of Georgia, Augusta University, United States
Handbook of Statistics
Volume 48
DeepLearning
Edited by
Venu Govindaraju
University at Buffalo,
Buffalo, NY, United States
Arni S.R. Srinivasa Rao
Medical College of Georgia,
Augusta, Georgia, United States
C.R. Rao
AIMSCS, University of Hyderabad Campus,
Hyderabad, India
Volume 48
DeepLearning
Edited by
Venu Govindaraju
University at Buffalo,
Buffalo, NY, United States
Arni S.R. Srinivasa Rao
Medical College of Georgia,
Augusta, Georgia, United States
C.R. Rao
AIMSCS, University of Hyderabad Campus,
Hyderabad, India
Academic Press is an imprint of Elsevier
50 Hampshire Street, 5th Floor, Cambridge, MA 02139, United States
525 B Street, Suite 1650, San Diego, CA 92101, United States
The Boulevard, Langford Lane, Kidlington, Oxford OX5 1GB, United Kingdom
125 London Wall, London, EC2Y 5AS, United Kingdom
Copyright © 2023 Elsevier B.V. All rights reserved.
No part of this publication may be reproduced or transmitted in any form or by any means,
electronic or mechanical, including photocopying, recording, or any information storage and
retrieval system, without permission in writing from the publisher. Details on how to seek
permission, further information about the Publisher’s permissions policies and our arrangements
with organizations such as the Copyright Clearance Center and the Copyright Licensing Agency,
can be found at our website:www.elsevier.com/permissions.
This book and the individual contributions contained in it are protected under copyright by the
Publishe
r (other than as may be noted herein).
Notices
Knowledge and best practice in this field are constantly changing. As new research and experience
broaden our understanding, changes in research methods, professional
practices, or medical treatment may become necessary.
Practitioners and researchers must always rely on their own experience and knowledge
in evaluating and using any information, methods, compounds, or experiments
described herein. In using such information or methods they should be mindful of their
own safety and the safety of others, including parties for whom they have a professional
responsibility.
To the fullest extent of the law, neither the Publisher nor the authors, contributors, or
editors, assume any liability for any injury and/or damage to persons or property as a
matter of products liability, negligence or otherwise, or from any use or operation of any
methods, products, instructions, or ideas contained in the material herein.
ISBN: 978-0-443-18430-7
ISSN: 0169-7161
For information on all Academic Press publications
visit our website athttps://www.elsevier.com/books-and-journals
Publisher:Zoe
Kruze
Acquisitions Editor:Mariana Kuhl
Developmental Editor:Naiza Ermin Mendoza
Production Project Manager:Abdulla Sait
Cover Designer:Vicky Pearson Esser
Typeset by STRAIVE, India
50 Hampshire Street, 5th Floor, Cambridge, MA 02139, United States
525 B Street, Suite 1650, San Diego, CA 92101, United States
The Boulevard, Langford Lane, Kidlington, Oxford OX5 1GB, United Kingdom
125 London Wall, London, EC2Y 5AS, United Kingdom
Copyright © 2023 Elsevier B.V. All rights reserved.
No part of this publication may be reproduced or transmitted in any form or by any means,
electronic or mechanical, including photocopying, recording, or any information storage and
retrieval system, without permission in writing from the publisher. Details on how to seek
permission, further information about the Publisher’s permissions policies and our arrangements
with organizations such as the Copyright Clearance Center and the Copyright Licensing Agency,
can be found at our website:www.elsevier.com/permissions.
This book and the individual contributions contained in it are protected under copyright by the
Publishe
r (other than as may be noted herein).
Notices
Knowledge and best practice in this field are constantly changing. As new research and experience
broaden our understanding, changes in research methods, professional
practices, or medical treatment may become necessary.
Practitioners and researchers must always rely on their own experience and knowledge
in evaluating and using any information, methods, compounds, or experiments
described herein. In using such information or methods they should be mindful of their
own safety and the safety of others, including parties for whom they have a professional
responsibility.
To the fullest extent of the law, neither the Publisher nor the authors, contributors, or
editors, assume any liability for any injury and/or damage to persons or property as a
matter of products liability, negligence or otherwise, or from any use or operation of any
methods, products, instructions, or ideas contained in the material herein.
ISBN: 978-0-443-18430-7
ISSN: 0169-7161
For information on all Academic Press publications
visit our website athttps://www.elsevier.com/books-and-journals
Publisher:Zoe
Kruze
Acquisitions Editor:Mariana Kuhl
Developmental Editor:Naiza Ermin Mendoza
Production Project Manager:Abdulla Sait
Cover Designer:Vicky Pearson Esser
Typeset by STRAIVE, India
Contents
Contributors xi
Preface xiii
Section I
Foundations
1. Exact deep learning machines 1
Arni S.R. Srinivasa Rao
1. Introduction 1
2. EDLM constructions 2
3. Conclusions 6
References 7
2. Multiscale representation learning for biomedical
analysis 9
Abhishek Singh, Utkarsh Porwal, Anurag Bhardwaj, and Wei Jin
1. Introduction 9
2. Representation learning: Background 12
3. Multiscale embedding motivation 13
4. Theoretical framework 15
4.1 Local context embedding 15
4.2 Wide context embedding 15
4.3 Multiscale embedding 17
4.4 Postprocessing and inference for word similarity task 17
4.5 Evaluation scheme 17
5. Experiments, results, and discussion 18
5.1 Datasets 18
5.2 Wide context embedding (context2vec) 19
5.3 Quantitative evaluation 20
5.4 Qualitative analysis 23
5.5 Error analysis 24
6. Conclusion and future work 24
References 25
v
Contributors xi
Preface xiii
Section I
Foundations
1. Exact deep learning machines 1
Arni S.R. Srinivasa Rao
1. Introduction 1
2. EDLM constructions 2
3. Conclusions 6
References 7
2. Multiscale representation learning for biomedical
analysis 9
Abhishek Singh, Utkarsh Porwal, Anurag Bhardwaj, and Wei Jin
1. Introduction 9
2. Representation learning: Background 12
3. Multiscale embedding motivation 13
4. Theoretical framework 15
4.1 Local context embedding 15
4.2 Wide context embedding 15
4.3 Multiscale embedding 17
4.4 Postprocessing and inference for word similarity task 17
4.5 Evaluation scheme 17
5. Experiments, results, and discussion 18
5.1 Datasets 18
5.2 Wide context embedding (context2vec) 19
5.3 Quantitative evaluation 20
5.4 Qualitative analysis 23
5.5 Error analysis 24
6. Conclusion and future work 24
References 25
v
3. Adversarial attacks and robust defenses in deep
learning 29
Chun Pong Lau, Jiang Liu, Wei-An Lin, Hossein Souri,
Pirazh Khorramshahi, and Rama Chellappa
1. Introduction 29
2. Adversarial attacks 32
2.1 Fast gradient sign method 32
2.2 Projected gradient descent 32
2.3 DeepFool 32
2.4 Carlini and wagner attack 32
2.5 Adversarial patch 32
2.6 Elastic 33
2.7 Fog 33
2.8 Snow 33
2.9 Gabor 33
2.10 JPEG 33
3. On-manifold robustness 33
3.1 Defense-GAN 33
3.2 Dual manifold adversarial training (DMAT) 35
4. Knowledge distillation-based defenses 41
5. Defenses for object detector 44
6. Reverse engineering of deceptions via residual learning 46
6.1 Adversarial perturbation estimation 47
6.2 Experimental evaluation 52
Acknowledgments 53
References 53
Section II
Advanced Methods
4. Deep metric learning for computer vision: A brief
overview 59
Deen Dayal Mohan, Bhavin Jawade, Srirangaraj Setlur, and
Venu Govindaraju
1. Introduction 59
2. Background 61
3. Pair-based formulation 62
3.1 Contrastive loss 62
3.2 Triplet loss 62
3.3 N-pair loss 65
3.4 Multi-Similarity loss 66
4. Proxy-based methods 68
4.1 Proxy-NCA and Proxy-NCA++ 69
4.2 Proxy Anchor loss 71
4.3 ProxyGML Loss 72
5. Regularizations 75
5.1 Language guidance 75
5.2 Direction regularization 76
6. Conclusion 78
References 78
vi
Contents
learning 29
Chun Pong Lau, Jiang Liu, Wei-An Lin, Hossein Souri,
Pirazh Khorramshahi, and Rama Chellappa
1. Introduction 29
2. Adversarial attacks 32
2.1 Fast gradient sign method 32
2.2 Projected gradient descent 32
2.3 DeepFool 32
2.4 Carlini and wagner attack 32
2.5 Adversarial patch 32
2.6 Elastic 33
2.7 Fog 33
2.8 Snow 33
2.9 Gabor 33
2.10 JPEG 33
3. On-manifold robustness 33
3.1 Defense-GAN 33
3.2 Dual manifold adversarial training (DMAT) 35
4. Knowledge distillation-based defenses 41
5. Defenses for object detector 44
6. Reverse engineering of deceptions via residual learning 46
6.1 Adversarial perturbation estimation 47
6.2 Experimental evaluation 52
Acknowledgments 53
References 53
Section II
Advanced Methods
4. Deep metric learning for computer vision: A brief
overview 59
Deen Dayal Mohan, Bhavin Jawade, Srirangaraj Setlur, and
Venu Govindaraju
1. Introduction 59
2. Background 61
3. Pair-based formulation 62
3.1 Contrastive loss 62
3.2 Triplet loss 62
3.3 N-pair loss 65
3.4 Multi-Similarity loss 66
4. Proxy-based methods 68
4.1 Proxy-NCA and Proxy-NCA++ 69
4.2 Proxy Anchor loss 71
4.3 ProxyGML Loss 72
5. Regularizations 75
5.1 Language guidance 75
5.2 Direction regularization 76
6. Conclusion 78
References 78
vi
Contents
5. Source distribution weighted multisource domain
adaptation without access to source data 81
Sk Miraj Ahmed, Dripta S. Raychaudhuri, Samet Oymak, and
Amit K. Roy-Chowdhury
1. Introduction 82
1.1 Main contributions 83
2. Related works 84
2.1 Unsupervised domain adaptation 84
2.2 Hypothesis transfer learning 84
2.3 Multisource domain adaptation 84
2.4 Source-free multisource UDA 85
3. Problem setting 85
4. Practical motivation 86
5. Overall framework of DECISION—A review 86
5.1 Weighted information maximization 87
5.2 Weighted pseudo-labeling 88
5.3 Optimization 89
6. Theoretical insights 90
6.1 Theoretical motivation behind DECISION 90
7. Source distribution dependent weights (DECISION-mlp) 93
8. Proof of Lemma 1 95
9. Experiments 96
9.1 Experiments on DECISION 96
9.2 Implementation details 97
9.3 Object recognition 98
9.4 Ablation study 98
9.5 Results and analyses of DECISION-mlp 101
10. Conclusions and future work 102
References 103
Section III
Transformative Applications
6. Deep learning methods for scientific and industrial
research 107
G.K. Patra, Kantha Rao Bhimala, Ashapurna Marndi,
Saikat Chowdhury, Jarjish Rahaman, Sutanu Nandi,
Ram Rup Sarkar, K.C. Gouda, K.V. Ramesh, Rajesh P. Barnwal,
Siddhartha Raj, and Anil Saini
1. Introduction 108
2. Data and methods 113
2.1 Different types of data for deep learning 113
2.2 Methodology 119
3. Applications of DL techniques for multi-disciplinary studies 135
3.1 Applications of DL models in tumor diagnosis 135
3.2 Application of DL model for classifying molecular
subtypes of glioma tissues 140
Contents vii
adaptation without access to source data 81
Sk Miraj Ahmed, Dripta S. Raychaudhuri, Samet Oymak, and
Amit K. Roy-Chowdhury
1. Introduction 82
1.1 Main contributions 83
2. Related works 84
2.1 Unsupervised domain adaptation 84
2.2 Hypothesis transfer learning 84
2.3 Multisource domain adaptation 84
2.4 Source-free multisource UDA 85
3. Problem setting 85
4. Practical motivation 86
5. Overall framework of DECISION—A review 86
5.1 Weighted information maximization 87
5.2 Weighted pseudo-labeling 88
5.3 Optimization 89
6. Theoretical insights 90
6.1 Theoretical motivation behind DECISION 90
7. Source distribution dependent weights (DECISION-mlp) 93
8. Proof of Lemma 1 95
9. Experiments 96
9.1 Experiments on DECISION 96
9.2 Implementation details 97
9.3 Object recognition 98
9.4 Ablation study 98
9.5 Results and analyses of DECISION-mlp 101
10. Conclusions and future work 102
References 103
Section III
Transformative Applications
6. Deep learning methods for scientific and industrial
research 107
G.K. Patra, Kantha Rao Bhimala, Ashapurna Marndi,
Saikat Chowdhury, Jarjish Rahaman, Sutanu Nandi,
Ram Rup Sarkar, K.C. Gouda, K.V. Ramesh, Rajesh P. Barnwal,
Siddhartha Raj, and Anil Saini
1. Introduction 108
2. Data and methods 113
2.1 Different types of data for deep learning 113
2.2 Methodology 119
3. Applications of DL techniques for multi-disciplinary studies 135
3.1 Applications of DL models in tumor diagnosis 135
3.2 Application of DL model for classifying molecular
subtypes of glioma tissues 140
Contents vii
3.3 Application of the deep learning model for the prognosis
of glioma patients 140
3.4 Applications of DL model for predicting driver gene
mutations in glioma 141
3.5 Application of Time Division LSTM for short-term
prediction of wind speed 141
3.6 Application of LSTM for the estimation of crop production 148
3.7 Classification of tea leaves 152
3.8 Weather integrated deep learning techniques to predict
the COVID-19 cases over states in India 155
4. Discussion and future prospects 159
Acknowledgments 163
References 163
7. On bias and fairness in deep learning-based facial
analysis 169
Surbhi Mittal, Puspita Majumdar, Mayank Vatsa, and Richa Singh
1. Introduction 169
2. Tasks in facial analysis 173
2.1 Face detection and recognition 173
2.2 Attribute prediction 175
3. Facial analysis databases for bias study 175
4. Evaluation metrics 180
4.1 Classification parity-based metrics 180
4.2 Score-based metrics 181
4.3 Facial analysis-specific metrics 182
5. Fairness estimation and analysis 183
5.1 Fairness in face detection and recognition 184
5.2 Fairness in attribute prediction 187
6. Fair algorithms and bias mitigation 191
6.1 Face detection and recognition 191
6.2 Attribute prediction 195
7. Meta-analysis of algorithms 199
8. Topography of commercial systems and patents 202
9. Open challenges 206
9.1 Fairness in presence of occlusion 206
9.2 Fairness across intersectional subgroups 207
9.3 Trade-off between fairness and model performance 207
9.4 Lack of benchmark databases 207
9.5 Variation in evaluation protocols 208
9.6 Unavailability of complete information 208
9.7 Identification of bias in models 208
9.8 Quantification of fairness in datasets 208
10. Discussion 209
Acknowledgment 211
References 211
viii
Contents
of glioma patients 140
3.4 Applications of DL model for predicting driver gene
mutations in glioma 141
3.5 Application of Time Division LSTM for short-term
prediction of wind speed 141
3.6 Application of LSTM for the estimation of crop production 148
3.7 Classification of tea leaves 152
3.8 Weather integrated deep learning techniques to predict
the COVID-19 cases over states in India 155
4. Discussion and future prospects 159
Acknowledgments 163
References 163
7. On bias and fairness in deep learning-based facial
analysis 169
Surbhi Mittal, Puspita Majumdar, Mayank Vatsa, and Richa Singh
1. Introduction 169
2. Tasks in facial analysis 173
2.1 Face detection and recognition 173
2.2 Attribute prediction 175
3. Facial analysis databases for bias study 175
4. Evaluation metrics 180
4.1 Classification parity-based metrics 180
4.2 Score-based metrics 181
4.3 Facial analysis-specific metrics 182
5. Fairness estimation and analysis 183
5.1 Fairness in face detection and recognition 184
5.2 Fairness in attribute prediction 187
6. Fair algorithms and bias mitigation 191
6.1 Face detection and recognition 191
6.2 Attribute prediction 195
7. Meta-analysis of algorithms 199
8. Topography of commercial systems and patents 202
9. Open challenges 206
9.1 Fairness in presence of occlusion 206
9.2 Fairness across intersectional subgroups 207
9.3 Trade-off between fairness and model performance 207
9.4 Lack of benchmark databases 207
9.5 Variation in evaluation protocols 208
9.6 Unavailability of complete information 208
9.7 Identification of bias in models 208
9.8 Quantification of fairness in datasets 208
10. Discussion 209
Acknowledgment 211
References 211
viii
Contents
8. Manipulating faces for identity theft via morphing and
deepfake: Digital privacy 223
Akshay Agarwal and Nalini Ratha
1. Introduction 223
2. Identity manipulation techniques 225
3. Identity manipulation datasets 230
4. Identity attack detection algorithms 233
5. Open challenges 234
6. Conclusion 238
References 238
Index 243
Contents ix
deepfake: Digital privacy 223
Akshay Agarwal and Nalini Ratha
1. Introduction 223
2. Identity manipulation techniques 225
3. Identity manipulation datasets 230
4. Identity attack detection algorithms 233
5. Open challenges 234
6. Conclusion 238
References 238
Index 243
Contents ix
This page intentionally left blank
Contributors
Akshay Agarwal (223), Department of Data Science and Engineering, IISER Bhopal,
Bhopal, Madhya Pradesh, India
Sk Miraj Ahmed (81), Department of Electrical and Computer Engineering,
University of California Riverside, Riverside, CA, United States
Rajesh P. Barnwal (107), CSIR-Central Mechanical Engineering Research Institute,
Durgapur, West Bengal; Academy of Scientific & Innovative Research (AcSIR),
Ghaziabad, India
Anurag Bhardwaj (9), Khoury College of Computer Science, Northeastern University,
San Jose, CA, United States
Kantha Rao Bhimala (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka;
Academy of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Rama Chellappa (29), Johns Hopkins University, Baltimore, MD, United States
Saikat Chowdhury (107), CSIR-National Chemical Laboratory, Pune, Maharashtra,
India
K.C. Gouda (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka; Academy
of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Venu Govindaraju (59), University at Buffalo, Buffalo, NY, United States
Bhavin Jawade (59), University at Buffalo, Buffalo, NY, United States
Wei Jin (9), Computer Science and Engineering, University of North Texas, Denton,
TX, United States
Pirazh Khorramshahi (29), Johns Hopkins University, Baltimore, MD, United States
Chun Pong Lau (29), Johns Hopkins University, Baltimore, MD, United States
Wei-An Lin (29), Adobe Research, San Jose, CA, United States
Jiang Liu (29), Johns Hopkins University, Baltimore, MD, United States
Puspita Majumdar (169), Department of Computer Science, IIT Jodhpur, Jodhpur;
Department of Computer Science, IIIT Delhi, Delhi, India
Ashapurna Marndi (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka;
Academy of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Surbhi Mittal (169), Department of Computer Science, IIT Jodhpur, Jodhpur, India
Deen Dayal Mohan (59), University at Buffalo, Buffalo, NY, United States
Sutanu Nandi (107), CSIR-National Chemical Laboratory, Pune, Maharashtra, India
xi
Akshay Agarwal (223), Department of Data Science and Engineering, IISER Bhopal,
Bhopal, Madhya Pradesh, India
Sk Miraj Ahmed (81), Department of Electrical and Computer Engineering,
University of California Riverside, Riverside, CA, United States
Rajesh P. Barnwal (107), CSIR-Central Mechanical Engineering Research Institute,
Durgapur, West Bengal; Academy of Scientific & Innovative Research (AcSIR),
Ghaziabad, India
Anurag Bhardwaj (9), Khoury College of Computer Science, Northeastern University,
San Jose, CA, United States
Kantha Rao Bhimala (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka;
Academy of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Rama Chellappa (29), Johns Hopkins University, Baltimore, MD, United States
Saikat Chowdhury (107), CSIR-National Chemical Laboratory, Pune, Maharashtra,
India
K.C. Gouda (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka; Academy
of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Venu Govindaraju (59), University at Buffalo, Buffalo, NY, United States
Bhavin Jawade (59), University at Buffalo, Buffalo, NY, United States
Wei Jin (9), Computer Science and Engineering, University of North Texas, Denton,
TX, United States
Pirazh Khorramshahi (29), Johns Hopkins University, Baltimore, MD, United States
Chun Pong Lau (29), Johns Hopkins University, Baltimore, MD, United States
Wei-An Lin (29), Adobe Research, San Jose, CA, United States
Jiang Liu (29), Johns Hopkins University, Baltimore, MD, United States
Puspita Majumdar (169), Department of Computer Science, IIT Jodhpur, Jodhpur;
Department of Computer Science, IIIT Delhi, Delhi, India
Ashapurna Marndi (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka;
Academy of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Surbhi Mittal (169), Department of Computer Science, IIT Jodhpur, Jodhpur, India
Deen Dayal Mohan (59), University at Buffalo, Buffalo, NY, United States
Sutanu Nandi (107), CSIR-National Chemical Laboratory, Pune, Maharashtra, India
xi
Samet Oymak (81), Department of Electrical and Computer Engineering, University
of California Riverside, Riverside, CA, United States
G.K. Patra (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka; Academy of
Scientific & Innovative Research (AcSIR), Ghaziabad, India
Utkarsh Porwal (9), Walmart Inc, Hoboken, NJ, United States
Jarjish Rahaman (107), CSIR-National Chemical Laboratory, Pune, Maharashtra,
India
Siddhartha Raj (107), CSIR-Central Mechanical Engineering Research Institute,
Durgapur, West Bengal, India
K.V. Ramesh (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka; Academy
of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Nalini Ratha (223), Department of Computer Science and Engineering, University at
Buffalo, Buffalo, NY, United States
Dripta S. Raychaudhuri (81), Department of Electrical and Computer Engineering,
University of California Riverside, Riverside, CA, United States
Amit K. Roy-Chowdhury (81), Department of Electrical and Computer Engineering,
University of California Riverside, Riverside, CA, United States
Anil Saini (107), CSIR-Central Electronics Engineering Research Institute, Pilani,
Rajasthan; Academy of Scientific & Innovative Research (AcSIR), Ghaziabad,
India
Ram Rup Sarkar (107), CSIR-National Chemical Laboratory, Pune, Maharashtra;
Academy of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Srirangaraj Setlur (59), University at Buffalo, Buffalo, NY, United States
Abhishek Singh (9), Computer Science and Engineering, University of North Texas,
Denton, TX, United States
Richa Singh (169), Department of Computer Science, IIT Jodhpur, Jodhpur, India
Hossein Souri (29), Johns Hopkins University, Baltimore, MD, United States
Arni S.R. Srinivasa Rao (1), Laboratory for Theory and Mathematical Modeling,
Division of Infectious Diseases, Medical College of Georgia; Department of
Mathematics, Augusta University, Augusta, GA, United States
Mayank Vatsa (169), Department of Computer Science, IIT Jodhpur, Jodhpur, India
xii
Contributors
of California Riverside, Riverside, CA, United States
G.K. Patra (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka; Academy of
Scientific & Innovative Research (AcSIR), Ghaziabad, India
Utkarsh Porwal (9), Walmart Inc, Hoboken, NJ, United States
Jarjish Rahaman (107), CSIR-National Chemical Laboratory, Pune, Maharashtra,
India
Siddhartha Raj (107), CSIR-Central Mechanical Engineering Research Institute,
Durgapur, West Bengal, India
K.V. Ramesh (107), CSIR-Fourth Paradigm Institute, Bangalore, Karnataka; Academy
of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Nalini Ratha (223), Department of Computer Science and Engineering, University at
Buffalo, Buffalo, NY, United States
Dripta S. Raychaudhuri (81), Department of Electrical and Computer Engineering,
University of California Riverside, Riverside, CA, United States
Amit K. Roy-Chowdhury (81), Department of Electrical and Computer Engineering,
University of California Riverside, Riverside, CA, United States
Anil Saini (107), CSIR-Central Electronics Engineering Research Institute, Pilani,
Rajasthan; Academy of Scientific & Innovative Research (AcSIR), Ghaziabad,
India
Ram Rup Sarkar (107), CSIR-National Chemical Laboratory, Pune, Maharashtra;
Academy of Scientific & Innovative Research (AcSIR), Ghaziabad, India
Srirangaraj Setlur (59), University at Buffalo, Buffalo, NY, United States
Abhishek Singh (9), Computer Science and Engineering, University of North Texas,
Denton, TX, United States
Richa Singh (169), Department of Computer Science, IIT Jodhpur, Jodhpur, India
Hossein Souri (29), Johns Hopkins University, Baltimore, MD, United States
Arni S.R. Srinivasa Rao (1), Laboratory for Theory and Mathematical Modeling,
Division of Infectious Diseases, Medical College of Georgia; Department of
Mathematics, Augusta University, Augusta, GA, United States
Mayank Vatsa (169), Department of Computer Science, IIT Jodhpur, Jodhpur, India
xii
Contributors
Preface
Over the last decade, the science of deep learning has seen rapid growth in
terms of both theory and applicability. Statisticians, mathematicians, com-
puter scientists, and other engineering and basic scientists have come together
to design deep learning theories and experiments. One of the advantages of
carefully planned deep learning experiments is the reduction of uncertainty
in predictions and an increase in the performance of machines that are
designed for a specific task. Through this volume ofHandbook of Statistics
on “deep learning,” we are aiming to illustrate the more realistic potential
of the advancements made in the field of deep learning. We provide a wonder-
ful collection of a wide range of research topics through didactic chapters.
This collection of chapters will be useful as starting points for serious
graduate students and as summaries for senior researchers. The content ranges
from foundations of deep learning models and probabilities of object detection
to deep learning models that involve statistical techniques such as Bayesian,
principal component analysis, regression approaches, etc. We have taken great
effort to include practically implementable content such as facial recognition
analysis and understanding the biases introduced in data, climate models,
industrial applications, healthcare settings, and open challenges and ground-
level difficulties faced in advanced applications in different settings.
The chapters in this volume are divided into the following three sections:
Section I: Foundations
Section II: Advanced Methods
Section III: Transformative Applications
In Section I,Chapter 1by A.S.R.S. Rao introduces new machines called exact
deep learning machines and the concept of detecting an object by a machine
with probability 1. Such machines are argued to be the best possible alterna-
tives to the originally proposed AI models of the mid-1950s.Chapter 2by
A. Singh, U. Porwal, A. Bhardwaj, and W. Jin provides a well-written
introduction and review of contextual embedding and related studies. The
chapter also describes dimensionality reduction techniques using principal
component analysis and preserving the information of the original data. Here,
the recent advances made in novel contextual embedding are also detailed.
Chapter 3by C.P. Lau, J. Liu, W.-A. Lin, H. Souri, P. Khorramshahi, and
R. Chellappa provides detailed foundations and training on deep learning
principles in adversarial attacks and their wide range of applications. The
xiii
Over the last decade, the science of deep learning has seen rapid growth in
terms of both theory and applicability. Statisticians, mathematicians, com-
puter scientists, and other engineering and basic scientists have come together
to design deep learning theories and experiments. One of the advantages of
carefully planned deep learning experiments is the reduction of uncertainty
in predictions and an increase in the performance of machines that are
designed for a specific task. Through this volume ofHandbook of Statistics
on “deep learning,” we are aiming to illustrate the more realistic potential
of the advancements made in the field of deep learning. We provide a wonder-
ful collection of a wide range of research topics through didactic chapters.
This collection of chapters will be useful as starting points for serious
graduate students and as summaries for senior researchers. The content ranges
from foundations of deep learning models and probabilities of object detection
to deep learning models that involve statistical techniques such as Bayesian,
principal component analysis, regression approaches, etc. We have taken great
effort to include practically implementable content such as facial recognition
analysis and understanding the biases introduced in data, climate models,
industrial applications, healthcare settings, and open challenges and ground-
level difficulties faced in advanced applications in different settings.
The chapters in this volume are divided into the following three sections:
Section I: Foundations
Section II: Advanced Methods
Section III: Transformative Applications
In Section I,Chapter 1by A.S.R.S. Rao introduces new machines called exact
deep learning machines and the concept of detecting an object by a machine
with probability 1. Such machines are argued to be the best possible alterna-
tives to the originally proposed AI models of the mid-1950s.Chapter 2by
A. Singh, U. Porwal, A. Bhardwaj, and W. Jin provides a well-written
introduction and review of contextual embedding and related studies. The
chapter also describes dimensionality reduction techniques using principal
component analysis and preserving the information of the original data. Here,
the recent advances made in novel contextual embedding are also detailed.
Chapter 3by C.P. Lau, J. Liu, W.-A. Lin, H. Souri, P. Khorramshahi, and
R. Chellappa provides detailed foundations and training on deep learning
principles in adversarial attacks and their wide range of applications. The
xiii
chapter provides an excellent overview of the defense mechanisms to be
adapted in adversarial attacks.
Section II comprises two chapters on advanced deep learning methods.
Chapter 4
duces advanced statistical methods and provides extremely clear insights into
deep metrics, embedding spaces, and their utility in computer vision research.
The chapter details the recent discussions on the design of experiments in
computer vision studies and sampling strategies. The current state-of-the-art
deep metric learning approaches described in the chapter provide training
materials for researchers.Chapter 5by A.K. Roy-Chowdhury, S.M.
Ahmed, D.S. Raychaudhuri, and S. Oymak combines advanced methods of
unsupervised domain adaptation in computer vision and image processing.
Algorithms that transfer information to target domains and a comparison
between single-trained source models and multiple-trained source models
are introduced as well. The authors own algorithms for the effective aggrega-
tion of source models for nonuniform types of source data.
Section III comprises three chapters that describe the practical applica-
tions of deep learning methods in various real-world scenarios.Chapter 6
by G.K. Patra, K.R. Bhimala, A. Marndi, S. Chowdhury, J. Rahaman,
S. Nandi, R.R. Sarkar, K.C. Gouda, K.V. Ramesh, R.P. Barnwal, S. Raj,
and A. Saini provides a detailed account of the successful implementation
of various innovative projects conducted at different centers of the Council
of Scientific and Industrial Research (CSIR) in India. These include climate
prediction modeling, diagnosis of tumors, prediction of renewable energy
generation, COVID-19, etc. The methods and designs of these experiments
provide a training module for other such experiments.Chapter 7by
S. Mittal, P. Majumdar, M. Vatsa, and R. Singh summarizes the recent
advancements in facial recognition analysis, data limitations, and associated
statistical biases. Here, limitations in the current approaches and implementa-
ble newer methods to overcome the biases introduced due to a lack of enough
data are described. The chapter concludes with open challenges and building
blocks in facial analysis research worldwide.Chapter 8by N. Ratha and
A. Agarwal discusses the latest advancements and highly implementable
approaches in protecting against identity theftviamorphing and deepfake of
faces. Here, the fundamental techniques in morphing and deepfake and their
advantages and disadvantages are outlined. The chapter reviews algorithms
to protect against identity thefts, defense algorithms built to detect these
manipulations, etc. It concludes with highly interesting open challenges
associated with such research studies.
We express our sincere thanks to Mariana K€uhl Leme, acquisitions editor
(Elsevier and North-Holland), for her overall administrative support through-
out the preparation of this volume. Her valuable involvement in the project is
highly appreciated. We thank Ms. Naiza Ermin Mendoza, developmental edi-
tor (Elsevier), for providing excellent assistance to the editors and for
xiv Preface
adapted in adversarial attacks.
Section II comprises two chapters on advanced deep learning methods.
Chapter 4
duces advanced statistical methods and provides extremely clear insights into
deep metrics, embedding spaces, and their utility in computer vision research.
The chapter details the recent discussions on the design of experiments in
computer vision studies and sampling strategies. The current state-of-the-art
deep metric learning approaches described in the chapter provide training
materials for researchers.Chapter 5by A.K. Roy-Chowdhury, S.M.
Ahmed, D.S. Raychaudhuri, and S. Oymak combines advanced methods of
unsupervised domain adaptation in computer vision and image processing.
Algorithms that transfer information to target domains and a comparison
between single-trained source models and multiple-trained source models
are introduced as well. The authors own algorithms for the effective aggrega-
tion of source models for nonuniform types of source data.
Section III comprises three chapters that describe the practical applica-
tions of deep learning methods in various real-world scenarios.Chapter 6
by G.K. Patra, K.R. Bhimala, A. Marndi, S. Chowdhury, J. Rahaman,
S. Nandi, R.R. Sarkar, K.C. Gouda, K.V. Ramesh, R.P. Barnwal, S. Raj,
and A. Saini provides a detailed account of the successful implementation
of various innovative projects conducted at different centers of the Council
of Scientific and Industrial Research (CSIR) in India. These include climate
prediction modeling, diagnosis of tumors, prediction of renewable energy
generation, COVID-19, etc. The methods and designs of these experiments
provide a training module for other such experiments.Chapter 7by
S. Mittal, P. Majumdar, M. Vatsa, and R. Singh summarizes the recent
advancements in facial recognition analysis, data limitations, and associated
statistical biases. Here, limitations in the current approaches and implementa-
ble newer methods to overcome the biases introduced due to a lack of enough
data are described. The chapter concludes with open challenges and building
blocks in facial analysis research worldwide.Chapter 8by N. Ratha and
A. Agarwal discusses the latest advancements and highly implementable
approaches in protecting against identity theftviamorphing and deepfake of
faces. Here, the fundamental techniques in morphing and deepfake and their
advantages and disadvantages are outlined. The chapter reviews algorithms
to protect against identity thefts, defense algorithms built to detect these
manipulations, etc. It concludes with highly interesting open challenges
associated with such research studies.
We express our sincere thanks to Mariana K€uhl Leme, acquisitions editor
(Elsevier and North-Holland), for her overall administrative support through-
out the preparation of this volume. Her valuable involvement in the project is
highly appreciated. We thank Ms. Naiza Ermin Mendoza, developmental edi-
tor (Elsevier), for providing excellent assistance to the editors and for
xiv Preface
engaging with authors in all kinds of technical queries throughout the prepa-
ration. Her services extended until the proofing stage and production. Our
thanks also go to Sudharshini Renganathan, project manager of book produc-
tion, RELX India Private Limited, Chennai, India, for leading the production,
responding to several rounds of queries by the authors, being available at all
times for printing activities, and providing assistance to the editors. Our
sincere thanks and gratitude go to all the authors for writing brilliant chapters
in keeping with our requirements for the volume. We very much thank our
referees for their timely assessment of the chapters.
We believe that this volume on deep learning has come up at the right
time, and we are very much satisfied to have been involved in its production.
We are convinced that this collection will be a useful resource for new
researchers in statistical science as well as advanced scientists working in
statistics, mathematics, computer science, and other disciplines.
Venu Govindaraju
Arni S.R. Srinivasa Rao
C.R. Rao
Preface xv
ration. Her services extended until the proofing stage and production. Our
thanks also go to Sudharshini Renganathan, project manager of book produc-
tion, RELX India Private Limited, Chennai, India, for leading the production,
responding to several rounds of queries by the authors, being available at all
times for printing activities, and providing assistance to the editors. Our
sincere thanks and gratitude go to all the authors for writing brilliant chapters
in keeping with our requirements for the volume. We very much thank our
referees for their timely assessment of the chapters.
We believe that this volume on deep learning has come up at the right
time, and we are very much satisfied to have been involved in its production.
We are convinced that this collection will be a useful resource for new
researchers in statistical science as well as advanced scientists working in
statistics, mathematics, computer science, and other disciplines.
Venu Govindaraju
Arni S.R. Srinivasa Rao
C.R. Rao
Preface xv
This page intentionally left blank
Chapter 1
Exact deep learning machines
Arni S.R. Srinivasa Rao∗
,†
Laboratory for Theory and Mathematical Modeling, Division of Infectious Diseases, Medical
College of Georgia, Augusta, GA, United States
Department of Mathematics, Augusta University, Augusta, GA, United States
∗
Corresponding author: e-mail: [email protected]
Abstract
Incorporating actual intelligence into the machines and making them think and perform
like humans is impossible. In this chapter, a new kind of machine called the EDLM
(exact deep learning machine) is introduced. Such EDLMs can achieve the target with
probability one and could be the best alternative for originally designed artificial intel-
ligence models of the mid-20th century by Alan Turing and others that have so far not
seen reality. In the current context, achieving a target is defined as detecting a given
object accurately.
Keywords:Artificial intelligence, Probability one, Object detection
MSC:68T07, 68T05
1 Introduction
It is impossible to train human-made computational machines to think and
perform like humans. Training of computational machines involves making
the machine read the data and understand logical rule-based instructions.
A machine could be designed such that it can construct further rules from a
combination of finite rules provided to the machine. Such a design involves
the programming of algorithms that can instruct a machine to construct newer
†
The author proposed the first artificial intelligence (AI)-based model in the world in February
2020 to identify COVID-19 cases using mobile-based Apps, see, for example,Srinivasa Rao
and
Vazquez (2020),JagWire (2020),mhealthintelligence (2020),Innovators Magazine (2020),
andTimesofindia (2020). That work later inspired several such Apps all over the world during
the
COVID-19 pandemic. Arni Rao is also currently serving as a member of AI-enabled Technol-
ogies & Systems Domain Expert Group (DEG), constituted in 2021 by The Council of Scientific &
Industrial Research (CSIR), Government of India. The central ideas of EDLM were presented by
the author at several invited talks during 2021–2022.
Handbook of Statistics, Vol. 48.https://doi.org/10.1016/bs.host.2022.11.001
Copyright©2023
Elsevier B.V. All rights reserved.
1
Exact deep learning machines
Arni S.R. Srinivasa Rao∗
,†
Laboratory for Theory and Mathematical Modeling, Division of Infectious Diseases, Medical
College of Georgia, Augusta, GA, United States
Department of Mathematics, Augusta University, Augusta, GA, United States
∗
Corresponding author: e-mail: [email protected]
Abstract
Incorporating actual intelligence into the machines and making them think and perform
like humans is impossible. In this chapter, a new kind of machine called the EDLM
(exact deep learning machine) is introduced. Such EDLMs can achieve the target with
probability one and could be the best alternative for originally designed artificial intel-
ligence models of the mid-20th century by Alan Turing and others that have so far not
seen reality. In the current context, achieving a target is defined as detecting a given
object accurately.
Keywords:Artificial intelligence, Probability one, Object detection
MSC:68T07, 68T05
1 Introduction
It is impossible to train human-made computational machines to think and
perform like humans. Training of computational machines involves making
the machine read the data and understand logical rule-based instructions.
A machine could be designed such that it can construct further rules from a
combination of finite rules provided to the machine. Such a design involves
the programming of algorithms that can instruct a machine to construct newer
†
The author proposed the first artificial intelligence (AI)-based model in the world in February
2020 to identify COVID-19 cases using mobile-based Apps, see, for example,Srinivasa Rao
and
Vazquez (2020),JagWire (2020),mhealthintelligence (2020),Innovators Magazine (2020),
andTimesofindia (2020). That work later inspired several such Apps all over the world during
the
COVID-19 pandemic. Arni Rao is also currently serving as a member of AI-enabled Technol-
ogies & Systems Domain Expert Group (DEG), constituted in 2021 by The Council of Scientific &
Industrial Research (CSIR), Government of India. The central ideas of EDLM were presented by
the author at several invited talks during 2021–2022.
Handbook of Statistics, Vol. 48.https://doi.org/10.1016/bs.host.2022.11.001
Copyright©2023
Elsevier B.V. All rights reserved.
1
rules of performance. Whether or not a machine can come up with a newer
rule without any specific instructions to perform from a list of rules already
provided to it is still questionable. This is because the so-called advanced
machines to date have not shown any signs of self-thinking capabilities with-
out being told to them in some or other forms of machine training algorithms.
Human intelligence is so far not shown evidence to transfer or implant
human-like intelligence into computational machines.
There have been advancements in statistical machine learning (Angelino
et
al., 2017;Fokoue
and Titterington, 2003;Matsui, 2010;Tadaki, 2012;
Tollenaar and van der Heijden, 2013), well-defined mathematical structures in
m
achine learning (Blum et al., 1989;Cucker and Smale, 2002;Govindaraju
an
d Rao, 2013;Niyogi et al., 2011;Smale and Zhou, 2007;Van Messem,
20
20), advancements in data science aspects (Baladram et al., 2020;Brunton
an
d Kutz, 2022;Chen, 2015;Nazarathy and Klok, 2021;Yeturu, 2020), and
i
mprovisations in understanding data structures within machine learning
(Calma et al., 2018;Ferraz et al., 2021;Poggio and Smale, 2003;Srinivasa
R
ao and Diamond, 2020;Srinivasa Rao and Vazquez, 2020, 2022. Training
m
achines with exact deep learning (introduced here) could be the closest possi-
ble alternatives to artificial intelligence (AI) models. So far, researchers were
not successful in seeing self-thinking machines that were originally thought
possible by Alan Turing and others (COE, n.d.).
Deep
learning machines with information on all possible distinct objects
whose data is relevant are critical for successful machine learning. Only par-
tial information on complete subjects or complete information on partial dis-
tinct subjects would not be sufficient for accurate machine learning, and
performances of machines to attain given targets. In this chapter, we demon-
strate a novel machine called the EDLM (exact deep learning machine) which
can achieve the target suggested to the machine with the probability one.
Weprovide one case scenario here, and EDLM can be extended to many situa-
tions under the assumptions and limitations provided. The central idea of
EDLM is explained through a theorem in the next section.
2 EDLM constructions
Theorem 1EDLM theorem
Suppose an object can be described within a finite number of distinct attri-
butes and these attributes are not dynamic over time. Then, machines trained
with attribute information can detect the object with probability one.
ProofLetObe the object that is to be detected accurately by a machine. Sup-
poseOis uniquely described by exactlya-attributes, say,y
1,y
2,…y
awhich
are distinct. It is given that the attributes to describeOdo not change with
time or these attributes are not dynamic over time. Here attributes can be trea-
ted as the description of an object that is enough to define that particular
2 Handbook of Statistics
rule without any specific instructions to perform from a list of rules already
provided to it is still questionable. This is because the so-called advanced
machines to date have not shown any signs of self-thinking capabilities with-
out being told to them in some or other forms of machine training algorithms.
Human intelligence is so far not shown evidence to transfer or implant
human-like intelligence into computational machines.
There have been advancements in statistical machine learning (Angelino
et
al., 2017;Fokoue
and Titterington, 2003;Matsui, 2010;Tadaki, 2012;
Tollenaar and van der Heijden, 2013), well-defined mathematical structures in
m
achine learning (Blum et al., 1989;Cucker and Smale, 2002;Govindaraju
an
d Rao, 2013;Niyogi et al., 2011;Smale and Zhou, 2007;Van Messem,
20
20), advancements in data science aspects (Baladram et al., 2020;Brunton
an
d Kutz, 2022;Chen, 2015;Nazarathy and Klok, 2021;Yeturu, 2020), and
i
mprovisations in understanding data structures within machine learning
(Calma et al., 2018;Ferraz et al., 2021;Poggio and Smale, 2003;Srinivasa
R
ao and Diamond, 2020;Srinivasa Rao and Vazquez, 2020, 2022. Training
m
achines with exact deep learning (introduced here) could be the closest possi-
ble alternatives to artificial intelligence (AI) models. So far, researchers were
not successful in seeing self-thinking machines that were originally thought
possible by Alan Turing and others (COE, n.d.).
Deep
learning machines with information on all possible distinct objects
whose data is relevant are critical for successful machine learning. Only par-
tial information on complete subjects or complete information on partial dis-
tinct subjects would not be sufficient for accurate machine learning, and
performances of machines to attain given targets. In this chapter, we demon-
strate a novel machine called the EDLM (exact deep learning machine) which
can achieve the target suggested to the machine with the probability one.
Weprovide one case scenario here, and EDLM can be extended to many situa-
tions under the assumptions and limitations provided. The central idea of
EDLM is explained through a theorem in the next section.
2 EDLM constructions
Theorem 1EDLM theorem
Suppose an object can be described within a finite number of distinct attri-
butes and these attributes are not dynamic over time. Then, machines trained
with attribute information can detect the object with probability one.
ProofLetObe the object that is to be detected accurately by a machine. Sup-
poseOis uniquely described by exactlya-attributes, say,y
1,y
2,…y
awhich
are distinct. It is given that the attributes to describeOdo not change with
time or these attributes are not dynamic over time. Here attributes can be trea-
ted as the description of an object that is enough to define that particular
2 Handbook of Statistics
object. That meansa-attributes are enough to describe the objectO. Suppose
the machine is trained with a triplet of information, say, {O,A(y),Y(c)},
whereOis the object to be detected by the machine,A(y) is the set of
attributes that completely describeO, andY(c) is the set of values that each
attribute can pick. The objectOis described based on the set of predecided
finite numerical values. The setAðyÞ¼fy
1,y
2,…y
ag. The setY(c) consists
of all possible values of each of the attributey
jforj¼1, 2,…,a. The attri-
butey
jcan choose any one of thec cjjpossibilities forj¼1, 2,…,a.Thatis,
YðcÞ¼
y
1¼½c11,c21,…,c c11
y
2¼½c12,c22,…,c c22
⋮
y
a¼½c1a,c2a,…,c caa
8
>
>
>
<
>
>
>
:
9
>
>
>
=
>
>
>
;
(1)
In Eq. (1) the quantitiesc
cjjforj¼1, 2,…,aneed not be identical. This
implies that the number of possible values fory
1,y
2,…y
aneed not be the
same. The objectOwill be described by {O,A(y),Y(c)} with eachy
jchoos-
ing only one of the values½c
1j,c2j,…,c cjjforj¼1, 2,…,a. Suppose “0”
indicates the absence ofc
cjjand “1” indicates the presencec cjjinyj. All the
attributes ofY(c) can be listed for the absence or presence of values of each
attribute as follows:
y
1¼½c 11ð0, 1Þ,c 21ð0, 1Þ,…,c c11ð0, 1?
y
2¼½c 12ð0, 1Þ,c 22ð0, 1Þ,…,c c22ð0, 1?
⋮
y
a¼½c 1að0, 1Þ,c 2að0, 1Þ,…,c caað0, 1?
(2)
The machine trained with the triplet could start checking for the presence of
predefined attributes in any order from the setA(y). Suppose it starts checking
whether or not a given object has the attributey
1. Then,c 11(0, 1)¼1 indicates
y
11¼c11andc 11(0, 1)¼0 indicatesy 1could pick a value from
fc
21,c22,…,cc11gor the attributey
1may not be present in a given object.
Ify
11picks one of the values infc 11,c21,…,c c11g, then the machine will
decide that the objectOhas the attributey
1and proceed to check if other
attributes ofOare present. Ifc
11(0, 1)¼0 andy 1does not pick any
value fromfc
21,c22,…,cc11g, then the machine will decide that the given
object is notO.Ifc
cj1ð0, 1Þ¼1 for somej, then the machine starts checking
whether or not a given object has the attributey
2in the same way described
fory
1.Ifc cj2ð0, 1Þ¼1 for somej, then the machine starts checking whether
or not a given object has the attributey
3.Ifc cj2ð0, 1Þ¼0 for allj, then the
given object is decided by the machine as notO. The process of checking
for the attributes inA(y) by the machine continues only if the previous attri-
bute checked withinA(y) was present. When the setA(y) exists in a given
object, the machine classifies the object asO, else a given object is classified
Exact deep learning machinesChapter
13
the machine is trained with a triplet of information, say, {O,A(y),Y(c)},
whereOis the object to be detected by the machine,A(y) is the set of
attributes that completely describeO, andY(c) is the set of values that each
attribute can pick. The objectOis described based on the set of predecided
finite numerical values. The setAðyÞ¼fy
1,y
2,…y
ag. The setY(c) consists
of all possible values of each of the attributey
jforj¼1, 2,…,a. The attri-
butey
jcan choose any one of thec cjjpossibilities forj¼1, 2,…,a.Thatis,
YðcÞ¼
y
1¼½c11,c21,…,c c11
y
2¼½c12,c22,…,c c22
⋮
y
a¼½c1a,c2a,…,c caa
8
>
>
>
<
>
>
>
:
9
>
>
>
=
>
>
>
;
(1)
In Eq. (1) the quantitiesc
cjjforj¼1, 2,…,aneed not be identical. This
implies that the number of possible values fory
1,y
2,…y
aneed not be the
same. The objectOwill be described by {O,A(y),Y(c)} with eachy
jchoos-
ing only one of the values½c
1j,c2j,…,c cjjforj¼1, 2,…,a. Suppose “0”
indicates the absence ofc
cjjand “1” indicates the presencec cjjinyj. All the
attributes ofY(c) can be listed for the absence or presence of values of each
attribute as follows:
y
1¼½c 11ð0, 1Þ,c 21ð0, 1Þ,…,c c11ð0, 1?
y
2¼½c 12ð0, 1Þ,c 22ð0, 1Þ,…,c c22ð0, 1?
⋮
y
a¼½c 1að0, 1Þ,c 2að0, 1Þ,…,c caað0, 1?
(2)
The machine trained with the triplet could start checking for the presence of
predefined attributes in any order from the setA(y). Suppose it starts checking
whether or not a given object has the attributey
1. Then,c 11(0, 1)¼1 indicates
y
11¼c11andc 11(0, 1)¼0 indicatesy 1could pick a value from
fc
21,c22,…,cc11gor the attributey
1may not be present in a given object.
Ify
11picks one of the values infc 11,c21,…,c c11g, then the machine will
decide that the objectOhas the attributey
1and proceed to check if other
attributes ofOare present. Ifc
11(0, 1)¼0 andy 1does not pick any
value fromfc
21,c22,…,cc11g, then the machine will decide that the given
object is notO.Ifc
cj1ð0, 1Þ¼1 for somej, then the machine starts checking
whether or not a given object has the attributey
2in the same way described
fory
1.Ifc cj2ð0, 1Þ¼1 for somej, then the machine starts checking whether
or not a given object has the attributey
3.Ifc cj2ð0, 1Þ¼0 for allj, then the
given object is decided by the machine as notO. The process of checking
for the attributes inA(y) by the machine continues only if the previous attri-
bute checked withinA(y) was present. When the setA(y) exists in a given
object, the machine classifies the object asO, else a given object is classified
Exact deep learning machinesChapter
13
as notO. The number of all possible permutations of values of attributes that
could determine a given objectOis
c1Σc2ΣΣΣΣca¼
Y
a
1
cj: (3)
LetE1be an event such that the objectOis determined with a combination
ofY(c) values, say,fc11,c22,…,ccaag, and letE2be another event that the
given object is determined asOwith a combination ofY(c) values different
thanfc11,c22,…,ccaag, thenE16¼E2. A machine trained with {O,A(y),
Y(c)} could determine an object asOfrom any of theE
kset of distinct events
(seeFig. 1)
Ekfork¼1, 2,…,
Y
a
1
cj: (4)
LetΩbe the set of all objects in the universe with distinctEkvalues in Eq.
(4) which can be classified asO. Then,
jΩjΠ
Y
a
1
cj: (5)
LetΣbe the set of all objects in the universe, and two or more objects have
identicalEkvalues which can be classified asO. Then,
jΣj>
Y
a
1
cj: (6)
Alternatively, if (6) holds, then two or more objects in the universe that can be
classified asOdetected by the machine have identical sets inE
k. When an
FIG. 1Occurrence of all possible distinct eventsE
kare trained into EDLMs. The elements
within each row ofY(c) could be different, but the cardinalities of the eventsEkare identical.
4 Handbook of Statistics
could determine a given objectOis
c1Σc2ΣΣΣΣca¼
Y
a
1
cj: (3)
LetE1be an event such that the objectOis determined with a combination
ofY(c) values, say,fc11,c22,…,ccaag, and letE2be another event that the
given object is determined asOwith a combination ofY(c) values different
thanfc11,c22,…,ccaag, thenE16¼E2. A machine trained with {O,A(y),
Y(c)} could determine an object asOfrom any of theE
kset of distinct events
(seeFig. 1)
Ekfork¼1, 2,…,
Y
a
1
cj: (4)
LetΩbe the set of all objects in the universe with distinctEkvalues in Eq.
(4) which can be classified asO. Then,
jΩjΠ
Y
a
1
cj: (5)
LetΣbe the set of all objects in the universe, and two or more objects have
identicalEkvalues which can be classified asO. Then,
jΣj>
Y
a
1
cj: (6)
Alternatively, if (6) holds, then two or more objects in the universe that can be
classified asOdetected by the machine have identical sets inE
k. When an
FIG. 1Occurrence of all possible distinct eventsE
kare trained into EDLMs. The elements
within each row ofY(c) could be different, but the cardinalities of the eventsEkare identical.
4 Handbook of Statistics
arbitrary object not known whether it belongs toΩorΣis asked to a
machine trained with the triplet, then the machine can identify whether or
not the object isOwith probability one, because one or otherE
kfor
k¼1, 2,…is either attained or the given object does not satisfy any of the
E
k. If none of theE
koccurred, then the machine will classify the given object
as notO. □
Remark 1Listing the two setsA(y)andY(c) for all kinds of objects might
be impossible even ifA(y) is not dynamic.Theorem 1although can assure
t
he detection ofOwith probability 1 under the conditions specified, the
procedure to detectObecomes impossible unless each and every possible
trait or attribute ofOis known and the values of each attribute are
predetermined.
Theorem 2Suppose the given object is detected by the machine as O. Then,
P
[
a
k¼1
Ek
!
¼1:
ProofProbability that one of the values of the attributey
1is picked by the
machine is
1
c
1
, probability that one of the values of the attributey 2is picked
by the machine is
1
c
2
, and so on. Probability of occurrence ofE
kfor somek
will be
1
c
1
Σ
1
c
2
ΣΣΣΣ
1
c
a
¼
1
Π
a
j¼1
cj
(7)
Therefore,
Prob
[
a
k¼1
Ek
!
¼
1Π
a j¼1
cj
+
1Π
a j¼1
cj
+
⋯+
1
Π
a
j¼1
cj
ðatimesÞ¼1: (8)
In
the right hand side of Eq. (8), we have used the property that the eventsE
k
are disjoint. □
Remark 2Suppose the given object is detected by the machine asO. Then,
P
\
a
k¼1
Ek
!
¼∅:
When an object is detected asO, then only one of the eventsE
kwill occur for
somek, and as soon as that occurs, the target is achieved and there is no scope
for other events to occur(Fig. 2).
Exact deep learning machinesChapter
15
machine trained with the triplet, then the machine can identify whether or
not the object isOwith probability one, because one or otherE
kfor
k¼1, 2,…is either attained or the given object does not satisfy any of the
E
k. If none of theE
koccurred, then the machine will classify the given object
as notO. □
Remark 1Listing the two setsA(y)andY(c) for all kinds of objects might
be impossible even ifA(y) is not dynamic.Theorem 1although can assure
t
he detection ofOwith probability 1 under the conditions specified, the
procedure to detectObecomes impossible unless each and every possible
trait or attribute ofOis known and the values of each attribute are
predetermined.
Theorem 2Suppose the given object is detected by the machine as O. Then,
P
[
a
k¼1
Ek
!
¼1:
ProofProbability that one of the values of the attributey
1is picked by the
machine is
1
c
1
, probability that one of the values of the attributey 2is picked
by the machine is
1
c
2
, and so on. Probability of occurrence ofE
kfor somek
will be
1
c
1
Σ
1
c
2
ΣΣΣΣ
1
c
a
¼
1
Π
a
j¼1
cj
(7)
Therefore,
Prob
[
a
k¼1
Ek
!
¼
1Π
a j¼1
cj
+
1Π
a j¼1
cj
+
⋯+
1
Π
a
j¼1
cj
ðatimesÞ¼1: (8)
In
the right hand side of Eq. (8), we have used the property that the eventsE
k
are disjoint. □
Remark 2Suppose the given object is detected by the machine asO. Then,
P
\
a
k¼1
Ek
!
¼∅:
When an object is detected asO, then only one of the eventsE
kwill occur for
somek, and as soon as that occurs, the target is achieved and there is no scope
for other events to occur(Fig. 2).
Exact deep learning machinesChapter
15
3 Conclusions
Incorporating actual intelligence and self-thinking capabilities into the
machines which is an integral part of human activities is still impossible. There
is a lot of difference between a machine that possesses “vast information” and a
machine that possesses “human-like intelligence.” The machines with “vast
information” can use this information and perform according to the algorithms
provided to use this “vast information.”
The central advantage of EDLM introduced here is that they can classify a
given object as O or not without any uncertainty. If a given object isO, then
one of theEkwill occur for sure and the probability that an EDLM described
will classify the object correctly is one. There could be a random order of
selection of prelisted attributes by EDLMs; however, there will be no uncer-
tainty in the performance of the machines once the conditions of EDLMs
are satisfied. Instead of detection of predefined objects, the EDLMs can be
extended for other real-world situations where complete information ofA(y)
andY(c) are known prior to the implementation of machine learning algo-
rithms. Understanding randomness and uncertainty in the data is important
in real-world situations (Rao, 2022); however, machines with uncertain infor-
mation cannot achieve specified targets with certainty. Construction of
EDLMs may not be possible for all the circumstances because complete infor-
mation onA(y) may not be possible for each and every object. However,
wheneverA(y) andY(c) are known completely for a given object or for a
given specific target, EDLMs would perform accurately.
FIG. 2Suppose a particular type of stone from the planet Mars, say,O(A) whose attributes do
not change with time is collected and information about the stone in the form ofA(y) andY(c)
is stored. Then EDLMs can assist in determining any arbitrary stone in the universe isO(A)or
not. HereO
1(A),O2ðAÞ,…,O7ðAÞare stones of different sizes and different shapes of the same
kind.
6 Handbook of Statistics
Incorporating actual intelligence and self-thinking capabilities into the
machines which is an integral part of human activities is still impossible. There
is a lot of difference between a machine that possesses “vast information” and a
machine that possesses “human-like intelligence.” The machines with “vast
information” can use this information and perform according to the algorithms
provided to use this “vast information.”
The central advantage of EDLM introduced here is that they can classify a
given object as O or not without any uncertainty. If a given object isO, then
one of theEkwill occur for sure and the probability that an EDLM described
will classify the object correctly is one. There could be a random order of
selection of prelisted attributes by EDLMs; however, there will be no uncer-
tainty in the performance of the machines once the conditions of EDLMs
are satisfied. Instead of detection of predefined objects, the EDLMs can be
extended for other real-world situations where complete information ofA(y)
andY(c) are known prior to the implementation of machine learning algo-
rithms. Understanding randomness and uncertainty in the data is important
in real-world situations (Rao, 2022); however, machines with uncertain infor-
mation cannot achieve specified targets with certainty. Construction of
EDLMs may not be possible for all the circumstances because complete infor-
mation onA(y) may not be possible for each and every object. However,
wheneverA(y) andY(c) are known completely for a given object or for a
given specific target, EDLMs would perform accurately.
FIG. 2Suppose a particular type of stone from the planet Mars, say,O(A) whose attributes do
not change with time is collected and information about the stone in the form ofA(y) andY(c)
is stored. Then EDLMs can assist in determining any arbitrary stone in the universe isO(A)or
not. HereO
1(A),O2ðAÞ,…,O7ðAÞare stones of different sizes and different shapes of the same
kind.
6 Handbook of Statistics
References
Angelino, E., Larus-Stone, N., Alabi, D., Seltzer, M., Rudin, C., 2017. Learning certifiably
optimal rule lists for categorical data. J. Mach. Learn. Res. 18 (234), 78.
Baladram, M.S., Koike, A., Yamada, K.D., 2020. Introduction to supervised machine learning for
data science. Interdiscip. Inform. Sci. 26 (1), 87–121.
Blum, L., Shub, M., Smale, S., 1989. On a theory of computation and complexity over the real
numbers: NP-completeness, recursive functions and universal machines. Bull. Am. Math.
Soc. (N.S.) 21 (1), 1–46.
Brunton, S.L., Kutz, J.N., 2022. Data-Driven Science and Engineering–Machine Learning, Dyna-
mical Systems, and Control, second ed. Cambridge University Press, Cambridge, ISBN: 978-
1-009-09848-9 (xxiv+590 pp).
Calma, A., Reitmaier, T., Sick, B., 2018. Semi-supervised active learning for support vector
machines: a novel approach that exploits structure information in data. Inform. Sci. 456, 1333.
Chen, L.M., 2015. Machine learning for data science: mathematical or computational. In: Mathe-
matical Problems in Data Science, Springer, Cham, pp. 63–74.
COE, n.d. History of Artificial Intelligence.https://www.coe.int/en/web/artificial-intelligence/
history-of-ai(accessed 07.11.22).
Cucker, F., Smale, S., 2002. On the mathematical foundations of learning. Bull. Am. Math. Soc.
(N.S.)
39 (1), 1–49.
Ferraz, M.F., Ju´nior, L.B., Komori, A.S.K., Rech, L.C., Schneider, G.H.T., Berger, G.S.,
Cantieri, A.R., Lima, J., Wehrmeister, M.A., 2021. Artificial intelligence architecture based
on planar LiDAR scan data to detect energy pylon structures in a UAV autonomous detailed
inspection process. In: Optimization, Learning Algorithms and Applications. Commun. Com-
put. Inf. Sci., vol. 1488. Springer, Cham, pp. 430–443.
Fokoue, E., Titterington, D.M., 2003. Mixtures of factor analysers: Bayesian estimation and infer-
ence by stochastic simulation. Mach. Learn. 50, 73–94.
Govindaraju, V., Rao, C.R., 2013. Machine Learning: Theory and Applications. Handbook
of Statistics, vol. 31 Elsevier/North-Holland, Amsterdam, ISBN: 978-0-444-53859-8
(xxiv+525 pp).
JagWire, 2020. App, AI work together to provide rapid at-home assessment of coronavirus
risk
woman smiling, by Toni Baker 4 on March 5. JagWire.https://jagwire.augusta.edu/
app-ai-work-
together-to-provide-rapid-at-home-assessment-of-coronavirus-risk/. (accessed
01.11.22).
Magazine,
Innovators, 2020. App Detects Coronavirus Risk by Susan Robertsonon, 5th
March. Innovators Magazine.https://www.innovatorsmag.com/app-detects-coronavirus-risk/.
(accessed
01.11.22).
Matsui, T., 2010. On the special topic “statistical machine learning”. Proc. Inst. Stat. Math.
58
(2), 139.
mhealthintelligence, 2020. AI-Powered Smartphone App Offers Coronavirus Risk Assessment By
Samantha
McGrail on March 13. mHealthIntelligence.https://mhealthintelligence.com/.
(accessed
01.11.22).
Nazarathy, Y., Klok, H., 2021. Statistics With Julia–Fundament
als for Data Science, Machine
Learning and Artificial Intelligence. Springer Series in the Data Sciences, Springer, Cham.
978-3-030-70900-6; 978-3-030-70901-3 (xii+527 pp).
Niyogi, P., Smale, S., Weinberger, S., 2011. A topological view of unsupervised learning from
noisy data. SIAM J. Comput. 40 (3), 646–663.
Exact deep learning machinesChapter
17
Angelino, E., Larus-Stone, N., Alabi, D., Seltzer, M., Rudin, C., 2017. Learning certifiably
optimal rule lists for categorical data. J. Mach. Learn. Res. 18 (234), 78.
Baladram, M.S., Koike, A., Yamada, K.D., 2020. Introduction to supervised machine learning for
data science. Interdiscip. Inform. Sci. 26 (1), 87–121.
Blum, L., Shub, M., Smale, S., 1989. On a theory of computation and complexity over the real
numbers: NP-completeness, recursive functions and universal machines. Bull. Am. Math.
Soc. (N.S.) 21 (1), 1–46.
Brunton, S.L., Kutz, J.N., 2022. Data-Driven Science and Engineering–Machine Learning, Dyna-
mical Systems, and Control, second ed. Cambridge University Press, Cambridge, ISBN: 978-
1-009-09848-9 (xxiv+590 pp).
Calma, A., Reitmaier, T., Sick, B., 2018. Semi-supervised active learning for support vector
machines: a novel approach that exploits structure information in data. Inform. Sci. 456, 1333.
Chen, L.M., 2015. Machine learning for data science: mathematical or computational. In: Mathe-
matical Problems in Data Science, Springer, Cham, pp. 63–74.
COE, n.d. History of Artificial Intelligence.https://www.coe.int/en/web/artificial-intelligence/
history-of-ai(accessed 07.11.22).
Cucker, F., Smale, S., 2002. On the mathematical foundations of learning. Bull. Am. Math. Soc.
(N.S.)
39 (1), 1–49.
Ferraz, M.F., Ju´nior, L.B., Komori, A.S.K., Rech, L.C., Schneider, G.H.T., Berger, G.S.,
Cantieri, A.R., Lima, J., Wehrmeister, M.A., 2021. Artificial intelligence architecture based
on planar LiDAR scan data to detect energy pylon structures in a UAV autonomous detailed
inspection process. In: Optimization, Learning Algorithms and Applications. Commun. Com-
put. Inf. Sci., vol. 1488. Springer, Cham, pp. 430–443.
Fokoue, E., Titterington, D.M., 2003. Mixtures of factor analysers: Bayesian estimation and infer-
ence by stochastic simulation. Mach. Learn. 50, 73–94.
Govindaraju, V., Rao, C.R., 2013. Machine Learning: Theory and Applications. Handbook
of Statistics, vol. 31 Elsevier/North-Holland, Amsterdam, ISBN: 978-0-444-53859-8
(xxiv+525 pp).
JagWire, 2020. App, AI work together to provide rapid at-home assessment of coronavirus
risk
woman smiling, by Toni Baker 4 on March 5. JagWire.https://jagwire.augusta.edu/
app-ai-work-
together-to-provide-rapid-at-home-assessment-of-coronavirus-risk/. (accessed
01.11.22).
Magazine,
Innovators, 2020. App Detects Coronavirus Risk by Susan Robertsonon, 5th
March. Innovators Magazine.https://www.innovatorsmag.com/app-detects-coronavirus-risk/.
(accessed
01.11.22).
Matsui, T., 2010. On the special topic “statistical machine learning”. Proc. Inst. Stat. Math.
58
(2), 139.
mhealthintelligence, 2020. AI-Powered Smartphone App Offers Coronavirus Risk Assessment By
Samantha
McGrail on March 13. mHealthIntelligence.https://mhealthintelligence.com/.
(accessed
01.11.22).
Nazarathy, Y., Klok, H., 2021. Statistics With Julia–Fundament
als for Data Science, Machine
Learning and Artificial Intelligence. Springer Series in the Data Sciences, Springer, Cham.
978-3-030-70900-6; 978-3-030-70901-3 (xii+527 pp).
Niyogi, P., Smale, S., Weinberger, S., 2011. A topological view of unsupervised learning from
noisy data. SIAM J. Comput. 40 (3), 646–663.
Exact deep learning machinesChapter
17
Poggio, T., Smale, S., 2003. The mathematics of learning: dealing with data. Not. Am. Math. Soc.
50 (5), 537544.
Rao, A.S.R.S., 2022. Randomness and uncertainty are central in most walks of life. J. Indian Inst.
Sci.
102 (4), 1105–1106.https://doi.org/10.1007/s41745-022-00345-6.
Smale, S., Zhou, D.-X., 2007. Learning theory estimates via integral operators and their approx-
imation
s. Constr. Approx. 26 (2), 153–172.
Srinivasa Rao, A.S.R., Diamond, M.P., 2020. Deep learning of markov model-based machines for
determi
nation of better treatment option decisions for infertile women. Reprod. Sci. 27,
763–770.https://doi.org/10.1007/s43032-019-00082-9.
Srinivasa Rao, A.S.R., Vazquez, J., 2020. Identification of COVID-19 can be quicker through
artificial
intelligence framework using a mobile phone-based survey when cities and towns
are under quarantine. Infect. Control Hosp. Epidemiol. 41 (7), 826–830.
Srinivasa Rao, A.S.R., Vazquez, J.A., 2022. Better hybrid systems for disease detections and early
predicti
ons. Clin. Infect. Dis. 74 (3), 556–558.https://doi.org/10.1093/cid/ciab489.
Tadaki, K., 2012. A statistical mechanical interpretation of algorithmic information theory III:
composite
systems and fixed points. Math. Struct. Comput. Sci. 22 (5), 752–770.
Timesofindia, 2020. App Uses AI to Provide at-Home Assessment of Coronavirus Risk: Study by
PTI/Upd
ated: Mar 5 16:24 IST.https://timesofindia.indiatimes.com/home/science/app-uses-
ai-to-provi
de-at-home-assessment-of-coronavirus-risk-study/articleshow/74493256.cms.
(accesse
d 01.11.22).
Tollenaar, N., van der Heijden, P.G.M., 2013. Which method predicts recidivism best?: a compar-
ison
of statistical, machine learning and data mining predictive models. J. R. Stat. Soc. Ser.
A 176 (2), 565–584.
Van Messem, A., 2020. Support vector machines: a robust prediction method with applications in
bioinformatics. In: Principles and Methods for Data Science. Handbook of Statist, vol. 43.
Elsevier/North-Holland, Amsterdam, pp. 391–466.
Yeturu, K., 2020. Machine learning algorithms, applications, and practices in data science.
In: Principles and Methods for Data Science. Handbook of Statist, vol. 43. Elsevier/
North-Holland, Amsterdam, pp. 81–206.
8 Handbook of Statistics
50 (5), 537544.
Rao, A.S.R.S., 2022. Randomness and uncertainty are central in most walks of life. J. Indian Inst.
Sci.
102 (4), 1105–1106.https://doi.org/10.1007/s41745-022-00345-6.
Smale, S., Zhou, D.-X., 2007. Learning theory estimates via integral operators and their approx-
imation
s. Constr. Approx. 26 (2), 153–172.
Srinivasa Rao, A.S.R., Diamond, M.P., 2020. Deep learning of markov model-based machines for
determi
nation of better treatment option decisions for infertile women. Reprod. Sci. 27,
763–770.https://doi.org/10.1007/s43032-019-00082-9.
Srinivasa Rao, A.S.R., Vazquez, J., 2020. Identification of COVID-19 can be quicker through
artificial
intelligence framework using a mobile phone-based survey when cities and towns
are under quarantine. Infect. Control Hosp. Epidemiol. 41 (7), 826–830.
Srinivasa Rao, A.S.R., Vazquez, J.A., 2022. Better hybrid systems for disease detections and early
predicti
ons. Clin. Infect. Dis. 74 (3), 556–558.https://doi.org/10.1093/cid/ciab489.
Tadaki, K., 2012. A statistical mechanical interpretation of algorithmic information theory III:
composite
systems and fixed points. Math. Struct. Comput. Sci. 22 (5), 752–770.
Timesofindia, 2020. App Uses AI to Provide at-Home Assessment of Coronavirus Risk: Study by
PTI/Upd
ated: Mar 5 16:24 IST.https://timesofindia.indiatimes.com/home/science/app-uses-
ai-to-provi
de-at-home-assessment-of-coronavirus-risk-study/articleshow/74493256.cms.
(accesse
d 01.11.22).
Tollenaar, N., van der Heijden, P.G.M., 2013. Which method predicts recidivism best?: a compar-
ison
of statistical, machine learning and data mining predictive models. J. R. Stat. Soc. Ser.
A 176 (2), 565–584.
Van Messem, A., 2020. Support vector machines: a robust prediction method with applications in
bioinformatics. In: Principles and Methods for Data Science. Handbook of Statist, vol. 43.
Elsevier/North-Holland, Amsterdam, pp. 391–466.
Yeturu, K., 2020. Machine learning algorithms, applications, and practices in data science.
In: Principles and Methods for Data Science. Handbook of Statist, vol. 43. Elsevier/
North-Holland, Amsterdam, pp. 81–206.
8 Handbook of Statistics
Chapter 2
Multiscale representation
learning for biomedical analysis
Abhishek Singh
a
, Utkarsh Porwal
b
, Anurag Bhardwaj
c,
∗, and Wei Jin
a
a
Computer Science and Engineering, University of North Texas, Denton, TX, United States
b
Walmart Inc, Hoboken, NJ, United States
c
Khoury College of Computer Science, Northeastern University, San Jose, CA, United States
∗
Corresponding author: e-mail: [email protected]
Abstract
Representation learning has gained prominence over last few years and has shown that
for all underlying learning algorithm, results are vastly improved if feature representa-
tion of input is improved to capture the domain knowledge. Word embedding
approaches like Word2Vec or subword information technique like fastText has shown
to improve multiple NLP tasks in biomedical domain. These techniques mostly capture
indirect relationships but often fail to capture deeper contextual relationships. This can
be attributed to the fact that such techniques capture only short-range context defined
via a co-occurrence window. In this chapter we describe recent advances in novel con-
textual embedding for a “wide sentential context.” These contextual embedding can
generate composite word embedding achieving a multiscale word representation. We
further illustrate that the composite embedding performs better than the present individ-
ual state-of-art techniques on both intrinsic and extrinsic evaluations.
Keywords:Knowledge representation, Natural language processing, Medical applica-
tions (general)
1 Introduction
Easy access to the Internet and personal health devices has led to a massive
proliferation of biomedical data today. One of the largest such datasets is
PubMed, which consists of 30 million documents and 5 billion words. Some
of the important applications of this dataset include: (i) concept search and
retrieval, (ii) literature-based discovery (LBD), and (iii) question and answer
based systems. In order to perform these tasks efficiently, a deeper under-
standing of biomedical concepts in these texts is a critical requirement. In this
Handbook of Statistics, Vol. 48.https://doi.org/10.1016/bs.host.2022.12.004
Copyright©2023
Elsevier B.V. All rights reserved.
9
Multiscale representation
learning for biomedical analysis
Abhishek Singh
a
, Utkarsh Porwal
b
, Anurag Bhardwaj
c,
∗, and Wei Jin
a
a
Computer Science and Engineering, University of North Texas, Denton, TX, United States
b
Walmart Inc, Hoboken, NJ, United States
c
Khoury College of Computer Science, Northeastern University, San Jose, CA, United States
∗
Corresponding author: e-mail: [email protected]
Abstract
Representation learning has gained prominence over last few years and has shown that
for all underlying learning algorithm, results are vastly improved if feature representa-
tion of input is improved to capture the domain knowledge. Word embedding
approaches like Word2Vec or subword information technique like fastText has shown
to improve multiple NLP tasks in biomedical domain. These techniques mostly capture
indirect relationships but often fail to capture deeper contextual relationships. This can
be attributed to the fact that such techniques capture only short-range context defined
via a co-occurrence window. In this chapter we describe recent advances in novel con-
textual embedding for a “wide sentential context.” These contextual embedding can
generate composite word embedding achieving a multiscale word representation. We
further illustrate that the composite embedding performs better than the present individ-
ual state-of-art techniques on both intrinsic and extrinsic evaluations.
Keywords:Knowledge representation, Natural language processing, Medical applica-
tions (general)
1 Introduction
Easy access to the Internet and personal health devices has led to a massive
proliferation of biomedical data today. One of the largest such datasets is
PubMed, which consists of 30 million documents and 5 billion words. Some
of the important applications of this dataset include: (i) concept search and
retrieval, (ii) literature-based discovery (LBD), and (iii) question and answer
based systems. In order to perform these tasks efficiently, a deeper under-
standing of biomedical concepts in these texts is a critical requirement. In this
Handbook of Statistics, Vol. 48.https://doi.org/10.1016/bs.host.2022.12.004
Copyright©2023
Elsevier B.V. All rights reserved.
9
chapter, we survey recent advances in representation learning techniques for
medical concepts. We primarily focus on embedding-based representation that
can subsequently power richer applications such as LBD as well as term
similarity.
Drug discovery is a process of identifying a potential candidate drug for
the treatment of a specific disease. This is a long, sophisticated, and expensive
process that can take years if not decades. LBD on the other hand is a process
of drug discovery by making unrelated connections present in a large body of
every growing biomedical literature. LBD is an inexpensive and faster way
of drug discovery and where almost all the methods conform to ABC model
championed by Don R. Swanson. ABC model hypothesizes that if
A implies B and B implies C, then there might be a relationship between
A and C. Swanson found that dietary fish oil (A) lowers blood viscosity
(B) as published in some literature. He also noted that people suffering from
Raynaud’s disease (C) also suffer from high blood viscosity (B) as published
in literature. He then hypothesized that dietary fish oil could be used to treat
Raynaud’s disease (Swanson, 1986) which was later clinically confirmed.
Since
then large body of research has been published proposing ways to
automatically uncover such relationships. One approach is co-occurrence
methods where co-occurrence in text is considered as relationship. This
approach leads to high false positive rate among identified candidates as this
approach fails to capture semantic context (Henry and McInnes, 2017). There-
fore
recently natural language processing (NLP) techniques such as word
embedding or semantic lookup information (Collobert et al., 2011;Jha
et
al., 2017, 2018a;Pyysalo et al., 2013;Shaik and Jin, 2019) are gaining
prominence
. One of the primary challenges with word embedding techniques
is the ability to handle and train a large-scale embedding model over such a
large and diverse token set. This problem is further exacerbated by the pres-
ence of large number of medical abbreviations that are not found in common
English text. Also, methods involving a “sliding window” to capture the con-
text fail to capture “wide sentential context.” As a result, simple word embed-
ding techniques are poorly suited to discovering long-range dependencies
among biomedical terms. This limitation has impact on biomedical applica-
tions such as literature-based discovery (LBD) (Gopalakrishnan et al., 2018;
Jha et al., 2018b;Xun et al., 2017), biomedical information retrieval (Wang
et
al., 2018b), relation extraction (Giuliano et al., 2006), and Q&A system
(Lee et al., 2020).
Jha et al. (2017) noted that although dense word embeddings do effec-
tively
learn implicit semantic context, they are agnostic of rich semantic
knowledge captured in biomedical ontologies and vocabularies which results
in poor representation of such terms without adequate local context. Authors
proposed MeSH2Vec that captures both contextual information and available
explicit semantic knowledge to learn externally augmented word embeddings.
10Handbook of Statistics
medical concepts. We primarily focus on embedding-based representation that
can subsequently power richer applications such as LBD as well as term
similarity.
Drug discovery is a process of identifying a potential candidate drug for
the treatment of a specific disease. This is a long, sophisticated, and expensive
process that can take years if not decades. LBD on the other hand is a process
of drug discovery by making unrelated connections present in a large body of
every growing biomedical literature. LBD is an inexpensive and faster way
of drug discovery and where almost all the methods conform to ABC model
championed by Don R. Swanson. ABC model hypothesizes that if
A implies B and B implies C, then there might be a relationship between
A and C. Swanson found that dietary fish oil (A) lowers blood viscosity
(B) as published in some literature. He also noted that people suffering from
Raynaud’s disease (C) also suffer from high blood viscosity (B) as published
in literature. He then hypothesized that dietary fish oil could be used to treat
Raynaud’s disease (Swanson, 1986) which was later clinically confirmed.
Since
then large body of research has been published proposing ways to
automatically uncover such relationships. One approach is co-occurrence
methods where co-occurrence in text is considered as relationship. This
approach leads to high false positive rate among identified candidates as this
approach fails to capture semantic context (Henry and McInnes, 2017). There-
fore
recently natural language processing (NLP) techniques such as word
embedding or semantic lookup information (Collobert et al., 2011;Jha
et
al., 2017, 2018a;Pyysalo et al., 2013;Shaik and Jin, 2019) are gaining
prominence
. One of the primary challenges with word embedding techniques
is the ability to handle and train a large-scale embedding model over such a
large and diverse token set. This problem is further exacerbated by the pres-
ence of large number of medical abbreviations that are not found in common
English text. Also, methods involving a “sliding window” to capture the con-
text fail to capture “wide sentential context.” As a result, simple word embed-
ding techniques are poorly suited to discovering long-range dependencies
among biomedical terms. This limitation has impact on biomedical applica-
tions such as literature-based discovery (LBD) (Gopalakrishnan et al., 2018;
Jha et al., 2018b;Xun et al., 2017), biomedical information retrieval (Wang
et
al., 2018b), relation extraction (Giuliano et al., 2006), and Q&A system
(Lee et al., 2020).
Jha et al. (2017) noted that although dense word embeddings do effec-
tively
learn implicit semantic context, they are agnostic of rich semantic
knowledge captured in biomedical ontologies and vocabularies which results
in poor representation of such terms without adequate local context. Authors
proposed MeSH2Vec that captures both contextual information and available
explicit semantic knowledge to learn externally augmented word embeddings.
10Handbook of Statistics
They used MEDLINE
a
for the co-occurrence information of the Medical
Subject Headings (MeSH terms) required to learn word embeddings and
MeSH
b
tree codes as an external explicit knowledge-base and learn aug-
mented word embeddings. Authors showed the efficacy of their proposed
method on different biomedical concept similarity/relatedness tasks. Simi-
larly,Zhang et al. (2019)proposed BioWordVec that learns dense word repre-
sent
ations using both large corpus of unlabeled biomedical data and structured
biomedical ontologies. Authors used PubMed and MeSH data to learn word
embeddings and assessed the utility of their work on tasks of sentence pair
similarity and biomedical relation extraction. While dense word embeddings
do capture semantic and contextual information effectively, several tasks
require embeddings at sentence or document level. While there are simple
ways of creating such embeddings from word embeddings, researchers have
also trained embeddings directly at sentence or document level that were more
expressive than the ones derived from word embeddings.Chen et al. (2019)
proposed BioSentVec, sentence embeddings trained with more than 30 million
docum
ents from PubMed and clinical notes in the MIMIC-III Clinical Data-
base. Authors evaluated these embeddings for two sentence pair similarity tasks.
Authors also released the trained embeddings publicly to further biomedical text
mining research. While dense embeddings were already helping researchers
make great progress in all kinds of NLP applications, recent development
in deep learning using transformers caused an unprecedented acceleration. Bio-
medical community also benefitted from these developments (Chen et al., 2018).
Lee et al. (2020)proposed BioBERT (Bidirectional Encoder Representations
fr
om Transformers for Biomedical Text Mining), a domain-specific language
representation model pretrained on large-scale biomedical corpora to better
understand complex biomedical texts. Authors showed the efficacy of BioBERT
on tasks like biomedical named entity recognition (NER), biomedical relation
extraction, and biomedical question answering.
Dense word or sentence embeddings improved the accuracy of several
biomedical tasks such as LBD, relation extraction, and question answering.
However, since most embeddings are learned within a sliding window, more
complex far-out context cannot be captured. Therefore, recently knowledge
graph-based approaches have been proposed to address such limitations
(Zeng et al., 2022). Embeddings representing knowledge graphs are far more
expre
ssive than just word or document embeddings. These embeddings not
only preserve the structure of the graph but also capture the semantic informa-
tion of entities and relations. Several embedding models have been proposed
for biomedical applications. Graph neural network (GNN) is an effective and
a
https://www.nlm.nih.gov/medline/medline_overview.html.
b
https://www.nlm.nih.gov/mesh/meshhome.html.
Multiscale representation learning for biomedical analysisChapter211
a
for the co-occurrence information of the Medical
Subject Headings (MeSH terms) required to learn word embeddings and
MeSH
b
tree codes as an external explicit knowledge-base and learn aug-
mented word embeddings. Authors showed the efficacy of their proposed
method on different biomedical concept similarity/relatedness tasks. Simi-
larly,Zhang et al. (2019)proposed BioWordVec that learns dense word repre-
sent
ations using both large corpus of unlabeled biomedical data and structured
biomedical ontologies. Authors used PubMed and MeSH data to learn word
embeddings and assessed the utility of their work on tasks of sentence pair
similarity and biomedical relation extraction. While dense word embeddings
do capture semantic and contextual information effectively, several tasks
require embeddings at sentence or document level. While there are simple
ways of creating such embeddings from word embeddings, researchers have
also trained embeddings directly at sentence or document level that were more
expressive than the ones derived from word embeddings.Chen et al. (2019)
proposed BioSentVec, sentence embeddings trained with more than 30 million
docum
ents from PubMed and clinical notes in the MIMIC-III Clinical Data-
base. Authors evaluated these embeddings for two sentence pair similarity tasks.
Authors also released the trained embeddings publicly to further biomedical text
mining research. While dense embeddings were already helping researchers
make great progress in all kinds of NLP applications, recent development
in deep learning using transformers caused an unprecedented acceleration. Bio-
medical community also benefitted from these developments (Chen et al., 2018).
Lee et al. (2020)proposed BioBERT (Bidirectional Encoder Representations
fr
om Transformers for Biomedical Text Mining), a domain-specific language
representation model pretrained on large-scale biomedical corpora to better
understand complex biomedical texts. Authors showed the efficacy of BioBERT
on tasks like biomedical named entity recognition (NER), biomedical relation
extraction, and biomedical question answering.
Dense word or sentence embeddings improved the accuracy of several
biomedical tasks such as LBD, relation extraction, and question answering.
However, since most embeddings are learned within a sliding window, more
complex far-out context cannot be captured. Therefore, recently knowledge
graph-based approaches have been proposed to address such limitations
(Zeng et al., 2022). Embeddings representing knowledge graphs are far more
expre
ssive than just word or document embeddings. These embeddings not
only preserve the structure of the graph but also capture the semantic informa-
tion of entities and relations. Several embedding models have been proposed
for biomedical applications. Graph neural network (GNN) is an effective and
a
https://www.nlm.nih.gov/medline/medline_overview.html.
b
https://www.nlm.nih.gov/mesh/meshhome.html.
Multiscale representation learning for biomedical analysisChapter211
popular architecture for learning graph representations as it allows complex
nonlinear transformations.Lin et al. (2020)proposed KGNN, a Knowledge
GNN
for drug–drug interaction (DDI) prediction. Likewise,Feeney et al.
(2021)used multirelational GNN for DDI prediction.Dai et al. (2021)pro-
posed
adversarial autoencoder-based knowledge graph embeddings for DDI
prediction.Su et al. (2020)presented a comprehensive review of network
embeddin
gs used in biomedical applications in their paper.
2 Representation learning: Background
There has been extensive research in learning better word representations.
The traditional research in this area was mostly based on the bag of words
(BOW) representation (Brants et al., 2007;Zhang et al., 2006), where each
individual
word was represented as a one-hot vector. As BOW representation
does not consider the semantic relation between words, these methods
evolved to represent words as continuous dense vectors, generally known as
word embeddings as shown byBengio et al. (2003),Mikolov et al. (2013b),
andMnih and Kavukcuoglu (2013). These techniques have shown significant
improvem
ents in the performance of several NLP tasks. Unsupervised techni-
ques like skip-gram bag-of-words model (CBOW) for learning word represen-
tation have also been used by numerous researchers (Mikolov et al., 2013a;
Muneeb et al., 2015). BERT (Devlin et al., 2018) and ELMO (Peters et al.,
2018) are the most recent way of language representation that has proved to
be
an effective way of contextualized representations from a deeper structure
(e.g., bidirectional language model) for transfer learning.
One of the first to use word embedding in biomedical was byCollobert
et
al. (2011), who proposed a neural network that learnt a unified word repre-
sentation
suited for tasks like parts of speech tagging, NER, and semantic
role labeling. In the biomedical domain, some early attempts of applying
word-embedding have seen traction in the last few years where the traditional
word representation used byPyysalo et al. (2013)provided distributional
semantic
resources for biomedical text processing. They focused on applying
Word2Vec to train word embedding from the preprocessed PubMed and
PubMed Central Open Access (PMC OA) texts. While PubMed is a popular
source to extract information, most PubMed documents also have extra infor-
mation about the Medical Subject Headings (MeSH) which could be useful in
understanding the semantics of the document along with externally curated
knowledge-base(Jha et al., 2017, 2018a).Chiu et al. (2016)prepared a study
on
how to train good word embeddings for biomedical NLP, and their
research provided a comparison on how the quality of word embeddings dif-
fers. BioWordVec (Zhang et al., 2019) is the latest work in the Biomedical
embeddin
g space that combines MeSH terms and fastText (Bojanowski
et
al., 2017) in a novel way.
12Handbook of Statistics
nonlinear transformations.Lin et al. (2020)proposed KGNN, a Knowledge
GNN
for drug–drug interaction (DDI) prediction. Likewise,Feeney et al.
(2021)used multirelational GNN for DDI prediction.Dai et al. (2021)pro-
posed
adversarial autoencoder-based knowledge graph embeddings for DDI
prediction.Su et al. (2020)presented a comprehensive review of network
embeddin
gs used in biomedical applications in their paper.
2 Representation learning: Background
There has been extensive research in learning better word representations.
The traditional research in this area was mostly based on the bag of words
(BOW) representation (Brants et al., 2007;Zhang et al., 2006), where each
individual
word was represented as a one-hot vector. As BOW representation
does not consider the semantic relation between words, these methods
evolved to represent words as continuous dense vectors, generally known as
word embeddings as shown byBengio et al. (2003),Mikolov et al. (2013b),
andMnih and Kavukcuoglu (2013). These techniques have shown significant
improvem
ents in the performance of several NLP tasks. Unsupervised techni-
ques like skip-gram bag-of-words model (CBOW) for learning word represen-
tation have also been used by numerous researchers (Mikolov et al., 2013a;
Muneeb et al., 2015). BERT (Devlin et al., 2018) and ELMO (Peters et al.,
2018) are the most recent way of language representation that has proved to
be
an effective way of contextualized representations from a deeper structure
(e.g., bidirectional language model) for transfer learning.
One of the first to use word embedding in biomedical was byCollobert
et
al. (2011), who proposed a neural network that learnt a unified word repre-
sentation
suited for tasks like parts of speech tagging, NER, and semantic
role labeling. In the biomedical domain, some early attempts of applying
word-embedding have seen traction in the last few years where the traditional
word representation used byPyysalo et al. (2013)provided distributional
semantic
resources for biomedical text processing. They focused on applying
Word2Vec to train word embedding from the preprocessed PubMed and
PubMed Central Open Access (PMC OA) texts. While PubMed is a popular
source to extract information, most PubMed documents also have extra infor-
mation about the Medical Subject Headings (MeSH) which could be useful in
understanding the semantics of the document along with externally curated
knowledge-base(Jha et al., 2017, 2018a).Chiu et al. (2016)prepared a study
on
how to train good word embeddings for biomedical NLP, and their
research provided a comparison on how the quality of word embeddings dif-
fers. BioWordVec (Zhang et al., 2019) is the latest work in the Biomedical
embeddin
g space that combines MeSH terms and fastText (Bojanowski
et
al., 2017) in a novel way.
12Handbook of Statistics
It has also been observed that the ontology-based methods (Nguyen and
Al-M
ubaid, 2006) are better at capturing taxonomic similarity and are more
corr
elated with coders, whereas the context vector-based methods (Jha
et
al., 2017) sensitive to both taxonomic and contextual information have
be
tter correlation with physicians. In a recent work done byShaik and Jin
(2
019), they use curated knowledge-base (SemMedDB) to design new sentences
c
alled “Semantic Sentences.” These semantic sentences are used in addition to
biomedical text as inputs to the word embedding model to train semantic word
embeddings. Though the above mentioned methods work well, they lack the
ability to work at large scale which is a big challenge in the biomedical domain.
Adapting the skip-gram and CBOW to biomedical domain, works like
(Muneeb et al., 2015) obtained distributed representations for over 400 million
to
kens. Although they performed well on the task of pairwise similarity, they
did not perform so well on the semantic relatedness task. The related terms
can be in the same document but not in the same sentence. This points toward
the lack of long-range contextual modeling in word embeddings. This chapter
aims to address this particular issue. It builds upon a recent work by
Melamud et al. (2016), which introduces a simple and a scalable way to model
th
e context using bidirectional long short-term memory (LSTM). They achieve
impressive results across different tasks like sentence completion, lexical substi-
tution, and word sense disambiguation tasks, substantially outperforming the
popular context representation of averaged word embeddings. However, as
shown inTable 1, this too suffers the problem of associative boost and specific-
it
y, which we intend to solve.
In the recent times, a lot of research has been done following the lines of
bidirectional encoder representations from transformers (BERT) and recently
Lee employed BERT on biomedical text (Lee et al., 2020). BioBERT showed
sign
ificant improvement on tasks like biomedical NER, biomedical relation
extraction, and biomedical question answering; however, it is not well suited
to find similarity between terms (Reif et al., 2019). In BioBERT, representa-
tion
of each word is conditioned on the sentence it appears, but similarity
tasks are generally context free. BioWordVec (Zhang et al., 2019) shows
the
best result on the term similarity measures.
3 Multiscale embedding motivation
To address the aforementioned challenges, we need to learn a better word
representation that can more efficiently and effectively capture complex rela-
tionships among biomedical terms. The key observation we make is that using
just a single representation technique, like Word2Vec, fastText or Context2-
Vec (which through bidirectional LSTM tries to encode sentential context),
is not enough to capture the high level of complexity in biomedical domain.
To illustrate this, please refer toTable 1, which captures the cosine similarity
Multiscale representation learning for biomedical analysisChapter
213
Al-M
ubaid, 2006) are better at capturing taxonomic similarity and are more
corr
elated with coders, whereas the context vector-based methods (Jha
et
al., 2017) sensitive to both taxonomic and contextual information have
be
tter correlation with physicians. In a recent work done byShaik and Jin
(2
019), they use curated knowledge-base (SemMedDB) to design new sentences
c
alled “Semantic Sentences.” These semantic sentences are used in addition to
biomedical text as inputs to the word embedding model to train semantic word
embeddings. Though the above mentioned methods work well, they lack the
ability to work at large scale which is a big challenge in the biomedical domain.
Adapting the skip-gram and CBOW to biomedical domain, works like
(Muneeb et al., 2015) obtained distributed representations for over 400 million
to
kens. Although they performed well on the task of pairwise similarity, they
did not perform so well on the semantic relatedness task. The related terms
can be in the same document but not in the same sentence. This points toward
the lack of long-range contextual modeling in word embeddings. This chapter
aims to address this particular issue. It builds upon a recent work by
Melamud et al. (2016), which introduces a simple and a scalable way to model
th
e context using bidirectional long short-term memory (LSTM). They achieve
impressive results across different tasks like sentence completion, lexical substi-
tution, and word sense disambiguation tasks, substantially outperforming the
popular context representation of averaged word embeddings. However, as
shown inTable 1, this too suffers the problem of associative boost and specific-
it
y, which we intend to solve.
In the recent times, a lot of research has been done following the lines of
bidirectional encoder representations from transformers (BERT) and recently
Lee employed BERT on biomedical text (Lee et al., 2020). BioBERT showed
sign
ificant improvement on tasks like biomedical NER, biomedical relation
extraction, and biomedical question answering; however, it is not well suited
to find similarity between terms (Reif et al., 2019). In BioBERT, representa-
tion
of each word is conditioned on the sentence it appears, but similarity
tasks are generally context free. BioWordVec (Zhang et al., 2019) shows
the
best result on the term similarity measures.
3 Multiscale embedding motivation
To address the aforementioned challenges, we need to learn a better word
representation that can more efficiently and effectively capture complex rela-
tionships among biomedical terms. The key observation we make is that using
just a single representation technique, like Word2Vec, fastText or Context2-
Vec (which through bidirectional LSTM tries to encode sentential context),
is not enough to capture the high level of complexity in biomedical domain.
To illustrate this, please refer toTable 1, which captures the cosine similarity
Multiscale representation learning for biomedical analysisChapter
213
between four pairs of terms:nurse–surgeon,scalpel–surgeon,lawyer–surgeon,
andlawyer–scalpelusing the BioWordVec (Zhang et al., 2019 ) embedding, only
c
ontext embedding, and the composite embedding. Composite embedding is the
embedding obtained by combining the word embedding and context embedding.
The pairs (nurse–surgeon) and (scalpel–surgeon) in the word embedding space
are very closer but are fairly closer in the context embedding space as they tend
to be used in the same context. The reason is that the pair (nurse–surgeon)might
not be occurring in the same sentence and hence the word embedding score is
lower. On the contrary (scalpel–surgeon) is used generally in same context
and also in the same sentences. Hence, its similarity score is equally higher.
Furthermore, words like (nurse–surgeon) that are more similar tend to also
share functional, script, or thematic relations (Hutchison, 2003). As pointed
out
byAsr et al. (2018), word pairs that are purely category coordinates, like
(lawye
r–surgeon), or purely associates, like (scalpel–surgeon), and pairs that
share both types of relations, like (nurse–surgeon), tend to see an additive
processing benefit that reflects the privilege of both similarity and relatedness,
an effect generally referred to as the “associative boost.” (lawyer–scalpel) has
a very low score for the BioWordVec (Zhang et al., 2019), but a higher score
in
the context embedding and the composite embedding space. This might be
attributed to the fact thatsurgeonconnectslawyerandscalpel, hence a fairly
high context and composite similarity score.
Consequently, we propose to use the power of multiple lenses. More
specifically, we use a twofold composite word representation scheme. The
first representation aims to capture the short-term context. The second repre-
sentation is to capture “wide sentential” contexts. Finally, these two represen-
tations are combined meaningfully to allow capturing both short-range and
long-range dependency for a single term. Toward that end, we reuse the basic
concepts of methodologies like Word2Vec and Context2Vec to obtain alternate
TABLE 1Example of cosine similarity scores of BioWordVec (Zhang et al.,
2019), context embedding, and composite embedding.
Word pair
BioWordVec
(Zhang et al., 2019)
Context-embedding
similarit y
Composite-
embedding
similarity
Nurse–surgeon 0.537 0.387 0.440
Scalpel–surgeon 0.485 0.422 0.447
Lawyer–surgeon 0.516 0.389 0.431
Lawyer–scalpel 0.288 0.352 0.328
14Handbook of Statistics
andlawyer–scalpelusing the BioWordVec (Zhang et al., 2019 ) embedding, only
c
ontext embedding, and the composite embedding. Composite embedding is the
embedding obtained by combining the word embedding and context embedding.
The pairs (nurse–surgeon) and (scalpel–surgeon) in the word embedding space
are very closer but are fairly closer in the context embedding space as they tend
to be used in the same context. The reason is that the pair (nurse–surgeon)might
not be occurring in the same sentence and hence the word embedding score is
lower. On the contrary (scalpel–surgeon) is used generally in same context
and also in the same sentences. Hence, its similarity score is equally higher.
Furthermore, words like (nurse–surgeon) that are more similar tend to also
share functional, script, or thematic relations (Hutchison, 2003). As pointed
out
byAsr et al. (2018), word pairs that are purely category coordinates, like
(lawye
r–surgeon), or purely associates, like (scalpel–surgeon), and pairs that
share both types of relations, like (nurse–surgeon), tend to see an additive
processing benefit that reflects the privilege of both similarity and relatedness,
an effect generally referred to as the “associative boost.” (lawyer–scalpel) has
a very low score for the BioWordVec (Zhang et al., 2019), but a higher score
in
the context embedding and the composite embedding space. This might be
attributed to the fact thatsurgeonconnectslawyerandscalpel, hence a fairly
high context and composite similarity score.
Consequently, we propose to use the power of multiple lenses. More
specifically, we use a twofold composite word representation scheme. The
first representation aims to capture the short-term context. The second repre-
sentation is to capture “wide sentential” contexts. Finally, these two represen-
tations are combined meaningfully to allow capturing both short-range and
long-range dependency for a single term. Toward that end, we reuse the basic
concepts of methodologies like Word2Vec and Context2Vec to obtain alternate
TABLE 1Example of cosine similarity scores of BioWordVec (Zhang et al.,
2019), context embedding, and composite embedding.
Word pair
BioWordVec
(Zhang et al., 2019)
Context-embedding
similarit y
Composite-
embedding
similarity
Nurse–surgeon 0.537 0.387 0.440
Scalpel–surgeon 0.485 0.422 0.447
Lawyer–surgeon 0.516 0.389 0.431
Lawyer–scalpel 0.288 0.352 0.328
14Handbook of Statistics
representations for the same word and then use concepts of concatenation and
principal component analysis (PCA) (Jolliffe and Cadima, 2016) to get a unified
re
presentation. With this augmented approach, we are able to handle the limita-
tions listed in earlier paragraphs. Going back to the examples ofTable 1, our
propos
ed methodology, multilens similarity, yields similarity values that are
along the expected lines. Our experiments on diverse datasets show that the
proposed approach significantly improves on the state-of-art method.
4 Theoretical framework
4.1 Local context embedding
Mikolov et al. (2013b)created the Word2Vec tool that uses continuous
bag-o
f-words (CBOW) and skip-gram with negative sampling (SGNS) for
learning the distributed representation of words from very large datasets. Both
of these variations use a sliding window approach to generate context and use
neural network to predict either the target or context words based on the meth-
odology adopted. Please refer toFig. 1to understand the difference between
the
two. FastText (Bojanowski et al., 2017) developed a sub word embedding
mode
l. BioWordVec (Zhang et al., 2019) uses fastText with MeSH terms and
fastT
ext to come up with a state-of-art embedding method. For various
embedding referred inTable 2, we use the respective pretrained embedding
avai
lable publicly.
4.2 Wide context embedding
The local context focus of Word2Vec prevents a deeper understanding and
incorporation of the context. To alleviate this, we use a bidirectional LSTM
to get the context representation that is also sensitive to the position of the
terms in a sentence. As shown in Eq. (1), two LSTM representations are
gener
ated—one from reading words in a sentence from left to right (lLSTM)
and the other from right to left (rLSTM).
biLSTMðW
1:n,iÞ¼lLSTMðl 1:i1?rLSTMðr n:i+1Þ (1)
Once the bidirectional LSTM representation is computed, a multilayer per-
ceptron (MLP) concatenates both the left and the right representations as
shown in Eq. (2), whereL
1andL 2are the linear layers. Rectified Linear Unit
(ReLU) is used as an activation function. Finally, the context representation
cfor a word is computed in Eq. (3).
ML
PðxÞ¼L
2ðReLUðL 1ðxÞÞÞ (2)
c¼MLPðbiLSTMðW
1:n,iÞÞ (3)
Multiscale representation learning for biomedical analysisChapter
215
principal component analysis (PCA) (Jolliffe and Cadima, 2016) to get a unified
re
presentation. With this augmented approach, we are able to handle the limita-
tions listed in earlier paragraphs. Going back to the examples ofTable 1, our
propos
ed methodology, multilens similarity, yields similarity values that are
along the expected lines. Our experiments on diverse datasets show that the
proposed approach significantly improves on the state-of-art method.
4 Theoretical framework
4.1 Local context embedding
Mikolov et al. (2013b)created the Word2Vec tool that uses continuous
bag-o
f-words (CBOW) and skip-gram with negative sampling (SGNS) for
learning the distributed representation of words from very large datasets. Both
of these variations use a sliding window approach to generate context and use
neural network to predict either the target or context words based on the meth-
odology adopted. Please refer toFig. 1to understand the difference between
the
two. FastText (Bojanowski et al., 2017) developed a sub word embedding
mode
l. BioWordVec (Zhang et al., 2019) uses fastText with MeSH terms and
fastT
ext to come up with a state-of-art embedding method. For various
embedding referred inTable 2, we use the respective pretrained embedding
avai
lable publicly.
4.2 Wide context embedding
The local context focus of Word2Vec prevents a deeper understanding and
incorporation of the context. To alleviate this, we use a bidirectional LSTM
to get the context representation that is also sensitive to the position of the
terms in a sentence. As shown in Eq. (1), two LSTM representations are
gener
ated—one from reading words in a sentence from left to right (lLSTM)
and the other from right to left (rLSTM).
biLSTMðW
1:n,iÞ¼lLSTMðl 1:i1?rLSTMðr n:i+1Þ (1)
Once the bidirectional LSTM representation is computed, a multilayer per-
ceptron (MLP) concatenates both the left and the right representations as
shown in Eq. (2), whereL
1andL 2are the linear layers. Rectified Linear Unit
(ReLU) is used as an activation function. Finally, the context representation
cfor a word is computed in Eq. (3).
ML
PðxÞ¼L
2ðReLUðL 1ðxÞÞÞ (2)
c¼MLPðbiLSTMðW
1:n,iÞÞ (3)
Multiscale representation learning for biomedical analysisChapter
215
TABLE 2Evaluation results on UMNSRS Sim datasets.
Method Corpus
UMNSRS-Sim
Pearson Spearman #
Mikolov et al. Google news 0.421 0.409 336
Pyysalo et al. (2013) PubMed + PMC 0.549 0.524 493
Chiu et al. PubMed 0.662 0.652 462
BioWordVec (win20) PubMed + MeSH 0.667 0.657 521
Context2Vec PubMed 0.601 0.589 476
Context2Vec +
Pyysalo et al. (2013)
PubMed + MeSH 0.614 0.602 443
Context2Vec +
BioWordVec Concat
PubMed + PMC 0.646 0.634 471
Context2Vec +
BioWordVec
PCA—200
PubMed + MeSH 0.692 0.684 471
“#” denotes the number of pairs for which the embedding was available. “Pearson” denotes the
Pearson correlation score and “Spearman” denotes the Spearman correlation score. The highest
values are shown in bold. The multiscale embedding performs better than the individual embedding
FIG. 1Word2Vec model architecture.
16Handbook of Statistics
Method Corpus
UMNSRS-Sim
Pearson Spearman #
Mikolov et al. Google news 0.421 0.409 336
Pyysalo et al. (2013) PubMed + PMC 0.549 0.524 493
Chiu et al. PubMed 0.662 0.652 462
BioWordVec (win20) PubMed + MeSH 0.667 0.657 521
Context2Vec PubMed 0.601 0.589 476
Context2Vec +
Pyysalo et al. (2013)
PubMed + MeSH 0.614 0.602 443
Context2Vec +
BioWordVec Concat
PubMed + PMC 0.646 0.634 471
Context2Vec +
BioWordVec
PCA—200
PubMed + MeSH 0.692 0.684 471
“#” denotes the number of pairs for which the embedding was available. “Pearson” denotes the
Pearson correlation score and “Spearman” denotes the Spearman correlation score. The highest
values are shown in bold. The multiscale embedding performs better than the individual embedding
FIG. 1Word2Vec model architecture.
16Handbook of Statistics
4.3 Multiscale embedding
For every word, we get a word embedding and a context embedding. Then we
combine the embedding using different methods. We first merge the embed-
dings. Suppose the first embedding is 200 dimension and the second embedding
is 300 dimension, then the combined embedding will be 500 dimension. To
further reduce the dimension, we use PCA. PCA is a mathematical algorithm
that is used to reduce the dimensions of the data while retaining most of the
variation in the data (Jolliffe and Cadima, 2016). In Eq. (4), we use the com-
bine
d and the reduced embedding dimension via PCA to find the cosine
similarity.
cosða,bÞ¼
embedding
a
embedding
b
jjembedding
a
jj jjembedding
b
jj
(4)
4.4 Postprocessing and inference for word similarity task
The term similarity is calculated using cosine similarity between both the terms. As shown in Eq. (4) the cosine similarity is separately calculated using
the
word vector for each terms in local context embedding, context2vec, and
composite embedding.
Once the phrase pair similarity is computed, we compute the Spearman’s
coefficient between the human score and the proposed model score to find the ordering as shown in Eq. (5).d
iis the difference between the two ranks
of each observation andnis the number of observations. Human score is
the score given by human judges for each pair in the respective dataset. Spearman’s coefficient “assesses how well the relationship between two vari- ables can be described using a monotonic function” (Wikipedia Contributors,
2020). Hence, this correlation will be high when variables are identical or are
very
similar. We systematically ignore words that appear only in the reference
but not in our models.
4.5 Evaluation scheme
As defined in the datasets we use, we perform two types of evaluation—intrinsic
and extrinsic. In intrinsic evaluation, we use UMNSRS-SIM dataset and
UMNSRS-REL to measure the performance of our embeddings on similarity
computation task. We then use Spearman’s rank correlation coefficient as a
metric. For extrinsic evaluation, we follow this up with the application of
these embeddings in a downstream application like text classification. For
the sentence similarity task, we use the simple cosine similarity and the euclidean
similarity to compare the proposed composite embedding with other available
embeddings. For the DDI multiclass problem, we compute the microaverage to
Multiscale representation learning for biomedical analysisChapter
217
For every word, we get a word embedding and a context embedding. Then we
combine the embedding using different methods. We first merge the embed-
dings. Suppose the first embedding is 200 dimension and the second embedding
is 300 dimension, then the combined embedding will be 500 dimension. To
further reduce the dimension, we use PCA. PCA is a mathematical algorithm
that is used to reduce the dimensions of the data while retaining most of the
variation in the data (Jolliffe and Cadima, 2016). In Eq. (4), we use the com-
bine
d and the reduced embedding dimension via PCA to find the cosine
similarity.
cosða,bÞ¼
embedding
a
embedding
b
jjembedding
a
jj jjembedding
b
jj
(4)
4.4 Postprocessing and inference for word similarity task
The term similarity is calculated using cosine similarity between both the terms. As shown in Eq. (4) the cosine similarity is separately calculated using
the
word vector for each terms in local context embedding, context2vec, and
composite embedding.
Once the phrase pair similarity is computed, we compute the Spearman’s
coefficient between the human score and the proposed model score to find the ordering as shown in Eq. (5).d
iis the difference between the two ranks
of each observation andnis the number of observations. Human score is
the score given by human judges for each pair in the respective dataset. Spearman’s coefficient “assesses how well the relationship between two vari- ables can be described using a monotonic function” (Wikipedia Contributors,
2020). Hence, this correlation will be high when variables are identical or are
very
similar. We systematically ignore words that appear only in the reference
but not in our models.
4.5 Evaluation scheme
As defined in the datasets we use, we perform two types of evaluation—intrinsic
and extrinsic. In intrinsic evaluation, we use UMNSRS-SIM dataset and
UMNSRS-REL to measure the performance of our embeddings on similarity
computation task. We then use Spearman’s rank correlation coefficient as a
metric. For extrinsic evaluation, we follow this up with the application of
these embeddings in a downstream application like text classification. For
the sentence similarity task, we use the simple cosine similarity and the euclidean
similarity to compare the proposed composite embedding with other available
embeddings. For the DDI multiclass problem, we compute the microaverage to
Multiscale representation learning for biomedical analysisChapter
217
evaluate the performance of the proposed composite embedding to other embed-
ding. The DDI dataset consists of five different DDI types namely, Advice, Effect,
Mechanism, Int, and Negative. Also, for qualitative evaluation,we select few terms
and analyze the performance of our embeddings with those of the baselines.
r
s¼1
6
X
d
2
i
nðn
2
1Þ
(5)
5 Experiments, results, and discussion
In this section, we will demonstrate the efficacy of the proposed approach
through a variety of experimental results under different settings and datasets.
We follow this up with a detailed discussion. However, before delving further,
we first explain the datasets used for training and test.
5.1 Datasets
Herein, we first introduce the datasets used for training and obtaining the embed-
dings, and then those that will be used in experiments. We shall also explain the
preprocessing steps employed in both training and experiment stages.
5.1.1 Training stage: Datasets and preprocessing
The National Library of Medicine (NLM) maintains wide variety of resources
to help the researcher throughout the world (Humphreys and Lindberg, 1993).
We
use PubMed to train context embeddings. The PubMed database has more
than 30 million documents that cover the titles and abstracts of biomedical
scientific publications.
The PubMed dataset contains numerous fields. For the purpose of our paper,
we focus on the title and the abstract in a PubMed file. Once we get the title and
the abstract, we encode the character to ASCII, convert to lowercase, and
remove stop words.
5.1.2 Testing stage: Datasets
Word embeddings can be broadly evaluated in two categories, intrinsic and
extrinsic. For intrinsic evaluation, word embeddings are used to calculate or
predict semantic similarity between words, terms, or sentences. And for the
extrinsic tasks, the generated word embedding can be used as input to various
downstream NLP tasks like text classification or NER, Question and Answer,
etc. The different datasets used for intrinsic and extrinsic task are as follows:
lIntrinsic evaluation:UMNSRS—For intrinsic evaluation, we use the
two widely used bench-marking datasets namely UMNSRS-Sim and
UMNSRS-Rel, compiled byPakhomov et al. (2010). The two datasets
18Handbook of Statistics
ding. The DDI dataset consists of five different DDI types namely, Advice, Effect,
Mechanism, Int, and Negative. Also, for qualitative evaluation,we select few terms
and analyze the performance of our embeddings with those of the baselines.
r
s¼1
6
X
d
2
i
nðn
2
1Þ
(5)
5 Experiments, results, and discussion
In this section, we will demonstrate the efficacy of the proposed approach
through a variety of experimental results under different settings and datasets.
We follow this up with a detailed discussion. However, before delving further,
we first explain the datasets used for training and test.
5.1 Datasets
Herein, we first introduce the datasets used for training and obtaining the embed-
dings, and then those that will be used in experiments. We shall also explain the
preprocessing steps employed in both training and experiment stages.
5.1.1 Training stage: Datasets and preprocessing
The National Library of Medicine (NLM) maintains wide variety of resources
to help the researcher throughout the world (Humphreys and Lindberg, 1993).
We
use PubMed to train context embeddings. The PubMed database has more
than 30 million documents that cover the titles and abstracts of biomedical
scientific publications.
The PubMed dataset contains numerous fields. For the purpose of our paper,
we focus on the title and the abstract in a PubMed file. Once we get the title and
the abstract, we encode the character to ASCII, convert to lowercase, and
remove stop words.
5.1.2 Testing stage: Datasets
Word embeddings can be broadly evaluated in two categories, intrinsic and
extrinsic. For intrinsic evaluation, word embeddings are used to calculate or
predict semantic similarity between words, terms, or sentences. And for the
extrinsic tasks, the generated word embedding can be used as input to various
downstream NLP tasks like text classification or NER, Question and Answer,
etc. The different datasets used for intrinsic and extrinsic task are as follows:
lIntrinsic evaluation:UMNSRS—For intrinsic evaluation, we use the
two widely used bench-marking datasets namely UMNSRS-Sim and
UMNSRS-Rel, compiled byPakhomov et al. (2010). The two datasets
18Handbook of Statistics
UMNSRS-Sim and UMNSRS-Rel contain 566 and 587 term pairs, respec-
tively. The similarity between these terms is judged by four medical
residents from the University of Minnesota Medical School giving a score
in the range of 0–1600. Higher score implying similar or more related
judgments of manual annotator for UMNSRS-Sim and UMNSRS-Rel,
respectively.
lExtrinsic evaluation:Word embedding are also commonly used to calcu-
late the sentence similarity. In the area, SemEval semantic textual similar-
ity (SemEval STS) challenges have been conducted to find effective
model to perform this task. In this chapter for extrinsic evaluation we
use the BioCreative/OHNLP STS dataset (Wang et al., 2018a), which
consists
of 1068 pairs of sentences derived from clinical notes and was
annotated by two medical experts on a scale of 0–5, from completely dis-
similar to semantically equivalent (Wang et al., 2018a). As a second data-
set
we use the BIOSSES (Sogancıo glu
et al., 2017) dataset. BIOSSES
(So gancıo glu
et al., 2017) consists of 100 sentence pairs from PubMed
articles
annotated by 5 curators. We also evaluate our work on the DDI
extraction task using the DDI 2013 corpus (Herrero-Zazo et al., 2013;
Segura-Bedmar et al., 2014). The DDI dataset consists of five different
DDI
types namely, Advice, Effect, Mechanism, Int, and Negative. The
training and test set contains 27, 793 and 5716 instances, respectively.
As suggested byZhang et al. (2019)we also split the training set by
10%to
use as the validation set.
For both intrinsic and extrinsic evaluation dataset, we convert them to lower-
case and remove stop words.
5.2 Wide context embedding (context2vec)
As explained above, context2vec is trained as an unsupervised model which
efficiently learns the context embedding of the wide sentential contexts. This
uses bidirectional LSTM as the underlying model. The goal of the model is to
learn a generic task-independent embedding for a target word, given sentence
of any length. In a vanilla embedding CBOW architecture (Mikolov et al.,
2013
b), the naive context modeling is done by averaging word embedding
in
a fixed window. But in our model, we learn the context using a bidirec-
tional LSTM, which is a much powerful neural network model. We follow
the setup as mentioned byMelamud et al. (2016). To learn the parameter
for
the network, CBOW’s negative sampling objective function is used. With
this approach, both the context embedding network parameters and the target
word embedding are learned.
For our implementation, we use the one-hot embedding as the input layer
for all the terms. Then we have two fully connected LSTM layers followed by
Multiscale representation learning for biomedical analysisChapter
219
tively. The similarity between these terms is judged by four medical
residents from the University of Minnesota Medical School giving a score
in the range of 0–1600. Higher score implying similar or more related
judgments of manual annotator for UMNSRS-Sim and UMNSRS-Rel,
respectively.
lExtrinsic evaluation:Word embedding are also commonly used to calcu-
late the sentence similarity. In the area, SemEval semantic textual similar-
ity (SemEval STS) challenges have been conducted to find effective
model to perform this task. In this chapter for extrinsic evaluation we
use the BioCreative/OHNLP STS dataset (Wang et al., 2018a), which
consists
of 1068 pairs of sentences derived from clinical notes and was
annotated by two medical experts on a scale of 0–5, from completely dis-
similar to semantically equivalent (Wang et al., 2018a). As a second data-
set
we use the BIOSSES (Sogancıo glu
et al., 2017) dataset. BIOSSES
(So gancıo glu
et al., 2017) consists of 100 sentence pairs from PubMed
articles
annotated by 5 curators. We also evaluate our work on the DDI
extraction task using the DDI 2013 corpus (Herrero-Zazo et al., 2013;
Segura-Bedmar et al., 2014). The DDI dataset consists of five different
DDI
types namely, Advice, Effect, Mechanism, Int, and Negative. The
training and test set contains 27, 793 and 5716 instances, respectively.
As suggested byZhang et al. (2019)we also split the training set by
10%to
use as the validation set.
For both intrinsic and extrinsic evaluation dataset, we convert them to lower-
case and remove stop words.
5.2 Wide context embedding (context2vec)
As explained above, context2vec is trained as an unsupervised model which
efficiently learns the context embedding of the wide sentential contexts. This
uses bidirectional LSTM as the underlying model. The goal of the model is to
learn a generic task-independent embedding for a target word, given sentence
of any length. In a vanilla embedding CBOW architecture (Mikolov et al.,
2013
b), the naive context modeling is done by averaging word embedding
in
a fixed window. But in our model, we learn the context using a bidirec-
tional LSTM, which is a much powerful neural network model. We follow
the setup as mentioned byMelamud et al. (2016). To learn the parameter
for
the network, CBOW’s negative sampling objective function is used. With
this approach, both the context embedding network parameters and the target
word embedding are learned.
For our implementation, we use the one-hot embedding as the input layer
for all the terms. Then we have two fully connected LSTM layers followed by
Multiscale representation learning for biomedical analysisChapter
219
two linear layers (a.k.a. fully connected layer). We did the hyperparameter
tuning for min word count, dropout, batch size to minimize the error. The
final configuration used had output layer size of 300 and minimum frequency
of 8 gave the best result. With mini-batch of 1000 sentences, the model train-
ing on a Nvidia GEForce RTX2080 took 36 h to train 5 iterations. As a next
step, we should try to train the model on a more powerful GPU machine.
5.3 Quantitative evaluation
For the quantitative evaluation, we perform both the intrinsic and extrinsic
evaluations. This section is divided into two based on subtasks: similarity
measurement task and downstream application task.
5.3.1 Term similarity task
Table 2presents the Spearman’s (ρ) coefficient values obtained after applying
the proposed model on the UMNSRS-Rel and UMNSRS-Sim datasets.
The Spearman’s (ρ) coefficient is calculated between the cosine similarity
between the terms using the individual embeddings against the human judg-
ments. As shown inTable 2, the proposed model (Context2Vec + BioWordVec
P
CA—200) outperforms existing techniques and achieves the highest correla-
tion with human judgments on both the datasets. For comparison of our results
with previous methods, we downloaded the (Pyysalo et al., 2013) word
embeddin
g model and executed it against all the term pairs. For BioWordVec
(Zhang et al., 2019), we downloaded the published pretrained embedding.
We
report theMikolov et al. (2013a)andChiu et al. (2016)as mentioned in
Zhang et al. (2019).
Chiu et al. (2016)show that the window size does not have a lot of impact
on
the intrinsic evaluation of word embedding (Chiu et al., 2016). Hence,
increasing
the window size of vanilla Word2Vec model would not be func-
tionally equivalent to the contextual embedding model. We further do an
experiment by combining our Context2vec model withPyysalo et al. (2013)
model. As we can see fromTable 3that the multiscale embedding performed
a
lot better than the individual models. Based on these, we can conclude
that the proposed composite model is better at capturing the true intent than
those that focus only one aspect. Context model can be easily plugged to
any existing embedding model to make the individual model better.
5.3.2 Downstream application task
There are multiple applications where this embedding can be directly used.
One of the common use cases of word embedding is to calculate the sentence
pair similarity. The SemEval STS tasks have been organized for five years to
evaluate the sentence similarity performance. One of the most common base-
lines used for this task is the averaged word embedding. We average the word
vectors for each word in the sentence. Then cosine or euclidean similarity
20Handbook of Statistics
tuning for min word count, dropout, batch size to minimize the error. The
final configuration used had output layer size of 300 and minimum frequency
of 8 gave the best result. With mini-batch of 1000 sentences, the model train-
ing on a Nvidia GEForce RTX2080 took 36 h to train 5 iterations. As a next
step, we should try to train the model on a more powerful GPU machine.
5.3 Quantitative evaluation
For the quantitative evaluation, we perform both the intrinsic and extrinsic
evaluations. This section is divided into two based on subtasks: similarity
measurement task and downstream application task.
5.3.1 Term similarity task
Table 2presents the Spearman’s (ρ) coefficient values obtained after applying
the proposed model on the UMNSRS-Rel and UMNSRS-Sim datasets.
The Spearman’s (ρ) coefficient is calculated between the cosine similarity
between the terms using the individual embeddings against the human judg-
ments. As shown inTable 2, the proposed model (Context2Vec + BioWordVec
P
CA—200) outperforms existing techniques and achieves the highest correla-
tion with human judgments on both the datasets. For comparison of our results
with previous methods, we downloaded the (Pyysalo et al., 2013) word
embeddin
g model and executed it against all the term pairs. For BioWordVec
(Zhang et al., 2019), we downloaded the published pretrained embedding.
We
report theMikolov et al. (2013a)andChiu et al. (2016)as mentioned in
Zhang et al. (2019).
Chiu et al. (2016)show that the window size does not have a lot of impact
on
the intrinsic evaluation of word embedding (Chiu et al., 2016). Hence,
increasing
the window size of vanilla Word2Vec model would not be func-
tionally equivalent to the contextual embedding model. We further do an
experiment by combining our Context2vec model withPyysalo et al. (2013)
model. As we can see fromTable 3that the multiscale embedding performed
a
lot better than the individual models. Based on these, we can conclude
that the proposed composite model is better at capturing the true intent than
those that focus only one aspect. Context model can be easily plugged to
any existing embedding model to make the individual model better.
5.3.2 Downstream application task
There are multiple applications where this embedding can be directly used.
One of the common use cases of word embedding is to calculate the sentence
pair similarity. The SemEval STS tasks have been organized for five years to
evaluate the sentence similarity performance. One of the most common base-
lines used for this task is the averaged word embedding. We average the word
vectors for each word in the sentence. Then cosine or euclidean similarity
20Handbook of Statistics
measure is used to calculate the similarity between the sentence pairs. We use
this simple technique to prove how the embedding is performing on its own.
Table 4shows the Pearson correlation between calculated similarity (cosine or
eucl
idean) and gold standard labels. The proposed composite embedding
performs the best.
We also perform experiment on the DDI extraction task using the DDI
2013 corpus (Segura-Bedmar et al., 2014). DDI corpus (Segura-Bedmar
et
al., 2014) is a semantically annotated corpus of documents describing
drug–drug
interactions (DDIs) from the DrugBank database and MedLine
abstracts on the subject of DDIs. The DDI corpus consists of 1017 texts
(784 DrugBank texts and 233 MedLine abstracts) and was manually anno-
tated. The DDI dataset consists of five different DDI types namely, Advice,
Effect, Mechanism, Int, and Negative. The training and test set contains
27,793 and 5716 instances, respectively. To find the goodness of the embed-
ding, we use a simple convolutional neural network (CNN) model as suggested
byZhang et al. (2019). Taking complex steps/strategies will partly reduce the
im
portance of the word embedding used in the model. The input to the model
was trained using the composite embedding or the BioWordVec (Zhang
et
al., 2019).Table 5shows the result that the composite embedding had the
TABLE 3Evaluation results on UMNSRS Rel datasets.
Method Corpus
UMNSRS-Rel Pearson Spearman #
Mikolov et al. Google news 0.359 0.347 329
Pyysalo et al. (2013) PubMed + PMC 0.495 0.488 496
Chiu
et al. PubMed 0.600 0.601 467
BioWordVec (win20) PubMed + MeSH 0.619 0.617 532
Context2Vec PubMed 0.482 0.481 484
Context2Vec +
Pyysalo et al. (2013)
PubMed + MeSH 0.524 0.524 484
Context2Ve
c +
BioWordVec Concat
PubMed + PMC 0.565 0.561 484
Context2Vec +
BioWordVec
PCA—200
PubMed + MeSH 0.647 0.642 484
“#” denotes the number of pairs for which the embedding was available. “Pearson” denotes the
Pearson correlation score and “Spearman” denotes the Spearman correlation score. The highest
values are shown in bold. The multiscale embedding performs better than the individual
embedding.
Multiscale representation learning for biomedical analysisChapter
221
this simple technique to prove how the embedding is performing on its own.
Table 4shows the Pearson correlation between calculated similarity (cosine or
eucl
idean) and gold standard labels. The proposed composite embedding
performs the best.
We also perform experiment on the DDI extraction task using the DDI
2013 corpus (Segura-Bedmar et al., 2014). DDI corpus (Segura-Bedmar
et
al., 2014) is a semantically annotated corpus of documents describing
drug–drug
interactions (DDIs) from the DrugBank database and MedLine
abstracts on the subject of DDIs. The DDI corpus consists of 1017 texts
(784 DrugBank texts and 233 MedLine abstracts) and was manually anno-
tated. The DDI dataset consists of five different DDI types namely, Advice,
Effect, Mechanism, Int, and Negative. The training and test set contains
27,793 and 5716 instances, respectively. To find the goodness of the embed-
ding, we use a simple convolutional neural network (CNN) model as suggested
byZhang et al. (2019). Taking complex steps/strategies will partly reduce the
im
portance of the word embedding used in the model. The input to the model
was trained using the composite embedding or the BioWordVec (Zhang
et
al., 2019).Table 5shows the result that the composite embedding had the
TABLE 3Evaluation results on UMNSRS Rel datasets.
Method Corpus
UMNSRS-Rel Pearson Spearman #
Mikolov et al. Google news 0.359 0.347 329
Pyysalo et al. (2013) PubMed + PMC 0.495 0.488 496
Chiu
et al. PubMed 0.600 0.601 467
BioWordVec (win20) PubMed + MeSH 0.619 0.617 532
Context2Vec PubMed 0.482 0.481 484
Context2Vec +
Pyysalo et al. (2013)
PubMed + MeSH 0.524 0.524 484
Context2Ve
c +
BioWordVec Concat
PubMed + PMC 0.565 0.561 484
Context2Vec +
BioWordVec
PCA—200
PubMed + MeSH 0.647 0.642 484
“#” denotes the number of pairs for which the embedding was available. “Pearson” denotes the
Pearson correlation score and “Spearman” denotes the Spearman correlation score. The highest
values are shown in bold. The multiscale embedding performs better than the individual
embedding.
Multiscale representation learning for biomedical analysisChapter
221
best F-Score and the BioWordVec (Zhang et al., 2019) had a better recall.
This
also proves that the composite embedding is very easy to use with any
underlying task and easy to evaluate.
5.3.3 Drug rediscovery test
For the drug rediscovery, we follow the method described bySang et al.
(2018). To evaluate the capability of the SemaTyP (Sang et al., 2018) method
in
discovering potential drugs for new diseases, a drug rediscovery test was
done. In this test, 360 drug–disease relationships were selected from therapeu-
tic target database (TTD) (Chen et al., 2002) as gold standard to form test set.
Eachdisease
iin test set has one known associateddrug i, but the drug mecha-
nism of action is not clear. For eachdisease
i, we randomly selected other 100
drugs or chemicals from TTD as candidate drugs for this disease. We then
report the mean of those predicted ranks ofdrug
i. We then perform the
TABLE 5DDI (Segura-Bedmar et al., 2014) extraction evaluation results on
DDI
2013 corpus.
Method Precision Recall F-score
BioWordVec (Zhang et al., 2019) 0.58 0.57 0.58
Composite
embedding 0.62 0.56 0.59
Composite embedding refers to “Context2Vec + BioWordVec PCA—200” composite model.
TABLE 4Sentence pair similarity result on BioCreative/OHNLP STS dataset
(Wang et al., 2018a) and BIOSSES (Sogancıoglu
et al., 2017).
Dataset
Similarity
measures
Bio-WordVec
(Zhang et al.,
2019)
Composite
embedding
BioCreative/OHNLP
STS dataset (Wang et al.,
2018a)
Cosine 0.606 0.619
BIOSSES (Sogancıo glu
et al.,
2017)
Cosine 0.476 0.497
Composite embedding refers to “Context2Vec + BioWordVec PCA—200” composite model.
Pearson correlation between calculated similarity and gold standard labels.
22Handbook of Statistics
This
also proves that the composite embedding is very easy to use with any
underlying task and easy to evaluate.
5.3.3 Drug rediscovery test
For the drug rediscovery, we follow the method described bySang et al.
(2018). To evaluate the capability of the SemaTyP (Sang et al., 2018) method
in
discovering potential drugs for new diseases, a drug rediscovery test was
done. In this test, 360 drug–disease relationships were selected from therapeu-
tic target database (TTD) (Chen et al., 2002) as gold standard to form test set.
Eachdisease
iin test set has one known associateddrug i, but the drug mecha-
nism of action is not clear. For eachdisease
i, we randomly selected other 100
drugs or chemicals from TTD as candidate drugs for this disease. We then
report the mean of those predicted ranks ofdrug
i. We then perform the
TABLE 5DDI (Segura-Bedmar et al., 2014) extraction evaluation results on
DDI
2013 corpus.
Method Precision Recall F-score
BioWordVec (Zhang et al., 2019) 0.58 0.57 0.58
Composite
embedding 0.62 0.56 0.59
Composite embedding refers to “Context2Vec + BioWordVec PCA—200” composite model.
TABLE 4Sentence pair similarity result on BioCreative/OHNLP STS dataset
(Wang et al., 2018a) and BIOSSES (Sogancıoglu
et al., 2017).
Dataset
Similarity
measures
Bio-WordVec
(Zhang et al.,
2019)
Composite
embedding
BioCreative/OHNLP
STS dataset (Wang et al.,
2018a)
Cosine 0.606 0.619
BIOSSES (Sogancıo glu
et al.,
2017)
Cosine 0.476 0.497
Composite embedding refers to “Context2Vec + BioWordVec PCA—200” composite model.
Pearson correlation between calculated similarity and gold standard labels.
22Handbook of Statistics
experiment as a Closed Discovery LBD test. We perform the phrase cosine
similarity between the various TTD pairs and find the position of golddrug
i
for a givendisease i. We then find the mean of position of golddrug iacross
all disease. Bases onTable 6, we can see that composite embedding with
200
dimension performs the best.
5.4 Qualitative analysis
In this section, we present examples of a few source words and their
corresponding nearest term in the word vector space and in the context vector
space, and qualitatively evaluate the performance of our composite-embedding
representation.Table 7presents three examples and the corresponding top-4
ne
arest neighbors for the word-embedding, context-embedding, and composite-
embedding approach.
If we look at the example of “aspirin,” we observe that the word-
embedding model picks warfarin, heparin, etc., which are different blood thin-
ning agents. But if we look at the context embedding we also see the clopido-
grel which is used to prevent heart attack, We also see cilostazol which is
used to treat intermittent problems with blood flowing to the legs that enables
people to walk more with less pain. We also see terms like ibuprofen which is
when aspirin is used as antiinflammatory drug. If we carefully observe the
pattern, it is clear that word embedding literally skips words in the context
around the target word and therefore finds very similar contexts for aspirin
and warfarin (blood thinning). But context embedding considers entire senten-
tial contexts, taking context word order and position into consideration.
Hence, we are able to get multiple contexts of aspirin namely blood thinner
and antiinflammatory.
We can also look at another example of term “pain.” The context embed-
ding goes beyond the terms that co-occur like “tenderness” and “neuralgia,”
but word embedding is able to only detect terms like “headache,” “aching,”
TABLE 6Mean ranking for drug rediscovery test.
Method Mean ranking
BioWordVec 29.24
Context2Vec 32.51
SemaTyP (Sang et al., 2018) 26.31
Context2
Vec + BioWordVec PCA—200 24.8
Multiscale representation learning for biomedical analysisChapter
223
similarity between the various TTD pairs and find the position of golddrug
i
for a givendisease i. We then find the mean of position of golddrug iacross
all disease. Bases onTable 6, we can see that composite embedding with
200
dimension performs the best.
5.4 Qualitative analysis
In this section, we present examples of a few source words and their
corresponding nearest term in the word vector space and in the context vector
space, and qualitatively evaluate the performance of our composite-embedding
representation.Table 7presents three examples and the corresponding top-4
ne
arest neighbors for the word-embedding, context-embedding, and composite-
embedding approach.
If we look at the example of “aspirin,” we observe that the word-
embedding model picks warfarin, heparin, etc., which are different blood thin-
ning agents. But if we look at the context embedding we also see the clopido-
grel which is used to prevent heart attack, We also see cilostazol which is
used to treat intermittent problems with blood flowing to the legs that enables
people to walk more with less pain. We also see terms like ibuprofen which is
when aspirin is used as antiinflammatory drug. If we carefully observe the
pattern, it is clear that word embedding literally skips words in the context
around the target word and therefore finds very similar contexts for aspirin
and warfarin (blood thinning). But context embedding considers entire senten-
tial contexts, taking context word order and position into consideration.
Hence, we are able to get multiple contexts of aspirin namely blood thinner
and antiinflammatory.
We can also look at another example of term “pain.” The context embed-
ding goes beyond the terms that co-occur like “tenderness” and “neuralgia,”
but word embedding is able to only detect terms like “headache,” “aching,”
TABLE 6Mean ranking for drug rediscovery test.
Method Mean ranking
BioWordVec 29.24
Context2Vec 32.51
SemaTyP (Sang et al., 2018) 26.31
Context2
Vec + BioWordVec PCA—200 24.8
Multiscale representation learning for biomedical analysisChapter
223
“backache,” etc. This logic is very similar to the UMNSRS dataset of similar-
ity and relatedness.Pakhomov et al. (2010)dataset on similarity has given
more
to terms like medrol and prednisolone, which are both different type
of steroids treating similar conditions. So overall we can conclude that the
word vector is good at modeling the similarity of terms, but the context vector
is better at representing the relatedness of the terms.
5.5 Error analysis
In this section, we discuss further on the various sources of error. Many of
these issues are pervasive across majority of the embedding approaches, and
perhaps can be solved by changing the unit of analysis from token level to
character level. However, these are beyond the scope of this chapter.
lAbbreviations:Ache in common English means pain. But in our database
we have acetylcholinesterase referred as AChE. Since we do lower charac-
ter AChE and ache is same, when we look at the terms similar for ache, we
see terms like buche (butyrylcholinesterase) and bche (butyrylcholinester-
ase), hence confusing the model.
lCommon terms:Let us consider hypothyroidism and hyperthyroidism.
Hypothyroidism is abnormally low activity of the thyroid gland. Hyper-
thyroidism is the overactivity of the thyroid gland. Human similarity score
for this pair in the MeSH-2 set is 0.4, but the proposed model or the
Pyysalo et al. (2013)model has a score of 0.8. This is because of a high
degree
of contextual overlap which needs more domain-specific knowl-
edge integration.
6 Conclusion and future work
In this chapter, we presented a novel approach to compute a multiscale
representation of biomedical term. Classic word embedding is used as a local
TABLE 7Example—Top closest terms to a target term.
Term Context embedding Word embedding
Pain Painful, tenderness, hyperalgesia,
neuralgia
Discomfort, headache, aching,
tightness
Aspirin Clopidogrel, cilostazol,
indomethacin, ibuprofen
Acetaminophen, nsaid,
warfarin, heparin
Eyes Eye, corneas, retina, eyelids Eye, phakic, eyeballs, corneas
24Handbook of Statistics
ity and relatedness.Pakhomov et al. (2010)dataset on similarity has given
more
to terms like medrol and prednisolone, which are both different type
of steroids treating similar conditions. So overall we can conclude that the
word vector is good at modeling the similarity of terms, but the context vector
is better at representing the relatedness of the terms.
5.5 Error analysis
In this section, we discuss further on the various sources of error. Many of
these issues are pervasive across majority of the embedding approaches, and
perhaps can be solved by changing the unit of analysis from token level to
character level. However, these are beyond the scope of this chapter.
lAbbreviations:Ache in common English means pain. But in our database
we have acetylcholinesterase referred as AChE. Since we do lower charac-
ter AChE and ache is same, when we look at the terms similar for ache, we
see terms like buche (butyrylcholinesterase) and bche (butyrylcholinester-
ase), hence confusing the model.
lCommon terms:Let us consider hypothyroidism and hyperthyroidism.
Hypothyroidism is abnormally low activity of the thyroid gland. Hyper-
thyroidism is the overactivity of the thyroid gland. Human similarity score
for this pair in the MeSH-2 set is 0.4, but the proposed model or the
Pyysalo et al. (2013)model has a score of 0.8. This is because of a high
degree
of contextual overlap which needs more domain-specific knowl-
edge integration.
6 Conclusion and future work
In this chapter, we presented a novel approach to compute a multiscale
representation of biomedical term. Classic word embedding is used as a local
TABLE 7Example—Top closest terms to a target term.
Term Context embedding Word embedding
Pain Painful, tenderness, hyperalgesia,
neuralgia
Discomfort, headache, aching,
tightness
Aspirin Clopidogrel, cilostazol,
indomethacin, ibuprofen
Acetaminophen, nsaid,
warfarin, heparin
Eyes Eye, corneas, retina, eyelids Eye, phakic, eyeballs, corneas
24Handbook of Statistics
contextual representation and context embedding is used to model “wide sen-
tential context.” A combined representation of these two embeddings is used
to compute similarity among all term pairs. We use the composite embedding
to find similarity value for a pair of biomedical terms. Our experiments show-
case that results of the proposed approach is better than other state-of-art
methods. We also further prove that the proposed method can be easily used
in underlying jobs like sentence similarity and classification, and it performs
better than the traditional word embedding. The proposed method eliminates
the use of any external dataset or any special processing and still provides
higher result.
In the future, using a better abbreviation model would help in creating a
better embedding model. We would also like to train the context embedding
model on a larger GPU machine to have better coverage. We would also like
to evaluate the model on other downstream tasks like NER and prove that the
new proposed model is better than existing models for the given tasks.
References
Asr, F.T., Zinkov, R., Jones, M., 2018. Querying word embeddings for similarity and relatedness.
In: Proceedings of the 2018 Conference of the North American Chapter of the Association
for Computational Linguistics: Human Language Technologies, Vol. 1 (Long Papers),
pp. 675–684.
Bengio, Y., Ducharme, R., Vincent, P., Jauvin, C., 2003. A neural probabilistic language model.
J. Mach. Learn. Res. 3, 1137–1155.
Bojanowski, P., Grave, E., Joulin, A., Mikolov, T., 2017. Enriching word vectors with subword
information. Trans. Assoc. Comput. Linguist. 5, 135–146.
Brants, T., Popat, A.C., Xu, P., Och, F.J., Dean, J., 2007. Large language models in machine
translation. In: Proceedings of the 2007 Joint Conference on Empirical Methods in Natural
Language Processing and Computational Natural Language Learning (EMNLP-CoNLL),
June, Association for Computational Linguistics, Prague, Czech Republic, pp. 858–867.
Chen, X., Ji, Z.L., Chen, Y.Z., 2002. TTD: therapeutic target database. Nucleic Acids Res. 30 (1),
412–415.
Chen, H., Engkvist, O., Wang, Y., Olivecrona, M., Blaschke, T., 2018. The rise of deep learning
in drug discovery. Drug Discov. Today 23 (6), 1241–1250.
Chen, Q., Peng, Y., Lu, Z., 2019. BioSentVec: creating sentence embeddings for biomedical texts.
In: 2019 IEEE International Conference on Healthcare Informatics (ICHI), pp. 1–5.
Chiu, B., Crichton, G., Korhonen, A., Pyysalo, S., 2016. How to train good word embeddings for
biomedical NLP. In: Proceedings of the 15th Workshop on Biomedical Natural Language
Processing, pp. 166–174.
Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K., Kuksa, P., 2011. Natural
language processing (almost) from scratch. J. Mach. Learn. Res. 12, 2493–2537.
Dai, Y., Guo, C., Guo, W., Eickhoff, C., 2021. Drug-drug interaction prediction with Wasserstein
adversarial autoencoder-based knowledge graph embeddings. Brief. Bioinform. 22 (4),
bbaa256.
Devlin, J., Chang, M.-W., Lee, K., Toutanova, K., 2018. Bert: pre-training of deep bidirectional
transformers for language understanding. arXiv preprint:1810.04805.
Multiscale representation learning for biomedical analysisChapter
225
tential context.” A combined representation of these two embeddings is used
to compute similarity among all term pairs. We use the composite embedding
to find similarity value for a pair of biomedical terms. Our experiments show-
case that results of the proposed approach is better than other state-of-art
methods. We also further prove that the proposed method can be easily used
in underlying jobs like sentence similarity and classification, and it performs
better than the traditional word embedding. The proposed method eliminates
the use of any external dataset or any special processing and still provides
higher result.
In the future, using a better abbreviation model would help in creating a
better embedding model. We would also like to train the context embedding
model on a larger GPU machine to have better coverage. We would also like
to evaluate the model on other downstream tasks like NER and prove that the
new proposed model is better than existing models for the given tasks.
References
Asr, F.T., Zinkov, R., Jones, M., 2018. Querying word embeddings for similarity and relatedness.
In: Proceedings of the 2018 Conference of the North American Chapter of the Association
for Computational Linguistics: Human Language Technologies, Vol. 1 (Long Papers),
pp. 675–684.
Bengio, Y., Ducharme, R., Vincent, P., Jauvin, C., 2003. A neural probabilistic language model.
J. Mach. Learn. Res. 3, 1137–1155.
Bojanowski, P., Grave, E., Joulin, A., Mikolov, T., 2017. Enriching word vectors with subword
information. Trans. Assoc. Comput. Linguist. 5, 135–146.
Brants, T., Popat, A.C., Xu, P., Och, F.J., Dean, J., 2007. Large language models in machine
translation. In: Proceedings of the 2007 Joint Conference on Empirical Methods in Natural
Language Processing and Computational Natural Language Learning (EMNLP-CoNLL),
June, Association for Computational Linguistics, Prague, Czech Republic, pp. 858–867.
Chen, X., Ji, Z.L., Chen, Y.Z., 2002. TTD: therapeutic target database. Nucleic Acids Res. 30 (1),
412–415.
Chen, H., Engkvist, O., Wang, Y., Olivecrona, M., Blaschke, T., 2018. The rise of deep learning
in drug discovery. Drug Discov. Today 23 (6), 1241–1250.
Chen, Q., Peng, Y., Lu, Z., 2019. BioSentVec: creating sentence embeddings for biomedical texts.
In: 2019 IEEE International Conference on Healthcare Informatics (ICHI), pp. 1–5.
Chiu, B., Crichton, G., Korhonen, A., Pyysalo, S., 2016. How to train good word embeddings for
biomedical NLP. In: Proceedings of the 15th Workshop on Biomedical Natural Language
Processing, pp. 166–174.
Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K., Kuksa, P., 2011. Natural
language processing (almost) from scratch. J. Mach. Learn. Res. 12, 2493–2537.
Dai, Y., Guo, C., Guo, W., Eickhoff, C., 2021. Drug-drug interaction prediction with Wasserstein
adversarial autoencoder-based knowledge graph embeddings. Brief. Bioinform. 22 (4),
bbaa256.
Devlin, J., Chang, M.-W., Lee, K., Toutanova, K., 2018. Bert: pre-training of deep bidirectional
transformers for language understanding. arXiv preprint:1810.04805.
Multiscale representation learning for biomedical analysisChapter
225
Feeney, A., Gupta, R., Thost, V., Angell, R., Chandu, G., Adhikari, Y., Ma, T., 2021. Relation
matters in sampling: a scalable multi-relational graph neural network for drug-drug interac-
tion prediction. arXiv preprint:2105.13975.
Giuliano, C., Lavelli, A., Romano, L., 2006. Exploiting shallow linguistic information for relation
extraction from biomedical literature. In: 11th Conference of the European Chapter of the
Association for Computational Linguistics.
Gopalakrishnan, V., Jha, K., Xun, G., Ngo, H.Q., Zhang, A., 2018. Towards self-learning based
hypotheses generation in biomedical text domain. Bioinformatics 34 (12), 2103– 2115.
Henry, S., McInnes, B.T., 2017. Literature based discovery: models, methods, and trends.
J. Biomed. Inform. 74, 20–32.
Herrero-Zazo, M., Segura-Bedmar, I., Martı´nez, P., Declerck, T., 2013. The DDI corpus: an anno-
tated corpus with pharmacological substances and drug-drug interactions. J. Biomed. Inform.
46 (5), 914–920.
Humphreys, B.L., Lindberg, D.A., 1993. The UMLS project: making the conceptual connection
between users and the information they need. Bull. Med. Libr. Assoc. 81 (2), 170.
Hutchison, K.A., 2003. Is semantic priming due to association strength or feature overlap?
A microanalytic review. Psychon. Bull. Rev. 10 (4), 785–813.
Jha, K., Xun, G., Gopalakrishnan, V., Zhang, A., 2017. Augmenting word embeddings through
external knowledge-base for biomedical application. In: 2017 IEEE International Conference
on Big Data (Big Data), pp. 1965–1974.
Jha, K., Wang, Y., Xun, G., Zhang, A., 2018a. Interpretable word embeddings for medical
domain. In: 2018 IEEE International Conference on Data Mining (ICDM), pp. 1061–1066.
Jha, K., Xun, G., Wang, Y., Gopalakrishnan, V., Zhang, A., 2018b. Concepts-bridges:
uncovering conceptual bridges based on biomedical concept evolution. In: Proceedings of
the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining,
pp. 1599–1607.
Jolliffe, I.T., Cadima, J., 2016. Principal component analysis: a review and recent developments.
Philos. Trans. R. Soc. A Math. Phys. Eng. Sci. 374 (2065), 20150202.
Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C.H., Kang, J., 2020. BioBERT: a pre-trained
biomedical language representation model for biomedical text mining. Bioinformatics 36 (4),
1234–1240.
Lin, X., Quan, Z., Wang, Z.-J., Ma, T., Zeng, X., 2020. KGNN: knowledge graph neural network
for drug-drug interaction prediction. In: IJCAI, vol. 380, pp. 2739–2745.
Melamud, O., Goldberger, J., Dagan, I., 2016. context2vec: learning generic context embedding
with bidirectional lstm. In: Proceedings of The 20th SIGNLL Conference on Computational
Natural Language Learning, pp. 51–61.
Mikolov, T., Chen, K., Corrado, G.S., Dean, J., 2013a. Efficient estimation of word representa-
tions in vector space.
Mikolov, T., Sutskever, I., Chen, K., Corrado, G.S., Dean, J., 2013b. Distributed representations
of words and phrases and their compositionality. In: Advances in Neural Information Proces-
sing Systems, pp. 3111–3119.
Mnih, A., Kavukcuoglu, K., 2013. Learning word embeddings efficiently with noise-contrastive
estimation. In: Advances in Neural Information Processing Systems, pp. 2265–2273.
Muneeb, T., Sahu, S., Anand, A., 2015. Evaluating distributed word representations for capturing
semantics of biomedical concepts. In: Proceedings of BioNLP 15, pp. 158–163.
Nguyen, H.A., Al-Mubaid, H., 2006. New ontology-based semantic similarity measure for the
biomedical domain. In: 2006 IEEE International Conference on Granular Computing,
pp. 623–628.
26Handbook of Statistics
matters in sampling: a scalable multi-relational graph neural network for drug-drug interac-
tion prediction. arXiv preprint:2105.13975.
Giuliano, C., Lavelli, A., Romano, L., 2006. Exploiting shallow linguistic information for relation
extraction from biomedical literature. In: 11th Conference of the European Chapter of the
Association for Computational Linguistics.
Gopalakrishnan, V., Jha, K., Xun, G., Ngo, H.Q., Zhang, A., 2018. Towards self-learning based
hypotheses generation in biomedical text domain. Bioinformatics 34 (12), 2103– 2115.
Henry, S., McInnes, B.T., 2017. Literature based discovery: models, methods, and trends.
J. Biomed. Inform. 74, 20–32.
Herrero-Zazo, M., Segura-Bedmar, I., Martı´nez, P., Declerck, T., 2013. The DDI corpus: an anno-
tated corpus with pharmacological substances and drug-drug interactions. J. Biomed. Inform.
46 (5), 914–920.
Humphreys, B.L., Lindberg, D.A., 1993. The UMLS project: making the conceptual connection
between users and the information they need. Bull. Med. Libr. Assoc. 81 (2), 170.
Hutchison, K.A., 2003. Is semantic priming due to association strength or feature overlap?
A microanalytic review. Psychon. Bull. Rev. 10 (4), 785–813.
Jha, K., Xun, G., Gopalakrishnan, V., Zhang, A., 2017. Augmenting word embeddings through
external knowledge-base for biomedical application. In: 2017 IEEE International Conference
on Big Data (Big Data), pp. 1965–1974.
Jha, K., Wang, Y., Xun, G., Zhang, A., 2018a. Interpretable word embeddings for medical
domain. In: 2018 IEEE International Conference on Data Mining (ICDM), pp. 1061–1066.
Jha, K., Xun, G., Wang, Y., Gopalakrishnan, V., Zhang, A., 2018b. Concepts-bridges:
uncovering conceptual bridges based on biomedical concept evolution. In: Proceedings of
the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining,
pp. 1599–1607.
Jolliffe, I.T., Cadima, J., 2016. Principal component analysis: a review and recent developments.
Philos. Trans. R. Soc. A Math. Phys. Eng. Sci. 374 (2065), 20150202.
Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C.H., Kang, J., 2020. BioBERT: a pre-trained
biomedical language representation model for biomedical text mining. Bioinformatics 36 (4),
1234–1240.
Lin, X., Quan, Z., Wang, Z.-J., Ma, T., Zeng, X., 2020. KGNN: knowledge graph neural network
for drug-drug interaction prediction. In: IJCAI, vol. 380, pp. 2739–2745.
Melamud, O., Goldberger, J., Dagan, I., 2016. context2vec: learning generic context embedding
with bidirectional lstm. In: Proceedings of The 20th SIGNLL Conference on Computational
Natural Language Learning, pp. 51–61.
Mikolov, T., Chen, K., Corrado, G.S., Dean, J., 2013a. Efficient estimation of word representa-
tions in vector space.
Mikolov, T., Sutskever, I., Chen, K., Corrado, G.S., Dean, J., 2013b. Distributed representations
of words and phrases and their compositionality. In: Advances in Neural Information Proces-
sing Systems, pp. 3111–3119.
Mnih, A., Kavukcuoglu, K., 2013. Learning word embeddings efficiently with noise-contrastive
estimation. In: Advances in Neural Information Processing Systems, pp. 2265–2273.
Muneeb, T., Sahu, S., Anand, A., 2015. Evaluating distributed word representations for capturing
semantics of biomedical concepts. In: Proceedings of BioNLP 15, pp. 158–163.
Nguyen, H.A., Al-Mubaid, H., 2006. New ontology-based semantic similarity measure for the
biomedical domain. In: 2006 IEEE International Conference on Granular Computing,
pp. 623–628.
26Handbook of Statistics
Pakhomov, S., McInnes, B., Adam, T., Liu, Y., Pedersen, T., Melton, G.B., 2010. Semantic simi-
larity and relatedness between clinical terms: an experimental study. In: AMIA Annual
Symposium Proceedings, vol. 2010. American Medical Informatics Association, p. 572.
Peters, M.E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., Zettlemoyer, L., 2018.
Deep contextualized word representations. arXiv preprint:1802.05365.
Pyysalo, S., Ginter, F., Moen, H., Salakoski, T., Ananiadou, S., 2013. Distributional semantics
resources for biomedical text processing. In: Proceedings of LBM 2013, pp. 39–44.
Reif, E., Yuan, A., Wattenberg, M., Viegas, F.B., Coenen, A., Pearce, A., Kim, B., 2019. Visua-
lizing and measuring the geometry of BERT. In: Wallach, H., Larochelle, H.,
Beygelzimer, A., d’Alche-Buc, F., Fox, E., Garnett, R. (Eds.), Advances in Neural Informa-
tion Processing Systems 32. Curran Associates, Inc, pp. 8594– 8603.
Sang, S., Yang, Z., Wang, L., Liu, X., Lin, H., Wang, J., 2018. SemaTyP: a knowledge graph
based literature mining method for drug discovery. BMC Bioinform. 19 (1), 1–11.
Segura-Bedmar, I., Martı´nez, P., Herrero-Zazo, M., 2014. Lessons learnt from the ddiextraction-
2013 shared task. J. Biomed. Inform. 51, 152–164.
Shaik, A., Jin, W., 2019. Biomedical semantic embeddings:uusing hybrid sentences to construct
biomedical word embeddings and its applications. In: 2019 IEEE International Conference
on Healthcare Informatics (ICHI), pp. 1–9.
Sogancıo glu, G.,€Ozt€urk, H.,€Ozg€ ur, A., 2017. Biosses: a semantic sentence similarity estimation
system for the biomedical domain. Bioinformatics 33 (14), i49–i58.
Su, C., Tong, J., Zhu, Y., Cui, P., Wang, F., 2020. Network embedding in biomedical data science.
Brief. Bioinform. 21 (1), 182–197.
Swanson, D.R., 1986. Fish oil, Raynaud’s syndrome, and undiscovered public knowledge. Per-
spect. Biol. Med. 30 (1), 7–18.
Wang, Y., Afzal, N., Liu, S., Rastegar-Mojarad, M., Wang, L., Shen, F., Fu, S., Liu, H., 2018a.
Overview of the biocreative/ohnlp challenge 2018 task 2: clinical semantic textual similarity.
In: Proceedings of the BioCreative/OHNLP Challenge, vol. 2018.
Wang, Y., Liu, S., Afzal, N., Rastegar-Mojarad, M., Wang, L., Shen, F., Kingsbury, P., Liu, H.,
2018b. A comparison of word embeddings for the biomedical natural language processing.
J. Biomed. Inform. 87, 12–20.
Contributors, Wikipedia, 2020. Spearman’s rank correlation coefficient– Wikipedia, the free
Encyclopedia.
Xun, G., Jha, K., Gopalakrishnan, V., Li, Y., Zhang, A., 2017. Generating medical hypotheses
based on evolutionary medical concepts. In: 2017 IEEE International Conference on Data
Mining (ICDM), IEEE, pp. 535–544.
Zeng, X., Tu, X., Liu, Y., Fu, X., Su, Y., 2022. Toward better drug discovery with knowledge
graph. Curr. Opin. Struct. Biol. 72, 114–126.
Zhang, Y., Hildebrand, A.S., Vogel, S., 2006. Distributed language modeling for n-best list
re-ranking-best list re-ranking. In: Proceedings of the 2006 Conference on Empirical Methods
in Natural Language Processing, pp. 216–223.
Zhang, Y., Chen, Q., Yang, Z., Lin, H., Lu, Z., 2019. BioWordVec, improving biomedical word
embeddings with subword information and MeSH. Sci. Data 6 (1), 1–9.
Multiscale representation learning for biomedical analysisChapter
227
larity and relatedness between clinical terms: an experimental study. In: AMIA Annual
Symposium Proceedings, vol. 2010. American Medical Informatics Association, p. 572.
Peters, M.E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., Zettlemoyer, L., 2018.
Deep contextualized word representations. arXiv preprint:1802.05365.
Pyysalo, S., Ginter, F., Moen, H., Salakoski, T., Ananiadou, S., 2013. Distributional semantics
resources for biomedical text processing. In: Proceedings of LBM 2013, pp. 39–44.
Reif, E., Yuan, A., Wattenberg, M., Viegas, F.B., Coenen, A., Pearce, A., Kim, B., 2019. Visua-
lizing and measuring the geometry of BERT. In: Wallach, H., Larochelle, H.,
Beygelzimer, A., d’Alche-Buc, F., Fox, E., Garnett, R. (Eds.), Advances in Neural Informa-
tion Processing Systems 32. Curran Associates, Inc, pp. 8594– 8603.
Sang, S., Yang, Z., Wang, L., Liu, X., Lin, H., Wang, J., 2018. SemaTyP: a knowledge graph
based literature mining method for drug discovery. BMC Bioinform. 19 (1), 1–11.
Segura-Bedmar, I., Martı´nez, P., Herrero-Zazo, M., 2014. Lessons learnt from the ddiextraction-
2013 shared task. J. Biomed. Inform. 51, 152–164.
Shaik, A., Jin, W., 2019. Biomedical semantic embeddings:uusing hybrid sentences to construct
biomedical word embeddings and its applications. In: 2019 IEEE International Conference
on Healthcare Informatics (ICHI), pp. 1–9.
Sogancıo glu, G.,€Ozt€urk, H.,€Ozg€ ur, A., 2017. Biosses: a semantic sentence similarity estimation
system for the biomedical domain. Bioinformatics 33 (14), i49–i58.
Su, C., Tong, J., Zhu, Y., Cui, P., Wang, F., 2020. Network embedding in biomedical data science.
Brief. Bioinform. 21 (1), 182–197.
Swanson, D.R., 1986. Fish oil, Raynaud’s syndrome, and undiscovered public knowledge. Per-
spect. Biol. Med. 30 (1), 7–18.
Wang, Y., Afzal, N., Liu, S., Rastegar-Mojarad, M., Wang, L., Shen, F., Fu, S., Liu, H., 2018a.
Overview of the biocreative/ohnlp challenge 2018 task 2: clinical semantic textual similarity.
In: Proceedings of the BioCreative/OHNLP Challenge, vol. 2018.
Wang, Y., Liu, S., Afzal, N., Rastegar-Mojarad, M., Wang, L., Shen, F., Kingsbury, P., Liu, H.,
2018b. A comparison of word embeddings for the biomedical natural language processing.
J. Biomed. Inform. 87, 12–20.
Contributors, Wikipedia, 2020. Spearman’s rank correlation coefficient– Wikipedia, the free
Encyclopedia.
Xun, G., Jha, K., Gopalakrishnan, V., Li, Y., Zhang, A., 2017. Generating medical hypotheses
based on evolutionary medical concepts. In: 2017 IEEE International Conference on Data
Mining (ICDM), IEEE, pp. 535–544.
Zeng, X., Tu, X., Liu, Y., Fu, X., Su, Y., 2022. Toward better drug discovery with knowledge
graph. Curr. Opin. Struct. Biol. 72, 114–126.
Zhang, Y., Hildebrand, A.S., Vogel, S., 2006. Distributed language modeling for n-best list
re-ranking-best list re-ranking. In: Proceedings of the 2006 Conference on Empirical Methods
in Natural Language Processing, pp. 216–223.
Zhang, Y., Chen, Q., Yang, Z., Lin, H., Lu, Z., 2019. BioWordVec, improving biomedical word
embeddings with subword information and MeSH. Sci. Data 6 (1), 1–9.
Multiscale representation learning for biomedical analysisChapter
227
This page intentionally left blank
Chapter 3
Adversarial attacks and robust
defenses in deep learning
Chun Pong Lau
a,
∗, Jiang Liu
a
, Wei-An Lin
b
, Hossein Souri
a
,
Pirazh Khorramshahi
a
, and Rama Chellappa
a
a
Johns Hopkins University, Baltimore, MD, United States
b
Adobe Research, San Jose, CA, United States
∗
Corresponding author: e-mail: [email protected]
Abstract
Deep learning models have shown exceptional performance in many applications,
including computer vision, natural language processing, and speech processing. How-
ever, if no defense strategy is considered, deep learning models are vulnerable to adver-
sarial attacks. In this chapter, we will first describe various typical adversarial attacks.
Then we will describe different adversarial defense methods for image classification
and object detection tasks.
Keywords:Deep learning, Adversarial attacks, Defenses against adversarial attacks
1 Introduction
In recent years, artificial intelligence (AI) systems are being utilized exten-
sively in a variety of applications. With their exceptional performance over
the past decade, deep learning (DL) models have revolutionized the machine
learning and AI fields. DL models have outperformed nearly all classical
machine learning models, such as SVMs, naive Bayes classifier, k-means
clustering, and nearest neighbor, in many applications, including computer
vision (Voulodimos et al., 2018), natural language processing (Cho et al.,
2014), and speech processing (Graves and Jaitly, 2014), by a significant
marg
in (Silver et al., 2016). With sufficient data exists, DL models would
be
powerful and exceeds the classical methods. In particular, with their out-
standing capacity for feature extraction and generalizations, DL models have
made significant advances in wide range of computer vision problems, such as
object detection (Girshick et al., 2014;Liu et al., 2016;Redmon et al., 2016),
obje
ct tracking (Wang et al., 2015), image classification (He et al., 2016;
Handbook of Statistics, Vol. 48.https://doi.org/10.1016/bs.host.2023.01.001
Copyright©2023
Elsevier B.V. All rights reserved.
29
Adversarial attacks and robust
defenses in deep learning
Chun Pong Lau
a,
∗, Jiang Liu
a
, Wei-An Lin
b
, Hossein Souri
a
,
Pirazh Khorramshahi
a
, and Rama Chellappa
a
a
Johns Hopkins University, Baltimore, MD, United States
b
Adobe Research, San Jose, CA, United States
∗
Corresponding author: e-mail: [email protected]
Abstract
Deep learning models have shown exceptional performance in many applications,
including computer vision, natural language processing, and speech processing. How-
ever, if no defense strategy is considered, deep learning models are vulnerable to adver-
sarial attacks. In this chapter, we will first describe various typical adversarial attacks.
Then we will describe different adversarial defense methods for image classification
and object detection tasks.
Keywords:Deep learning, Adversarial attacks, Defenses against adversarial attacks
1 Introduction
In recent years, artificial intelligence (AI) systems are being utilized exten-
sively in a variety of applications. With their exceptional performance over
the past decade, deep learning (DL) models have revolutionized the machine
learning and AI fields. DL models have outperformed nearly all classical
machine learning models, such as SVMs, naive Bayes classifier, k-means
clustering, and nearest neighbor, in many applications, including computer
vision (Voulodimos et al., 2018), natural language processing (Cho et al.,
2014), and speech processing (Graves and Jaitly, 2014), by a significant
marg
in (Silver et al., 2016). With sufficient data exists, DL models would
be
powerful and exceeds the classical methods. In particular, with their out-
standing capacity for feature extraction and generalizations, DL models have
made significant advances in wide range of computer vision problems, such as
object detection (Girshick et al., 2014;Liu et al., 2016;Redmon et al., 2016),
obje
ct tracking (Wang et al., 2015), image classification (He et al., 2016;
Handbook of Statistics, Vol. 48.https://doi.org/10.1016/bs.host.2023.01.001
Copyright©2023
Elsevier B.V. All rights reserved.
29
Krizhevsky et al., 2012), action recognition (Simonyan and Zisserman,
2014a), image captioning (Vinyals et al., 2015), human pose estimation
(Newell et al., 2016;Toshev and Szegedy, 2014), face recognition (Deng
et
al., 2019;Ranjan et al., 2017), and semantic segmentation(Chen et al.,
2017a,
b;Zhao et al., 2017). However, without sufficient data supports, DL
may
not perform better than classical methods. Maliciously crafted adversar-
ial perturbations, on the other hand, can severely degrade the performance of
DL models. This serious security threat can easily fool almost any type of DL
model by deliberately adding imperceptible perturbations to the inputs (Ren
et
al., 2020). Consequently, this phenomenon, known as the adversarial
attacks,
is regarded as a significant barrier to the widespread deployment of
DL models for security-critical and large-scale systems.
There are three categories of adversarial attacks: white-box attack,
gray-box attack, and black-box attack. White-box attacks occur when the
attacker has complete access to the model’s architecture, parameters, and
training and testing routines. In the gray-box scenario, the attacker’s knowl-
edge is restricted to the model architecture and perhaps training and testing
routines. The type of adversarial attack that is the most stringent is the
black-box attack, in which the attacker has no knowledge of the target model.
In recent years, a variety of methods have been proposed to undermine
the performance of models, including limited-memory Broyden–Fletcher–
Goldfarb–Shanno (L-BFGS) (Szegedy et al., 2013), fast gradient sign method
(FGSM)
(Goodfellow et al., 2014), projected gradient descent (PGD) (Madry
et
al., 2017), DeepFool (DF) (Moosavi-Dezfooli et al., 2016), Carlini–Wagne
r
(CW) (Carlini and Wagner, 2017), Jacobian-based saliency map attack
(JSMA)
(Papernot et al., 2016a), and Adversarial patch (Brown et al., 2017;
Karmon et al., 2018). Moreover, a variety of adversarial attacks, particularly
Elastic,
Fog, Gabor, Snow, and JPEG, have been recently presented as differ-
entiable attacks against deep models (Kang et al., 2019a).Fig. 1depicts some
of
the most popular adversarial examples against the ResNet-34 (He et al.,
2016) network. It can be observed that the adversarial perturbations added
to
the images are not perceptible to human eyes.
In the meantime, numerous defense strategies have been proposed to make
DL models secure and resilient against these attacks.Robust Optimization
(Lin et al., 2020),Gradient
(Papernot et al., 2016b), andAdvers arial
Example Detection(Xu et al., 2019) are the predominant forms of these
defenses
(Souri et al., 2021). Throughout this chapter, we explain briefly some
o
f the most widely known adversarial attacks and then elaborate on some of the
most recent adversarial defenses. InSection 3, we introduce On-Manifold
Ro
bustness, which is aboutthe adversarial samples perturbed within the latent
space of some generators. InSection 4, we introduce knowledge distillation-
ba
sed defenses, including mutual adversarial training (MAT) (Liu et al.,
2
021a), which allows models to share theirkno
wledge of adversarial robustness
and teach each other to be more robust. InSection 5, we introduce defenses for
30Handbook of Statistics
2014a), image captioning (Vinyals et al., 2015), human pose estimation
(Newell et al., 2016;Toshev and Szegedy, 2014), face recognition (Deng
et
al., 2019;Ranjan et al., 2017), and semantic segmentation(Chen et al.,
2017a,
b;Zhao et al., 2017). However, without sufficient data supports, DL
may
not perform better than classical methods. Maliciously crafted adversar-
ial perturbations, on the other hand, can severely degrade the performance of
DL models. This serious security threat can easily fool almost any type of DL
model by deliberately adding imperceptible perturbations to the inputs (Ren
et
al., 2020). Consequently, this phenomenon, known as the adversarial
attacks,
is regarded as a significant barrier to the widespread deployment of
DL models for security-critical and large-scale systems.
There are three categories of adversarial attacks: white-box attack,
gray-box attack, and black-box attack. White-box attacks occur when the
attacker has complete access to the model’s architecture, parameters, and
training and testing routines. In the gray-box scenario, the attacker’s knowl-
edge is restricted to the model architecture and perhaps training and testing
routines. The type of adversarial attack that is the most stringent is the
black-box attack, in which the attacker has no knowledge of the target model.
In recent years, a variety of methods have been proposed to undermine
the performance of models, including limited-memory Broyden–Fletcher–
Goldfarb–Shanno (L-BFGS) (Szegedy et al., 2013), fast gradient sign method
(FGSM)
(Goodfellow et al., 2014), projected gradient descent (PGD) (Madry
et
al., 2017), DeepFool (DF) (Moosavi-Dezfooli et al., 2016), Carlini–Wagne
r
(CW) (Carlini and Wagner, 2017), Jacobian-based saliency map attack
(JSMA)
(Papernot et al., 2016a), and Adversarial patch (Brown et al., 2017;
Karmon et al., 2018). Moreover, a variety of adversarial attacks, particularly
Elastic,
Fog, Gabor, Snow, and JPEG, have been recently presented as differ-
entiable attacks against deep models (Kang et al., 2019a).Fig. 1depicts some
of
the most popular adversarial examples against the ResNet-34 (He et al.,
2016) network. It can be observed that the adversarial perturbations added
to
the images are not perceptible to human eyes.
In the meantime, numerous defense strategies have been proposed to make
DL models secure and resilient against these attacks.Robust Optimization
(Lin et al., 2020),Gradient
(Papernot et al., 2016b), andAdvers arial
Example Detection(Xu et al., 2019) are the predominant forms of these
defenses
(Souri et al., 2021). Throughout this chapter, we explain briefly some
o
f the most widely known adversarial attacks and then elaborate on some of the
most recent adversarial defenses. InSection 3, we introduce On-Manifold
Ro
bustness, which is aboutthe adversarial samples perturbed within the latent
space of some generators. InSection 4, we introduce knowledge distillation-
ba
sed defenses, including mutual adversarial training (MAT) (Liu et al.,
2
021a), which allows models to share theirkno
wledge of adversarial robustness
and teach each other to be more robust. InSection 5, we introduce defenses for
30Handbook of Statistics
FIG. 1Adversarial samples (first column) and their respective relatively sparse perturbations
(second column), generated based on a ResNet-34 network trained on the RESISC45 dataset
(Cheng et al., 2017). Note that pixel values of perturbations are multiplied by a factor of 10 for
the purpose of visualization. (A) FGSM; (C) PGD; (E) Patch; (G) CWL2.
(second column), generated based on a ResNet-34 network trained on the RESISC45 dataset
(Cheng et al., 2017). Note that pixel values of perturbations are multiplied by a factor of 10 for
the purpose of visualization. (A) FGSM; (C) PGD; (E) Patch; (G) CWL2.
object detectors, including segment and complete (SAC) (Liu et al., 2021b),
wh
ich is a general framework for defending object detectors against patch attacks
through detection and removal adversarial patches. And finally inSection 6,we
in
troduce reverse engineering of deceptions via residual learning (REDRL)
(Sourietal.,2021) as a method to detect and recognize benchmark adversarial
a
ttacks.
2 Adversarial attacks
This section describes several adversarial attack techniques and algorithms.
These methods were originally intended for image classification task; how-
ever, they can used for other tasks such as object detection and semantic
segmentation.
2.1 Fast gradient sign method
FGSM(Goodfellow et al., 2014) designs adversarial perturbationsδthrough a
single backpropagation off
imagemodel and boundsδto haveL ∞norm ofE,
i.e.,jjδjj
∞¼E.
2.2 Projected gradient descent
PGD(Madry et al., 2017), in contrast to FGSM, producesδin multiple
iterative steps. In each iteration,jjδjj
∞¼αand the generated adversarial
sampleI
advis forced to fall within theE-neighbor ball of the clean imageI c,
i.e.,I
adv:jjIadvIcjj∞αE.
2.3 DeepFool
DeepFool(Moosavi-Dezfooli et al., 2016) seeks a path forI cto pass the deci-
sion boundary set by thef
imagemodel. Here,δcan be calculated as the normal
vector of the linearized decision boundary.
2.4 Carlini and wagner attack
Carlini–Wagner attack(Carlini and Wagner, 2017) is a more subtle but a
computati
onally costly technique for generating adversarial examples.
Through a series of gradient descent iterations, CW seeks to find aI
advthat
has the smallest Euclidean distance fromI
cwhile foolingf imageto yield a
higher score (logit) value for a target class compared to the rest of the classes
including the actual class ofI
c.
2.5 Adversarial patch
Adversarial patch(Karmon et al., 2018) iteratively optimizes a random patch
of
arbitrary size to fool the image classifierf
image. Moreover, we ensure that
the generated patch lies within theL
∞ball enclosing the clean image.
32Handbook of Statistics
wh
ich is a general framework for defending object detectors against patch attacks
through detection and removal adversarial patches. And finally inSection 6,we
in
troduce reverse engineering of deceptions via residual learning (REDRL)
(Sourietal.,2021) as a method to detect and recognize benchmark adversarial
a
ttacks.
2 Adversarial attacks
This section describes several adversarial attack techniques and algorithms.
These methods were originally intended for image classification task; how-
ever, they can used for other tasks such as object detection and semantic
segmentation.
2.1 Fast gradient sign method
FGSM(Goodfellow et al., 2014) designs adversarial perturbationsδthrough a
single backpropagation off
imagemodel and boundsδto haveL ∞norm ofE,
i.e.,jjδjj
∞¼E.
2.2 Projected gradient descent
PGD(Madry et al., 2017), in contrast to FGSM, producesδin multiple
iterative steps. In each iteration,jjδjj
∞¼αand the generated adversarial
sampleI
advis forced to fall within theE-neighbor ball of the clean imageI c,
i.e.,I
adv:jjIadvIcjj∞αE.
2.3 DeepFool
DeepFool(Moosavi-Dezfooli et al., 2016) seeks a path forI cto pass the deci-
sion boundary set by thef
imagemodel. Here,δcan be calculated as the normal
vector of the linearized decision boundary.
2.4 Carlini and wagner attack
Carlini–Wagner attack(Carlini and Wagner, 2017) is a more subtle but a
computati
onally costly technique for generating adversarial examples.
Through a series of gradient descent iterations, CW seeks to find aI
advthat
has the smallest Euclidean distance fromI
cwhile foolingf imageto yield a
higher score (logit) value for a target class compared to the rest of the classes
including the actual class ofI
c.
2.5 Adversarial patch
Adversarial patch(Karmon et al., 2018) iteratively optimizes a random patch
of
arbitrary size to fool the image classifierf
image. Moreover, we ensure that
the generated patch lies within theL
∞ball enclosing the clean image.
32Handbook of Statistics
2.6 Elastic
Elastic(Kang et al., 2019a) is a pixel space attack that warps the clean image
I
cwith a vector field smoothed by a Gaussian kernel. The vector field is
adversarially improved to deceive the classifierf
image.
2.7 Fog
Fog(Kang et al., 2019a) creates adversarial occlusion that resembles fog
based
on the diamond-square algorithm (Fournier et al., 1982) for rendering
stoc
hastic fog. Involved parameters are adversarially optimized.
2.8 Snow
Snow(Kang et al., 2019a) simulates snowfall via randomly selecting regions
withi
nI
cto add snowflakes. The orientation and intensity of snowflakes are
adversarially tuned.
2.9 Gabor
Gabor(Kang et al., 2019a) adversarially optimizes the noise parameters,
includi
ng the orientation and bandwidth of the Gabor kernel, so that the
obtainedI
advcan trick thef image.
2.10 JPEG
JPEG(Kang et al., 2019a) convertsI cto the JPEG-encoded space and com-
putes adversarial frequency components using the PGD attack. The inverse
transform of adversarial frequency components yieldsI
adv.
3 On-manifold robustness
Existing defenses consider properties of the trained classifier while ignoring
the particular structure of the underlying image distribution. Recent advances
in GANs and VAEs are shown to be successful in characterizing the underly-
ing image manifold.
a
3.1 Defense-GAN
Defense-GAN (Samangouei et al., 2018) is one of the early adversarial
defe
nse methods that leverages on-manifold images. Suppose we have a pre-
trained GAN modelG, which is trained with natural images. Then intuitively
the manifold distribution from this GAN should be similar to the natural
image distribution. In other words, given a random noise vector, passing it
through the GAN modelGwill output an image, which lies within the
a
The term “manifold” is used to refer to the existence of lower-dimensional representations for
natural images. This is a commonly used term in the generative model area. However, this
definition may not satisfy the exact condition of manifolds defined in mathematics.
Adversarial attacks and robust defenses in deep learningChapter
333
Elastic(Kang et al., 2019a) is a pixel space attack that warps the clean image
I
cwith a vector field smoothed by a Gaussian kernel. The vector field is
adversarially improved to deceive the classifierf
image.
2.7 Fog
Fog(Kang et al., 2019a) creates adversarial occlusion that resembles fog
based
on the diamond-square algorithm (Fournier et al., 1982) for rendering
stoc
hastic fog. Involved parameters are adversarially optimized.
2.8 Snow
Snow(Kang et al., 2019a) simulates snowfall via randomly selecting regions
withi
nI
cto add snowflakes. The orientation and intensity of snowflakes are
adversarially tuned.
2.9 Gabor
Gabor(Kang et al., 2019a) adversarially optimizes the noise parameters,
includi
ng the orientation and bandwidth of the Gabor kernel, so that the
obtainedI
advcan trick thef image.
2.10 JPEG
JPEG(Kang et al., 2019a) convertsI cto the JPEG-encoded space and com-
putes adversarial frequency components using the PGD attack. The inverse
transform of adversarial frequency components yieldsI
adv.
3 On-manifold robustness
Existing defenses consider properties of the trained classifier while ignoring
the particular structure of the underlying image distribution. Recent advances
in GANs and VAEs are shown to be successful in characterizing the underly-
ing image manifold.
a
3.1 Defense-GAN
Defense-GAN (Samangouei et al., 2018) is one of the early adversarial
defe
nse methods that leverages on-manifold images. Suppose we have a pre-
trained GAN modelG, which is trained with natural images. Then intuitively
the manifold distribution from this GAN should be similar to the natural
image distribution. In other words, given a random noise vector, passing it
through the GAN modelGwill output an image, which lies within the
a
The term “manifold” is used to refer to the existence of lower-dimensional representations for
natural images. This is a commonly used term in the generative model area. However, this
definition may not satisfy the exact condition of manifolds defined in mathematics.
Adversarial attacks and robust defenses in deep learningChapter
333
Random documents with unrelated
content Scribd suggests to you:
content Scribd suggests to you:
Kuvailkaa mielessänne! Ympärillä satumainen tiheikkö, yläpuolella
äänettömät, välkkyvät, okaiset lehdet, ja kätten ja polvien alla
äänettömät, eloisat, heloittavat lehtisammalet, jotka kasvunsa
innossa liikahtelevat, niinkuin liikahtelee matto, kun tuuli sen alle
pääsee puhaltamaan. Myötäänsä pistää näkyviin joku uusi sieni,
paisuen ja kimallellen auringonpaisteessa. Myötäänsä tunkee esille
uusia heleänvärisiä muotoja… Solut näissä kasveissa olivat minun
peukaloni kokoisia, muodostaen ikäänkuin värillisiä lasihelmi-
nauhoja. Kaikki nämä kappaleet olivat pienimpiä osiansa myöten
täynnään päivänpaistetta, kun niitä katseli tummansinistä taivasta
vasten, jossa päivänkin paistaessa yhä vielä väikkyi muutamia jäljelle
jääneitä tähtiä. Omituista! Kivetkin olivat muodolleen ja
rakenteelleen omituisia… Omituista oli kaikki, ruumiin tuntemus oli
jotain ennen aavistamatonta, jok'ainoa uusi liike yllätystä. Ilma kulki
ohuena kulkun kautta rintaan, veri hulvahteli suonissa voimakkaasti
kuin nousuvesi… puk… puk… puk…
Ja myötäänsä tuo levottomuuden tunne, myötäänsä
vasarankalketta, kilinää ja konemaista pauketta… Ja nyt äkkiä…
suurten eläinten mylvinää.
XI.
Kuunvasikkain laitumilla.
Ja niin me kaksi poloista maan asukasta nyt eksyneinä
hiiviskelimme näissä hurjaa vauhtia kasvavissa tiheiköissä,
säikähdellen ääniä, joita korvissamme kajahteli. Kauan kesti
äänettömät, välkkyvät, okaiset lehdet, ja kätten ja polvien alla
äänettömät, eloisat, heloittavat lehtisammalet, jotka kasvunsa
innossa liikahtelevat, niinkuin liikahtelee matto, kun tuuli sen alle
pääsee puhaltamaan. Myötäänsä pistää näkyviin joku uusi sieni,
paisuen ja kimallellen auringonpaisteessa. Myötäänsä tunkee esille
uusia heleänvärisiä muotoja… Solut näissä kasveissa olivat minun
peukaloni kokoisia, muodostaen ikäänkuin värillisiä lasihelmi-
nauhoja. Kaikki nämä kappaleet olivat pienimpiä osiansa myöten
täynnään päivänpaistetta, kun niitä katseli tummansinistä taivasta
vasten, jossa päivänkin paistaessa yhä vielä väikkyi muutamia jäljelle
jääneitä tähtiä. Omituista! Kivetkin olivat muodolleen ja
rakenteelleen omituisia… Omituista oli kaikki, ruumiin tuntemus oli
jotain ennen aavistamatonta, jok'ainoa uusi liike yllätystä. Ilma kulki
ohuena kulkun kautta rintaan, veri hulvahteli suonissa voimakkaasti
kuin nousuvesi… puk… puk… puk…
Ja myötäänsä tuo levottomuuden tunne, myötäänsä
vasarankalketta, kilinää ja konemaista pauketta… Ja nyt äkkiä…
suurten eläinten mylvinää.
XI.
Kuunvasikkain laitumilla.
Ja niin me kaksi poloista maan asukasta nyt eksyneinä
hiiviskelimme näissä hurjaa vauhtia kasvavissa tiheiköissä,
säikähdellen ääniä, joita korvissamme kajahteli. Kauan kesti
mielestämme, ennenkuin saimme nähdä yhdenkään seleniitan (kuun
asukkaan) tai kuunvasikan, vaikka viimeksi-mainittujen ammunta ja
mylvinä tuli yhä lähemmäs meitä. Me ryömimme kiviröykkiöiden
välitse, luminietosten poikki, sienikasvien yli, jotka ensi
kosketuksesta hajosivat kuin kuplat, levittäen kosteata höyryä
ympärilleen. Välisti oli tanner ihan täynnään ukontuhnioita kuni katu
kivillä laskettu; vuoroin taas täytyi kontata loppumattomain
pensastojen läpi. Ja yhä toivottovammin silmin me tähystelimme
kadonnutta palloa. Kuunvasikkain ääni oli välisti umpeata, leveätä
yminää, joka joskus yltyi kauheaksi, vihaiseksi ammunnaksi ja
lauhtui sitten katkonnaiseksi mörinäksi, ikäänkuin nuo näkymättömät
elukat olisivat koettaneet syödä ja ammua samalla kertaa.
Ensimmäisen kerran näimme ne vain ohimennen, vilaukselta,
mutta näky oli silti epämiellyttävä, koskapa oli niin vaillinainen. Cavor
ryömi silloin edellä ja huomasi ensimmäisenä niitten läheisyyden.
Hän pysähtyi tyrmistyneenä ja antoi minulle merkin olla asemillani.
Rapina ja naksahtelu pensaissa kuului lähenevän suoraa päätä
meitä kohti, ja juuri kuin me päät yhdessä koetimme saada selville,
mistä ja minnepäin tämä liikahtelu kulkee, samalla kuului hirveä
ammunta takaapäin, niin lähellä ja niin voimakkaana, että
okapensaitten latvat sen edessä taipuivat ja kuuma, kostea hengitys
leyhähti meihin asti. Me käännyimme ja näimme silloin huojuvain
runkojen välitse kuunvasikan kiiltävät kupeet ja pitkän seljän
kuultavan taivasta vasten.
Minun on nyt tietysti vaikea sanoa, minkä verran minä sillä kertaa
näin, koskapa silloinen vaikutelma täydentyi myöhemmistä
havainnoista. Kaikista ensiksi huomasin tuon elukan olevan kooltaan
suunnattoman suuren: ruumiin ympärys oli noin 80 ja pituus
asukkaan) tai kuunvasikan, vaikka viimeksi-mainittujen ammunta ja
mylvinä tuli yhä lähemmäs meitä. Me ryömimme kiviröykkiöiden
välitse, luminietosten poikki, sienikasvien yli, jotka ensi
kosketuksesta hajosivat kuin kuplat, levittäen kosteata höyryä
ympärilleen. Välisti oli tanner ihan täynnään ukontuhnioita kuni katu
kivillä laskettu; vuoroin taas täytyi kontata loppumattomain
pensastojen läpi. Ja yhä toivottovammin silmin me tähystelimme
kadonnutta palloa. Kuunvasikkain ääni oli välisti umpeata, leveätä
yminää, joka joskus yltyi kauheaksi, vihaiseksi ammunnaksi ja
lauhtui sitten katkonnaiseksi mörinäksi, ikäänkuin nuo näkymättömät
elukat olisivat koettaneet syödä ja ammua samalla kertaa.
Ensimmäisen kerran näimme ne vain ohimennen, vilaukselta,
mutta näky oli silti epämiellyttävä, koskapa oli niin vaillinainen. Cavor
ryömi silloin edellä ja huomasi ensimmäisenä niitten läheisyyden.
Hän pysähtyi tyrmistyneenä ja antoi minulle merkin olla asemillani.
Rapina ja naksahtelu pensaissa kuului lähenevän suoraa päätä
meitä kohti, ja juuri kuin me päät yhdessä koetimme saada selville,
mistä ja minnepäin tämä liikahtelu kulkee, samalla kuului hirveä
ammunta takaapäin, niin lähellä ja niin voimakkaana, että
okapensaitten latvat sen edessä taipuivat ja kuuma, kostea hengitys
leyhähti meihin asti. Me käännyimme ja näimme silloin huojuvain
runkojen välitse kuunvasikan kiiltävät kupeet ja pitkän seljän
kuultavan taivasta vasten.
Minun on nyt tietysti vaikea sanoa, minkä verran minä sillä kertaa
näin, koskapa silloinen vaikutelma täydentyi myöhemmistä
havainnoista. Kaikista ensiksi huomasin tuon elukan olevan kooltaan
suunnattoman suuren: ruumiin ympärys oli noin 80 ja pituus
kukaties 200:kin jalkaa. Sen kyljet ne paisuivat ja kutistuivat
raskaasta hengityksestä. Tuo jättiläismäinen, veltto ruumis loikoi
maassa; ryppyinen nahka oli valkoinen, mustissa täplissä seljän
puolella. Jalkoja emme erottaneet ensinkään. Luulenpa silloin
nähneemme ainakin profilissa melkein aivottoman pään,
rasvapoimuisen niskan, kuolaisen ja hurmivan suuren suun, pienet
sieraimet ja lujaan kiinnipuristetut silmät. (Kuunvasikat ne pitävät
aina silmänsä kiinni päivänpaisteessa.) Vilaukselta näimme myös
laajan, punaisen kidan, kun se avasi suunsa ammumaan ja
mylvimään, ja tunsimme huounnan tuosta kidasta. Ja senjälkeen tuo
hirviö huojahti kuin mikä laiva, liikahti eteenpäin, koko nahan
lyödessä paksuja poimuja, vierähti jälleen ja siirtyi siten ohitsemme,
kallistellen puoleen ja toiseen. Se mursi jäljillensä leveän polun
pensastoon ja katosi pian silmistä tuonne toisiinsa punoutuneiden
kasvien taakse. Toinen tuli näkyviin hiukan kauempana ja sitten vielä
yksi, jonka jälkeen vilaukselta huomasimme erään seleniitan, joka
näytti kaitsevan näitä eläviä lihavarastoja. Hänet huomattuani, minä
tartuin suonenvetoisesti Cavorin käsivarteen, ja niin siinä nyt kykittiin
liikahtamatta, kurkistellen ja pilkistellen kauan aikaa vielä senkin
jälkeen kuin hän jo kokonaan oli kadonnut meidän näköpiiristämme.
Kuunvasikkoihin verrattuna tuo seleniita näytti mitättömältä
muurahaiselta vain: tuskin oli mies viittäkään jalkaa pitkä. Yllään oli
hänellä puku jostain nahkamaisesta aineesta, niin ettei mitään osaa
hänen ruumiinsa rungosta näkynyt. Siitä meillä niinmuodoin ei ollut
aavistustakaan. Senpä vuoksi hän esiintyi tanakkana, karvaisena
olentona, joka paljon muistutti monimutkaista koppakuoriaista.
Hänen päänsä muoto oli kokonaan piilossa suunnattoman suuren,
piikeillä varustetun kypärän alla. — Myöhemmin saimme tietää
hänen käyttävän näitä piikkejä vastahakoisten kuunvasikkain
kurittamiseen. — Himmeät, kovasti sivuille vedetyt silmälasit loivat
raskaasta hengityksestä. Tuo jättiläismäinen, veltto ruumis loikoi
maassa; ryppyinen nahka oli valkoinen, mustissa täplissä seljän
puolella. Jalkoja emme erottaneet ensinkään. Luulenpa silloin
nähneemme ainakin profilissa melkein aivottoman pään,
rasvapoimuisen niskan, kuolaisen ja hurmivan suuren suun, pienet
sieraimet ja lujaan kiinnipuristetut silmät. (Kuunvasikat ne pitävät
aina silmänsä kiinni päivänpaisteessa.) Vilaukselta näimme myös
laajan, punaisen kidan, kun se avasi suunsa ammumaan ja
mylvimään, ja tunsimme huounnan tuosta kidasta. Ja senjälkeen tuo
hirviö huojahti kuin mikä laiva, liikahti eteenpäin, koko nahan
lyödessä paksuja poimuja, vierähti jälleen ja siirtyi siten ohitsemme,
kallistellen puoleen ja toiseen. Se mursi jäljillensä leveän polun
pensastoon ja katosi pian silmistä tuonne toisiinsa punoutuneiden
kasvien taakse. Toinen tuli näkyviin hiukan kauempana ja sitten vielä
yksi, jonka jälkeen vilaukselta huomasimme erään seleniitan, joka
näytti kaitsevan näitä eläviä lihavarastoja. Hänet huomattuani, minä
tartuin suonenvetoisesti Cavorin käsivarteen, ja niin siinä nyt kykittiin
liikahtamatta, kurkistellen ja pilkistellen kauan aikaa vielä senkin
jälkeen kuin hän jo kokonaan oli kadonnut meidän näköpiiristämme.
Kuunvasikkoihin verrattuna tuo seleniita näytti mitättömältä
muurahaiselta vain: tuskin oli mies viittäkään jalkaa pitkä. Yllään oli
hänellä puku jostain nahkamaisesta aineesta, niin ettei mitään osaa
hänen ruumiinsa rungosta näkynyt. Siitä meillä niinmuodoin ei ollut
aavistustakaan. Senpä vuoksi hän esiintyi tanakkana, karvaisena
olentona, joka paljon muistutti monimutkaista koppakuoriaista.
Hänen päänsä muoto oli kokonaan piilossa suunnattoman suuren,
piikeillä varustetun kypärän alla. — Myöhemmin saimme tietää
hänen käyttävän näitä piikkejä vastahakoisten kuunvasikkain
kurittamiseen. — Himmeät, kovasti sivuille vedetyt silmälasit loivat
noihin jonkinmoisella metallisella laitteella varustettuihin kasvoihin
jotain linnun-omaista. Käsivarret eivät pistäneet näkyviin
päällysverhon alta. Lyhyet jalat olivat lämpöisissä kääreissä, mutta
näyttivät meidän maallisiin silmiimme suhdattoman heikoilta. Reidet
olivat peräti lyhyet, sääret sangen pitkät, jalkaterät pienet.
Raskaalta näyttävästä puvustaan huolimatta, hän astui —
maalliselta kannalta katsoen — sangen pitkin askelin, heilutellen
käsivartta, joka joka liikaukselta antoi helähtävän äänen. Hänen
astuntansa siinä silmänräpäyksessä, jolloin hän kulki ohitsemme,
osoitti hänen kiirehtivän ja olevan vihoissaan, ja heti hänen
kadottuaan näkyvistä me kuulimmekin erään kuunvasikan
ammunnan äkkiä muuttuvan lyhyeksi, kimakaksi vingahtelemiseksi.
Sitä seurasi ryske, joka tiesi nopeampaa liikuntoa. Ammunta hiljeni
vähitellen ja lakkasi viimein kokonaan. Elukat olivat arvatenkin
päässeet sellaisille laitumille kuin paimen oli tahtonut.
Me kuuntelemaan. Hetkeen aikaan ei kuulunut mitään. Mutta
kotvanen kului vieläkin, ennenkuin uskalsimme jälleen lähteä
ryömien etsimään kadonnutta palloa.
Seuraavalla kertaa näimme näitä kuunvasikoita vähän matkan
päässä meistä eräässä röyhyisessä kivikossa. Senpuoleiset rinteet
olivat hiukan loivemmat ja täynnään vehreitä, täplikkäitä ja
untuvapintaisia kasveja suurissa tilleissä ryhmissä. Siellä niillä
mieluinen laidunmaa. Olimme juuri päässeet ruoiston laitaan ja
pysähdyimme nyt siihen katselemaan niitä ja tähystelemään,
näkyisikö toista seleniitaa. Elukat loikoivat rehunsa ääressä
jättiläismäisinä vetelyksinä, suunnattoman suurina, lihavina
möhkäleinä, purra rouskuttaen ankaran ahnaasti. Ne näyttivät
hirviöiltä, joissa on pelkkää rasvaa, niin kömpelöiltä ja raskailta, että
jotain linnun-omaista. Käsivarret eivät pistäneet näkyviin
päällysverhon alta. Lyhyet jalat olivat lämpöisissä kääreissä, mutta
näyttivät meidän maallisiin silmiimme suhdattoman heikoilta. Reidet
olivat peräti lyhyet, sääret sangen pitkät, jalkaterät pienet.
Raskaalta näyttävästä puvustaan huolimatta, hän astui —
maalliselta kannalta katsoen — sangen pitkin askelin, heilutellen
käsivartta, joka joka liikaukselta antoi helähtävän äänen. Hänen
astuntansa siinä silmänräpäyksessä, jolloin hän kulki ohitsemme,
osoitti hänen kiirehtivän ja olevan vihoissaan, ja heti hänen
kadottuaan näkyvistä me kuulimmekin erään kuunvasikan
ammunnan äkkiä muuttuvan lyhyeksi, kimakaksi vingahtelemiseksi.
Sitä seurasi ryske, joka tiesi nopeampaa liikuntoa. Ammunta hiljeni
vähitellen ja lakkasi viimein kokonaan. Elukat olivat arvatenkin
päässeet sellaisille laitumille kuin paimen oli tahtonut.
Me kuuntelemaan. Hetkeen aikaan ei kuulunut mitään. Mutta
kotvanen kului vieläkin, ennenkuin uskalsimme jälleen lähteä
ryömien etsimään kadonnutta palloa.
Seuraavalla kertaa näimme näitä kuunvasikoita vähän matkan
päässä meistä eräässä röyhyisessä kivikossa. Senpuoleiset rinteet
olivat hiukan loivemmat ja täynnään vehreitä, täplikkäitä ja
untuvapintaisia kasveja suurissa tilleissä ryhmissä. Siellä niillä
mieluinen laidunmaa. Olimme juuri päässeet ruoiston laitaan ja
pysähdyimme nyt siihen katselemaan niitä ja tähystelemään,
näkyisikö toista seleniitaa. Elukat loikoivat rehunsa ääressä
jättiläismäisinä vetelyksinä, suunnattoman suurina, lihavina
möhkäleinä, purra rouskuttaen ankaran ahnaasti. Ne näyttivät
hirviöiltä, joissa on pelkkää rasvaa, niin kömpelöiltä ja raskailta, että
Smithfieldin härkä olisi niitten rinnalla esiintynyt oikeana notkeuden
juurikuvana. Leuat liikkuivat yhtämittaa, pureskellen, maiskuttaen,
silmät olivat kiinni — siinä kuva eläimellistä nautintoa, joka meidän
tyhjiin vatsoihin teki merkillisesti kiihottavan vaikutuksen.
— Sikoja! — virkkoi Cavor tavattoman kiihkeästi. — Inhottavia
sikoja! — toisti hän ja, luotuaan sinne vihaisen, kateellisen
silmäyksen, läksi jatkamaan konttaamistansa. Minä seisoin vielä
jonkun aikaa paikoillani, kunnes ennätin huomata, että nuo
täplikkäät kasvit ovat kerrassaan sopimattomia ihmisen ravinnoksi ja
läksin hänen peräänsä, pureskellen pientä kasvimurusta
hampaissani.
Pian me taaskin pysähdyimme, nähtyämme lähellä toisen
seleniitan. Tällä kertaa oli meillä tilaisuus katsella häntä tarkemmin.
Nyt huomasimme, että seleniitan yllä oli todellakin puku eikä mikään
kuoriverho. Hän oli samallainen kuin äskenkin näkemämme, se vaan
erotusta, että tämän niskasta pisti esiin jokin täytetyn vaatetukon
näköinen esine. Hän seisoi kallion kielekkeellä, käännellen päätään
puoleen ja toiseen, niinkuin mitä tarkastellen kraateriin päin. Me
olimme aivan asemillamme, peljäten herättävämme hänen
huomionsa. Hetken kuluttua hän kääntyi ympärinsä ja katosi
näkyvistä.
Kohdattiin sitten toinenkin lauma kuunvasikoita: ne ammuivat
erään notkon pohjalta. Senjälkeen astuttiin erään paikan poikki,
johon kuului ääniä, koneen mahtavia kumauksia. Tuntui kuin tuolla
jalkain alla olisi suunnaton konepaja. Ja näitten kolausten yhä
kajahdellessa me saavuimme erään laajan ja aivan tasaisen aukion
laidalle. Se näytti olevan noin sata metriä läpimitassa. Lukematta
muutamia lehtisammalelta äärillä, oli aukio aivan paljas; kellertävä
juurikuvana. Leuat liikkuivat yhtämittaa, pureskellen, maiskuttaen,
silmät olivat kiinni — siinä kuva eläimellistä nautintoa, joka meidän
tyhjiin vatsoihin teki merkillisesti kiihottavan vaikutuksen.
— Sikoja! — virkkoi Cavor tavattoman kiihkeästi. — Inhottavia
sikoja! — toisti hän ja, luotuaan sinne vihaisen, kateellisen
silmäyksen, läksi jatkamaan konttaamistansa. Minä seisoin vielä
jonkun aikaa paikoillani, kunnes ennätin huomata, että nuo
täplikkäät kasvit ovat kerrassaan sopimattomia ihmisen ravinnoksi ja
läksin hänen peräänsä, pureskellen pientä kasvimurusta
hampaissani.
Pian me taaskin pysähdyimme, nähtyämme lähellä toisen
seleniitan. Tällä kertaa oli meillä tilaisuus katsella häntä tarkemmin.
Nyt huomasimme, että seleniitan yllä oli todellakin puku eikä mikään
kuoriverho. Hän oli samallainen kuin äskenkin näkemämme, se vaan
erotusta, että tämän niskasta pisti esiin jokin täytetyn vaatetukon
näköinen esine. Hän seisoi kallion kielekkeellä, käännellen päätään
puoleen ja toiseen, niinkuin mitä tarkastellen kraateriin päin. Me
olimme aivan asemillamme, peljäten herättävämme hänen
huomionsa. Hetken kuluttua hän kääntyi ympärinsä ja katosi
näkyvistä.
Kohdattiin sitten toinenkin lauma kuunvasikoita: ne ammuivat
erään notkon pohjalta. Senjälkeen astuttiin erään paikan poikki,
johon kuului ääniä, koneen mahtavia kumauksia. Tuntui kuin tuolla
jalkain alla olisi suunnaton konepaja. Ja näitten kolausten yhä
kajahdellessa me saavuimme erään laajan ja aivan tasaisen aukion
laidalle. Se näytti olevan noin sata metriä läpimitassa. Lukematta
muutamia lehtisammalelta äärillä, oli aukio aivan paljas; kellertävä
tomu näytti peittävän sen pintaa. Emme uskaltaneet astua tämän
tasangon poikki, mutta koska siinä oli helpompi liikkua kuin
tiheikössä, niin laskeusimme siihen ja aloimme juosta pitkin sen
laitaa.
Alhaalta päin tuleva kolina taukosi hetkiseksi, ja kaikki oli jälleen
hiljaa, lukuun-ottamatta yhä korkeammalle kohoavien kasvien
pitämää heikkoa ääntä. Mutta sitten rupesi äkkiä kuulumaan pauhu,
kovempi ja ankarampi ja lähempänä kuin mikään tähän saakka
havaitsemamme melu. Se tuli ilmeisesti alhaalta. Vaistomaisesti me
kyyristyimme niin alas kuin mahdollista, valmiina puikahtamaan
sivulla olevaan tiheikköön. Jok'ainoa kolaus ja paukaus tuntui
tärähtävän ruumiissamme. Yhä kovemmiksi kävivät nämä iskut ja
kumaukset, yhä tuntuvammiksi täräykset ruumiissa, kunnes koko
kuun maailma oli yhtenä hytkähtelynä ja värinänä.
— Piiloon! — kuiskasi Cavor, ja minä käännyin pensastoon päin.
Samassa kajahti pamaus, niinkuin tykki olisi lauaistu, ja sitten
tapahtui jotain, mikä minua vieläkin unessa joskus ahdistaa. Olin
kääntynyt Cavoriin, ja ojentanut käteni eteenpäin. Mutta se kohtasi
tyhjää; se vajosi pohjattomaan aukkoon!
Rintani sattui johonkin kovaan ja poskeni huomasin painuneen
jonkun mittaamattoman kuilun laitaa vasten, kuilun, joka äkkiä oli
allani auennut, ja käteni tavoittelevan tyhjää. Koko tuo pyöreä,
tasainen tanner ei ollut muuta kuin jättiläismäinen kansi, joka nyt
liukui kattamansa aukon suulta varta vasten valmistettuun
uurteesen.
Ellei Cavoria olisi ollut, olisin minä kaiketikin jäänyt olemaan pitkin
pituuttani tällä laidalla, katsellen alas tuonne suunnattomaan
tasangon poikki, mutta koska siinä oli helpompi liikkua kuin
tiheikössä, niin laskeusimme siihen ja aloimme juosta pitkin sen
laitaa.
Alhaalta päin tuleva kolina taukosi hetkiseksi, ja kaikki oli jälleen
hiljaa, lukuun-ottamatta yhä korkeammalle kohoavien kasvien
pitämää heikkoa ääntä. Mutta sitten rupesi äkkiä kuulumaan pauhu,
kovempi ja ankarampi ja lähempänä kuin mikään tähän saakka
havaitsemamme melu. Se tuli ilmeisesti alhaalta. Vaistomaisesti me
kyyristyimme niin alas kuin mahdollista, valmiina puikahtamaan
sivulla olevaan tiheikköön. Jok'ainoa kolaus ja paukaus tuntui
tärähtävän ruumiissamme. Yhä kovemmiksi kävivät nämä iskut ja
kumaukset, yhä tuntuvammiksi täräykset ruumiissa, kunnes koko
kuun maailma oli yhtenä hytkähtelynä ja värinänä.
— Piiloon! — kuiskasi Cavor, ja minä käännyin pensastoon päin.
Samassa kajahti pamaus, niinkuin tykki olisi lauaistu, ja sitten
tapahtui jotain, mikä minua vieläkin unessa joskus ahdistaa. Olin
kääntynyt Cavoriin, ja ojentanut käteni eteenpäin. Mutta se kohtasi
tyhjää; se vajosi pohjattomaan aukkoon!
Rintani sattui johonkin kovaan ja poskeni huomasin painuneen
jonkun mittaamattoman kuilun laitaa vasten, kuilun, joka äkkiä oli
allani auennut, ja käteni tavoittelevan tyhjää. Koko tuo pyöreä,
tasainen tanner ei ollut muuta kuin jättiläismäinen kansi, joka nyt
liukui kattamansa aukon suulta varta vasten valmistettuun
uurteesen.
Ellei Cavoria olisi ollut, olisin minä kaiketikin jäänyt olemaan pitkin
pituuttani tällä laidalla, katsellen alas tuonne suunnattomaan
kuiluun, kunnes uurteen laita vihdoin olisi syössyt minut syvyyksiin.
Mutta Cavor ei ollut saanut sellaista sysäystä, joka minut oli
huumannut. Hän oli jäänyt hiukan syrjään kannen laidasta ja,
huomattuansa minua uhkaavan vaaran, siepannut minua jaloista ja
vetänyt syrjään. Minä asetuin istuvilleni ja konttasin sitten nelin
ryömin jonkun matkan päähän reunasta, kavahdin pystyyn ja juoksin
hänen luokseen tuota tärisevää metallikantta myöten. Se näkyi
aukenevan yhä kasvavalla nopeudella. Pensaat edessäni siirtyivät
syrjään minun juostessani.
Enkäpä liian aikaisin joutunutkaan. Cavorin selkä katosi piikkiseen
pensastoon, ja minun kiivetessäni hänen peräänsä, tuo suunnaton
venttili paukahti uurteesensa. Hetken aikaa sitten seisottiin
läähättäen, uskaltamatta lähestyä aukkoa.
Mutta sitten läksimme varoen ja askel askelelta sitä kohti ja
kävimme sellaiseen asemaan, josta saattoi katsella alas. Pensaat
meidän ympärillämme huojuivat ja taittuivat, sillä kova tuuli alkoi
puhaltaa alas kaivokseen. Ensi alussa emme erottaneet muuta kuin
sileät, pystysuorat seinät, jotka laskivat alas tuonne
läpikuultamattomaan pimeyteen. Vähitellen alkoi sieltä näkyä koko
joukko sangen heikkoja, sinne tänne liikkuvia valontuikkeita.
Ensi alussa tuo salaperäinen kuilu veti kaiken huomiomme
puoleensa niin, että kokonaan unohdimme pallon. Kun sitten silmät
olivat tottuneet pimeään, alkoi pohjalta noitten nuppineulanpään
kaltaisten valojen välitse vilahdella pieniä, hämäräisiä olentoja…
Hämmästyneinä ja silmiämmekään uskomatta me tuijotimme alas, ja
niin olimme tuosta kaikesta ymmällä, ettemme osanneet sanaakaan
sanoa. Emme erottaneet mitään sellaista, jonka avulla olisi päässyt
selville noista liikkuvista olennoista tuolla.
Mutta Cavor ei ollut saanut sellaista sysäystä, joka minut oli
huumannut. Hän oli jäänyt hiukan syrjään kannen laidasta ja,
huomattuansa minua uhkaavan vaaran, siepannut minua jaloista ja
vetänyt syrjään. Minä asetuin istuvilleni ja konttasin sitten nelin
ryömin jonkun matkan päähän reunasta, kavahdin pystyyn ja juoksin
hänen luokseen tuota tärisevää metallikantta myöten. Se näkyi
aukenevan yhä kasvavalla nopeudella. Pensaat edessäni siirtyivät
syrjään minun juostessani.
Enkäpä liian aikaisin joutunutkaan. Cavorin selkä katosi piikkiseen
pensastoon, ja minun kiivetessäni hänen peräänsä, tuo suunnaton
venttili paukahti uurteesensa. Hetken aikaa sitten seisottiin
läähättäen, uskaltamatta lähestyä aukkoa.
Mutta sitten läksimme varoen ja askel askelelta sitä kohti ja
kävimme sellaiseen asemaan, josta saattoi katsella alas. Pensaat
meidän ympärillämme huojuivat ja taittuivat, sillä kova tuuli alkoi
puhaltaa alas kaivokseen. Ensi alussa emme erottaneet muuta kuin
sileät, pystysuorat seinät, jotka laskivat alas tuonne
läpikuultamattomaan pimeyteen. Vähitellen alkoi sieltä näkyä koko
joukko sangen heikkoja, sinne tänne liikkuvia valontuikkeita.
Ensi alussa tuo salaperäinen kuilu veti kaiken huomiomme
puoleensa niin, että kokonaan unohdimme pallon. Kun sitten silmät
olivat tottuneet pimeään, alkoi pohjalta noitten nuppineulanpään
kaltaisten valojen välitse vilahdella pieniä, hämäräisiä olentoja…
Hämmästyneinä ja silmiämmekään uskomatta me tuijotimme alas, ja
niin olimme tuosta kaikesta ymmällä, ettemme osanneet sanaakaan
sanoa. Emme erottaneet mitään sellaista, jonka avulla olisi päässyt
selville noista liikkuvista olennoista tuolla.
— Mitähän, — kyselin minä, — mitähän tuo mahtaa olla?
— Koneisto se on!… Öiseen aikaan he kaiketi elävät näissä luolissa
ja päivällä tulevat ylös.
— Cavor! — virkoin minä. — Jokohan?… Tuo tuolla… näytti
ihmiseltä.
— Ei tuo mikään ihminen ollut.
— Tässä ei auta uhmailla.
— Ei auta ryhtyä mihinkään, ennenkuin pallo löytyy.
— Ei saa ryhtyä mihinkään, ennenkuin pallo löytyy.
Murahtaen myöntävästi, hän nousi ylös, lähteäksensä liikkeelle,
tähysteli hetkisen ympärilleen, huokasi sitten ja viittasi minne lähteä.
Me puikelsimme pensastoon. Kotvan aikaa kontattiin reippaasti,
mutta sitten alkoi vauhti vähenemistään vähetä. Äkkiä rupesi
himmeänpunaisia valonleimuja hulmuamaan, ja samassa kuului
ympärillämme kovaa töminää ja huutoa. Me lyyhistyimme toisiimme.
Äänet kuuluivat kauan aikaa puolelta ja toiselta aivan lähellä meitä.
Mutta silloin emme nähneet mitään. Minä yritin kuiskaista Cavorin
korvaan, että tuskin tässä enää kovinkaan kauan jaksan astua
syömättä, mutta kulkkuni oli käynyt kovin kuivaksi
kuiskuttelemisesta.
— Cavor, — sanoin minä, — minun täytyy saada ruokaa.
Hän loi minuun säikähtäneen katseen.
— Nyt pitää kestää, — sanoi hän.
— Koneisto se on!… Öiseen aikaan he kaiketi elävät näissä luolissa
ja päivällä tulevat ylös.
— Cavor! — virkoin minä. — Jokohan?… Tuo tuolla… näytti
ihmiseltä.
— Ei tuo mikään ihminen ollut.
— Tässä ei auta uhmailla.
— Ei auta ryhtyä mihinkään, ennenkuin pallo löytyy.
— Ei saa ryhtyä mihinkään, ennenkuin pallo löytyy.
Murahtaen myöntävästi, hän nousi ylös, lähteäksensä liikkeelle,
tähysteli hetkisen ympärilleen, huokasi sitten ja viittasi minne lähteä.
Me puikelsimme pensastoon. Kotvan aikaa kontattiin reippaasti,
mutta sitten alkoi vauhti vähenemistään vähetä. Äkkiä rupesi
himmeänpunaisia valonleimuja hulmuamaan, ja samassa kuului
ympärillämme kovaa töminää ja huutoa. Me lyyhistyimme toisiimme.
Äänet kuuluivat kauan aikaa puolelta ja toiselta aivan lähellä meitä.
Mutta silloin emme nähneet mitään. Minä yritin kuiskaista Cavorin
korvaan, että tuskin tässä enää kovinkaan kauan jaksan astua
syömättä, mutta kulkkuni oli käynyt kovin kuivaksi
kuiskuttelemisesta.
— Cavor, — sanoin minä, — minun täytyy saada ruokaa.
Hän loi minuun säikähtäneen katseen.
— Nyt pitää kestää, — sanoi hän.
— Mutta minun täytyy saada, — virkoin minä. — Katsokaas näitä
huulia!
— Janottanut tässä on minuakin jonkun aikaa.
— Jospa olisi edes hiukan lunta jäljellä!
— Se on tiessään. Me kiidämme nyt yhden asteen nopeudella
minutissa napaseuduista kuumaan ilman-alaan…
Minä pureskelin kynsiäni.
— Pallo! — lausui hän. — Siinä meille ainoa tuki ja turva.
Voimia ponnistaen lähdettiin jälleen konttaamaan. Minun mieleni
se myötäänsä askaroitsi vain syötävissä aineissa ja vilvoittavain
kesäjuomain kihisevissä kuohuissa. Olutta varsinkin teki mieli.
Muistossani väikkyi se kuudentoista gallonin nassakka, joka niin
pulleana oli prameillut kellarissani siellä Lympnessä. Muistelin kellarin
viereistä ruokasäiliötä ja siinä semminkin paistia ja munuaispasteijaa,
murakkaa paistia ja täyteläisiä pasteijia ja rasvaista kastiketta. —
Nälkä pani tuon tuostakin haukottelemaan. Väliin osuttiin tasaisille
paikoille, missä viljalti kasvoi mehuisata, punaista maanhedelmää,
suunnattoman suurissa koralliriuttain kaltaisissa ryhmissä, niihin
törmätessämme ne särkyivät naksahdellen. Murtumakohdat vetivät
huomioni puoleensa. Tuo peiakkaan aine näytti rakenteeltaan
semmoiselta, että teki mieli iskeä siihen hampain kiinni. Ja hyvältäpä
ne tuntuivat lemahtelevankin.
Minä sieppasin palasen ja haistelin sitä.
— Cavor! — kuiskasin minä käheällä äänellä.
huulia!
— Janottanut tässä on minuakin jonkun aikaa.
— Jospa olisi edes hiukan lunta jäljellä!
— Se on tiessään. Me kiidämme nyt yhden asteen nopeudella
minutissa napaseuduista kuumaan ilman-alaan…
Minä pureskelin kynsiäni.
— Pallo! — lausui hän. — Siinä meille ainoa tuki ja turva.
Voimia ponnistaen lähdettiin jälleen konttaamaan. Minun mieleni
se myötäänsä askaroitsi vain syötävissä aineissa ja vilvoittavain
kesäjuomain kihisevissä kuohuissa. Olutta varsinkin teki mieli.
Muistossani väikkyi se kuudentoista gallonin nassakka, joka niin
pulleana oli prameillut kellarissani siellä Lympnessä. Muistelin kellarin
viereistä ruokasäiliötä ja siinä semminkin paistia ja munuaispasteijaa,
murakkaa paistia ja täyteläisiä pasteijia ja rasvaista kastiketta. —
Nälkä pani tuon tuostakin haukottelemaan. Väliin osuttiin tasaisille
paikoille, missä viljalti kasvoi mehuisata, punaista maanhedelmää,
suunnattoman suurissa koralliriuttain kaltaisissa ryhmissä, niihin
törmätessämme ne särkyivät naksahdellen. Murtumakohdat vetivät
huomioni puoleensa. Tuo peiakkaan aine näytti rakenteeltaan
semmoiselta, että teki mieli iskeä siihen hampain kiinni. Ja hyvältäpä
ne tuntuivat lemahtelevankin.
Minä sieppasin palasen ja haistelin sitä.
— Cavor! — kuiskasin minä käheällä äänellä.
Hän katsahti minuun silmät pyöreinä päässä.
— Älkää koskeko!
Minä pudotin sen maahan, ja niin kontattiin kotvanen edelleen
näitten vietteleväin lihakasojen kautta.
— Cavor! — kysäisin minä. — Miksei?
— Myrkkyä, — kuulin hänen sanovan, mutta taakseen hän ei
katsonut.
Ryömittyämme taas muutaman askelen, minä tein ratkaisevan
päätöksen.
— Minäpäs koetan, — sanoin minä.
Hän teki epäävän liikkeen, mutta liian myöhään. Minulla oli jo suu
täynnä. Hän käpertyi kokoon, katsellessaan minua, kasvot
vääntyneinä outoon ilmeesen.
— Hyvältä tää maistaa, — virkoin minä.
— Voi taivas! — huudahti hän.
Hän katseli minun suuni liikkeitä. Hänen kasvojensa rypistys ilmaisi
vuoroin halua, vuoroin hylkimistä, mutta pianpa ruokahalu
hänessäkin pääsi voitolle, ja mies rupesi ahmimaan suun täydeltä.
Hetken aikaa emme muuta tehneet kuin söimme.
Tämä kasvi muistutti paljon maallisia sieniä; olihan vain
löyhempää ja kuumensi kulkkua nieltäessä. Ensi alussa tuntui
hyvältä pelkkä syömisen mekanillinen toiminta; sittemmin alkoi veri
virrata kuumempana suonissa, huulia ja sormenpäitä rupesi
— Älkää koskeko!
Minä pudotin sen maahan, ja niin kontattiin kotvanen edelleen
näitten vietteleväin lihakasojen kautta.
— Cavor! — kysäisin minä. — Miksei?
— Myrkkyä, — kuulin hänen sanovan, mutta taakseen hän ei
katsonut.
Ryömittyämme taas muutaman askelen, minä tein ratkaisevan
päätöksen.
— Minäpäs koetan, — sanoin minä.
Hän teki epäävän liikkeen, mutta liian myöhään. Minulla oli jo suu
täynnä. Hän käpertyi kokoon, katsellessaan minua, kasvot
vääntyneinä outoon ilmeesen.
— Hyvältä tää maistaa, — virkoin minä.
— Voi taivas! — huudahti hän.
Hän katseli minun suuni liikkeitä. Hänen kasvojensa rypistys ilmaisi
vuoroin halua, vuoroin hylkimistä, mutta pianpa ruokahalu
hänessäkin pääsi voitolle, ja mies rupesi ahmimaan suun täydeltä.
Hetken aikaa emme muuta tehneet kuin söimme.
Tämä kasvi muistutti paljon maallisia sieniä; olihan vain
löyhempää ja kuumensi kulkkua nieltäessä. Ensi alussa tuntui
hyvältä pelkkä syömisen mekanillinen toiminta; sittemmin alkoi veri
virrata kuumempana suonissa, huulia ja sormenpäitä rupesi
pistelemään, eikä aikaakaan, niin alkoi mielessä heräillä uusia,
keveitä, hajanaisia ajatuksia.
— Hyvältä maistuu, — virkoin minä. — Peiakkaan hyvältä. Täällä
sitä kelpais meidän liikaväestön olla ja elää! Tuon poloisen
liikaväestön! — ja taas pistin suuhuni aimo palan.
Minusta tuntui niin merkillisen hauskalta, ajatellessani, että kuussa
on näin hyvää ravintoa. Sitä mukaa kuin nälkä katosi, sitä mukaa
mieleni täyttyi hassunkurisella hilpeydellä. Tähän-astinen pelko ja
tuskallinen olo oli kokonaan kadonnut. Minusta ei kuu enää ollutkaan
planetta, josta kaikin mokomin pitäisi päästä pois, vaan turvapaikka
inhimilliseltä puutteelta. Luulenpa, että minulta unohtuivat seleniitat
vasikoineen, kansineen, pauhuineen päivineen heti kuin olin syönyt
sientä.
Kolmanteen huomautukseeni "liikaväestöstä" Cavor vastasi
kehaisemalla hänkin kuuta. Tunsin kyllä päätäni viepottavan, mutta
pidin sitä ravinnon kiihotuksena pitkällisen paastoamisen jälkeen.
— Erinomen… nomenomaista tää teidän tekemä… nemänne
keksintö, Cavor, — puhelin minä. — Peru… pota… peraatien jälkeen
pararas kaikesta.
— Kuhu… huhuinka? Kuunko keks… seksintö paras potanoitten
jälkeen?
Minä vilkasin häneen ja säikähdin miehen käheätä ääntä ja
sekavaa puhetta. Silmänräpäyksessä sävähti mielessäni, että hän on
juovuksissa, kenties juuri sienistä. Ja sitten tulin ajatelleeksi, että
mies on ihan erehtynyt, luullessaan keksineensä kuun. Eihän hän sitä
keksinyt, saapui vaan sinne. Minä laskin käteni hänen käsivarrelleen
keveitä, hajanaisia ajatuksia.
— Hyvältä maistuu, — virkoin minä. — Peiakkaan hyvältä. Täällä
sitä kelpais meidän liikaväestön olla ja elää! Tuon poloisen
liikaväestön! — ja taas pistin suuhuni aimo palan.
Minusta tuntui niin merkillisen hauskalta, ajatellessani, että kuussa
on näin hyvää ravintoa. Sitä mukaa kuin nälkä katosi, sitä mukaa
mieleni täyttyi hassunkurisella hilpeydellä. Tähän-astinen pelko ja
tuskallinen olo oli kokonaan kadonnut. Minusta ei kuu enää ollutkaan
planetta, josta kaikin mokomin pitäisi päästä pois, vaan turvapaikka
inhimilliseltä puutteelta. Luulenpa, että minulta unohtuivat seleniitat
vasikoineen, kansineen, pauhuineen päivineen heti kuin olin syönyt
sientä.
Kolmanteen huomautukseeni "liikaväestöstä" Cavor vastasi
kehaisemalla hänkin kuuta. Tunsin kyllä päätäni viepottavan, mutta
pidin sitä ravinnon kiihotuksena pitkällisen paastoamisen jälkeen.
— Erinomen… nomenomaista tää teidän tekemä… nemänne
keksintö, Cavor, — puhelin minä. — Peru… pota… peraatien jälkeen
pararas kaikesta.
— Kuhu… huhuinka? Kuunko keks… seksintö paras potanoitten
jälkeen?
Minä vilkasin häneen ja säikähdin miehen käheätä ääntä ja
sekavaa puhetta. Silmänräpäyksessä sävähti mielessäni, että hän on
juovuksissa, kenties juuri sienistä. Ja sitten tulin ajatelleeksi, että
mies on ihan erehtynyt, luullessaan keksineensä kuun. Eihän hän sitä
keksinyt, saapui vaan sinne. Minä laskin käteni hänen käsivarrelleen
ja koetin selittää hänelle tätä asiaa, mutta se oli liian hienoa hänen
käsittää. Ja odottamattoman vaikeata minunkin oli saada se
lausutuksi. Tuokion ajan näytti siltä kuin hän ymmärtäisi minua —
muistan silloin aatelleeni, lieneeköhän ne sienet tehneet minun
silmäni yhtä talmaisiksi kuin hänenkin — ja rupesi tekemään omasta
puolestaankin huomautuksia.
— Me ollaan — julisti hän kesken juhlallisia nikotuksia, — me
ollaan luonnon tulo-loksia siitä, mitä me syömme ja juomme.
Hän sanoi sen vielä toistamiseen, ja minä kun satuin olemaan
kerrankin taas oikein viisastelevalla tuulella, päätin ruveta
vastustamaan häntä. Poikkesin siinä kaiketi syrjään pääasiasta,
mutta Cavor ei sitä varmaankaan huomannut. Hän nousi seisaalleen
niin hyvin kuin osasi, nojaten kädellään minun päätäni vasten —
sangen epäkohteliaasti kyllä — ja tuijotti ympärilleen, hituistakaan
enää pelkäämättä kuun olentoja.
Minä koetin saada hänelle selväksi, että hänen mielipiteensä on
vaarallinen — jostain syystä, jota en oikein itsekään ymmärtänyt —
mutta tuo "vaarallinen" pyrki, kumma kyllä, takertumaan sanaan
"varomaton" ja lopulti siitä tuli "vahingollinen" tai jotain sinne päin.
Yritettyäni purkaa noita sanoja jälleen irti toisistaan, minä palasin
alkuperäiseen väitteeseni, pääasiallisesti kiintyen noihin omituisiin,
mutta samalla huomiota herättäviin korallikasveihin tuossa
kummallakin puolen. Minä tunsin, että nyt sitä pitää tehdä tarkka
erotus kuun ja perunain välillä, ettei niitä sekoitettaisi toisiinsa,
mutta häkellyin pitkän pitkään välilauseesen, jossa koetin mieleen
painaa, kuinka tärkeätä määritelmän tarkkuus todistelussa on.
Ponnistin kaikki voimani, ollakseni väliä pitämättä siitä, että
ruumiissani alkoi jo tuntua hiukan ilkeältä.
käsittää. Ja odottamattoman vaikeata minunkin oli saada se
lausutuksi. Tuokion ajan näytti siltä kuin hän ymmärtäisi minua —
muistan silloin aatelleeni, lieneeköhän ne sienet tehneet minun
silmäni yhtä talmaisiksi kuin hänenkin — ja rupesi tekemään omasta
puolestaankin huomautuksia.
— Me ollaan — julisti hän kesken juhlallisia nikotuksia, — me
ollaan luonnon tulo-loksia siitä, mitä me syömme ja juomme.
Hän sanoi sen vielä toistamiseen, ja minä kun satuin olemaan
kerrankin taas oikein viisastelevalla tuulella, päätin ruveta
vastustamaan häntä. Poikkesin siinä kaiketi syrjään pääasiasta,
mutta Cavor ei sitä varmaankaan huomannut. Hän nousi seisaalleen
niin hyvin kuin osasi, nojaten kädellään minun päätäni vasten —
sangen epäkohteliaasti kyllä — ja tuijotti ympärilleen, hituistakaan
enää pelkäämättä kuun olentoja.
Minä koetin saada hänelle selväksi, että hänen mielipiteensä on
vaarallinen — jostain syystä, jota en oikein itsekään ymmärtänyt —
mutta tuo "vaarallinen" pyrki, kumma kyllä, takertumaan sanaan
"varomaton" ja lopulti siitä tuli "vahingollinen" tai jotain sinne päin.
Yritettyäni purkaa noita sanoja jälleen irti toisistaan, minä palasin
alkuperäiseen väitteeseni, pääasiallisesti kiintyen noihin omituisiin,
mutta samalla huomiota herättäviin korallikasveihin tuossa
kummallakin puolen. Minä tunsin, että nyt sitä pitää tehdä tarkka
erotus kuun ja perunain välillä, ettei niitä sekoitettaisi toisiinsa,
mutta häkellyin pitkän pitkään välilauseesen, jossa koetin mieleen
painaa, kuinka tärkeätä määritelmän tarkkuus todistelussa on.
Ponnistin kaikki voimani, ollakseni väliä pitämättä siitä, että
ruumiissani alkoi jo tuntua hiukan ilkeältä.
Jollain tavoin — en enää muista, miten, — jouduin jälleen entisiin
mietelmiini siirtokuntain perustamisesta.
— Meidän pitää anekteerata tämä kuu, — puhuin minä. — Pois
kaikki vitkastelu ja vetelyys. Se on yksi osa "valkoisen miehen
taakkaa". Cavor!… Me ollaan — nik! — Me ollaan sart… se tahtoo
sanoa satraapeja. Mointa vantakultaa Caesarkaan ei ikinä
unissaankaan nähnyt. Kaikki salomanehdet siitä puhuu. Cavoresia.
Bedfordesia. Bedfordesia — nik! — Osakesumman takauksia
vastaan… se tahtoo sanoa rajattomalla takauksella. Käytännöllisesti…
Minä olin ilmeisesti juovuksissa.
Ryhdyin sitten selvittämään, kuinka äärettömän paljon siunausta
meidän tänne-tulomme on kuulle tuottava, ja sitä tehdessäni
takerruin todistelemaan, että Kolumbon maahantulosta, kokonaan
katsottuna, oli ollut paljon siunausta Amerikalle. Mutta alkuperäinen
ajatus oli minulta jo unohtunut, niin etten osannut muuta kuin
hokea: "aivan kuin Kombumbo."
Siitä ruveten en enää tarkoin muista, mitä kaikkea tuo ilkeä sieni
vaikutekaan. Himmeästi häämöittää mielessäni vain, kuinka me
julistimme, ettei tässä suinkaan aiota sietää kaikkien peiakkaan
hyönteisten ja sen semmoisten turilaitten tyhmyyksiä, ja ettei
miehisten miesten mitenkään sovi noin häpeällisellä tavalla lymyillä
tällä planetalla, joka ei ole kuin meidän maan ympäri pyörivä
kiertolainen. Ja sitten me keräsimme kokonaiset kantamukset sieniä
— heittoaseiksiko vai miksi, en tiedä, — ja niin lähdettiin eteenpäin
selkeässä päivänvalossa, rahtuakaan välittämättä okapensaitten
pistoksista.
mietelmiini siirtokuntain perustamisesta.
— Meidän pitää anekteerata tämä kuu, — puhuin minä. — Pois
kaikki vitkastelu ja vetelyys. Se on yksi osa "valkoisen miehen
taakkaa". Cavor!… Me ollaan — nik! — Me ollaan sart… se tahtoo
sanoa satraapeja. Mointa vantakultaa Caesarkaan ei ikinä
unissaankaan nähnyt. Kaikki salomanehdet siitä puhuu. Cavoresia.
Bedfordesia. Bedfordesia — nik! — Osakesumman takauksia
vastaan… se tahtoo sanoa rajattomalla takauksella. Käytännöllisesti…
Minä olin ilmeisesti juovuksissa.
Ryhdyin sitten selvittämään, kuinka äärettömän paljon siunausta
meidän tänne-tulomme on kuulle tuottava, ja sitä tehdessäni
takerruin todistelemaan, että Kolumbon maahantulosta, kokonaan
katsottuna, oli ollut paljon siunausta Amerikalle. Mutta alkuperäinen
ajatus oli minulta jo unohtunut, niin etten osannut muuta kuin
hokea: "aivan kuin Kombumbo."
Siitä ruveten en enää tarkoin muista, mitä kaikkea tuo ilkeä sieni
vaikutekaan. Himmeästi häämöittää mielessäni vain, kuinka me
julistimme, ettei tässä suinkaan aiota sietää kaikkien peiakkaan
hyönteisten ja sen semmoisten turilaitten tyhmyyksiä, ja ettei
miehisten miesten mitenkään sovi noin häpeällisellä tavalla lymyillä
tällä planetalla, joka ei ole kuin meidän maan ympäri pyörivä
kiertolainen. Ja sitten me keräsimme kokonaiset kantamukset sieniä
— heittoaseiksiko vai miksi, en tiedä, — ja niin lähdettiin eteenpäin
selkeässä päivänvalossa, rahtuakaan välittämättä okapensaitten
pistoksista.
Heti senjälkeen me kaiketikin lienemme kohdanneet seleniitoja.
Kuusi henkeä heitä oli, ja astuivat peräkkäin erään kalliopaltan
poikki, pitäen peräti merkillistä ulinaa ja piipitystä. He näkyivät
huomanneen meidät yht'aikaa joka mies, pysähtyivät vaieten ja
seisoivat siinä nyt kuin mitkä elukat, kasvot meihin päin.
Minä selvisin silmänräpäykseksi.
— Turilaat, — jupisi Cavor, — senkin turilaat! Ja nuoko luulevat,
että mies tässä vatsallaan ryömii, selkäpiillinen mies vatsallaan!
— Vatsallaan, — toisti hän, ikäänkuin yhä vieläkin märehtien
mointa ihmis-arvon alennusta.
Ja sitten hän äkkiä, raivoisasti kiljaisten, astui kolme pitkää askelta
ja hyppäsi heitä kohti. Mutta huonostipa tuon hyppäyksen kävi: mies
keikahti ilmassa pari kertaa, heilahti heidän ylitsensä ja putosi
ankaralla läiskäyksellä keskelle pulleita kaktuksia. Millaiselta tämä
hämmästyttävä ja minun mielestäni sangen arvoton hyökkäys
toisesta planetasta lienee näyttänyt seleniitain silmissä, sitä en osaa
suunnilleenkaan sanoa. Muistelen heidän kääntäneen meille selkänsä
ja juosseen tiehensä, mutta en ole siitä ihan varma. Kaikki nämä
viimeiset tapahtumat, ennenkuin kokonaan menetin tajuntani, ovat
säilyneet epämääräisinä ja himmeinä muistossani. Sen vaan tiedän,
että astuin askeleen Cavoria kohti, liukastuin ja putosin päistikkaa
kallioitten väliin. Siitäkin olen varma, että äkkiä rupesin voimaan
hyvin pahoin. Mielessäni häämöittää, että kova ottelu siinä kävi,
kunnes tunsin käteni kammitun metallisiin pitimiin.
Ensimmäinen selvä muistoni on se, että olimme vankeina, itsekään
tietämättä, kuinka syvällä kuun uumenissa oltanee. Pimeys vallitsi
ympärillämme, ja kummallisia, huumaavia ääniä kuului. Ruumis oli
Kuusi henkeä heitä oli, ja astuivat peräkkäin erään kalliopaltan
poikki, pitäen peräti merkillistä ulinaa ja piipitystä. He näkyivät
huomanneen meidät yht'aikaa joka mies, pysähtyivät vaieten ja
seisoivat siinä nyt kuin mitkä elukat, kasvot meihin päin.
Minä selvisin silmänräpäykseksi.
— Turilaat, — jupisi Cavor, — senkin turilaat! Ja nuoko luulevat,
että mies tässä vatsallaan ryömii, selkäpiillinen mies vatsallaan!
— Vatsallaan, — toisti hän, ikäänkuin yhä vieläkin märehtien
mointa ihmis-arvon alennusta.
Ja sitten hän äkkiä, raivoisasti kiljaisten, astui kolme pitkää askelta
ja hyppäsi heitä kohti. Mutta huonostipa tuon hyppäyksen kävi: mies
keikahti ilmassa pari kertaa, heilahti heidän ylitsensä ja putosi
ankaralla läiskäyksellä keskelle pulleita kaktuksia. Millaiselta tämä
hämmästyttävä ja minun mielestäni sangen arvoton hyökkäys
toisesta planetasta lienee näyttänyt seleniitain silmissä, sitä en osaa
suunnilleenkaan sanoa. Muistelen heidän kääntäneen meille selkänsä
ja juosseen tiehensä, mutta en ole siitä ihan varma. Kaikki nämä
viimeiset tapahtumat, ennenkuin kokonaan menetin tajuntani, ovat
säilyneet epämääräisinä ja himmeinä muistossani. Sen vaan tiedän,
että astuin askeleen Cavoria kohti, liukastuin ja putosin päistikkaa
kallioitten väliin. Siitäkin olen varma, että äkkiä rupesin voimaan
hyvin pahoin. Mielessäni häämöittää, että kova ottelu siinä kävi,
kunnes tunsin käteni kammitun metallisiin pitimiin.
Ensimmäinen selvä muistoni on se, että olimme vankeina, itsekään
tietämättä, kuinka syvällä kuun uumenissa oltanee. Pimeys vallitsi
ympärillämme, ja kummallisia, huumaavia ääniä kuului. Ruumis oli
meillä kummallakin täynnään naarmuja ja vammoja, ja päätä pakotti
ankarasti.
ankarasti.
XII.
Seleniitan ulkomuoto.
Huomasin istuvani lyyhistyneenä pimeässä, ympärilläni pauhua ja
melua. En kyennyt pitkään aikaan käsittämään, missä olen, enkä
sitäkään, kuinka tähän pälkääsen oli jouduttu. Mieleeni johtui se
komero, johon minut välisti lapsena pistettiin, ja sitten pimeä ja
rauhaton sänkykamari, jossa olin kerran maannut sairaana. Mutta
tällaisia ääniä, kuin nyt tässä ympärilläni, en ollut koskaan kuullut, ja
sitä paitsi leyhähti ilmassa välisti hiukan tallilta. Sitten minusta tuntui
kuin oltaisiin parhaillaan pallon rakentamisen puuhissa ja minä niissä
hommissa pistäynyt Cavorin kellariin. Senjälkeen tulin ajatelleeksi,
että kaiketi sitä ollaan pallossa ja leijaillaan halki avaruutten.
— Cavor, — virkoin minä, — eiköhän saisi hiukan valoa?
Ei kuulunut vastausta.
— Cavor! — toistin minä.
Vastaukseksi kuului voivotusta.
— Voi päätäni! — kuulin hänen sanovan. — Voi päätäni!
Seleniitan ulkomuoto.
Huomasin istuvani lyyhistyneenä pimeässä, ympärilläni pauhua ja
melua. En kyennyt pitkään aikaan käsittämään, missä olen, enkä
sitäkään, kuinka tähän pälkääsen oli jouduttu. Mieleeni johtui se
komero, johon minut välisti lapsena pistettiin, ja sitten pimeä ja
rauhaton sänkykamari, jossa olin kerran maannut sairaana. Mutta
tällaisia ääniä, kuin nyt tässä ympärilläni, en ollut koskaan kuullut, ja
sitä paitsi leyhähti ilmassa välisti hiukan tallilta. Sitten minusta tuntui
kuin oltaisiin parhaillaan pallon rakentamisen puuhissa ja minä niissä
hommissa pistäynyt Cavorin kellariin. Senjälkeen tulin ajatelleeksi,
että kaiketi sitä ollaan pallossa ja leijaillaan halki avaruutten.
— Cavor, — virkoin minä, — eiköhän saisi hiukan valoa?
Ei kuulunut vastausta.
— Cavor! — toistin minä.
Vastaukseksi kuului voivotusta.
— Voi päätäni! — kuulin hänen sanovan. — Voi päätäni!
Minä yritin painaa kädelläni omaa otsaa, jota myöskin kivisti,
mutta säikähdin, huomattuani niitten olevan kytkettyinä toisiinsa.
Nostin ne suulleni, ja tunsin metallin kylmän, sileän pinnan. Kädet oli
siis kahleissa. Koetin levittää jalkojani, mutta havaitsin niittenkin
olevan kammitsassa ja vihdoin sain selville, että olen vyötäisistä
kiinnitetty maahan vielä paksummilla kahleilla.
Minä peljästyin enemmän kuin koskaan muulloin meidän
kummallisten seikkailujemme aikana. Tuokion verran en osannut
muuta kuin ääneti riuhtoa kahleitani.
— Cavor! — huusin minä kovaa. — Miksikä minä olen kahleissa?
Mistä syystä te olette kahlinnut minut käsistä ja jaloista?
— En minä ole teitä kahlinnut, — vastasi hän. — Seleniitat sen
tekivät.
Seleniitat! Siihen minun ajatukseni hetkeksi pysähtyivät, ja sitten
alkoivat tapahtumat herätä henkiin muistissani: luminen erämaa,
jähmettyneen ilman sulaminen, kasvien itäminen, Cavorin ja minun
kummalliset hypyt ja ryöminnät kallioitten välissä ja kraaterin
kasvullisuus… Minut valtasi sama tuska kuin äskenkin, hurjasti
haeskellessamme palloa… Ja sitten tuo suuren kannen aukeneminen
kuilun päältä!
Koettaessani johdattaa mieleeni viimeisiä vaiheitamme hamaan
tähän olotilaan asti, rupesi armottomasti kivistämään päätä. Minä
jouduin ymmälle; eteeni nousi ylipääsemätön aita.
— Cavor!
— Ja-ha.
mutta säikähdin, huomattuani niitten olevan kytkettyinä toisiinsa.
Nostin ne suulleni, ja tunsin metallin kylmän, sileän pinnan. Kädet oli
siis kahleissa. Koetin levittää jalkojani, mutta havaitsin niittenkin
olevan kammitsassa ja vihdoin sain selville, että olen vyötäisistä
kiinnitetty maahan vielä paksummilla kahleilla.
Minä peljästyin enemmän kuin koskaan muulloin meidän
kummallisten seikkailujemme aikana. Tuokion verran en osannut
muuta kuin ääneti riuhtoa kahleitani.
— Cavor! — huusin minä kovaa. — Miksikä minä olen kahleissa?
Mistä syystä te olette kahlinnut minut käsistä ja jaloista?
— En minä ole teitä kahlinnut, — vastasi hän. — Seleniitat sen
tekivät.
Seleniitat! Siihen minun ajatukseni hetkeksi pysähtyivät, ja sitten
alkoivat tapahtumat herätä henkiin muistissani: luminen erämaa,
jähmettyneen ilman sulaminen, kasvien itäminen, Cavorin ja minun
kummalliset hypyt ja ryöminnät kallioitten välissä ja kraaterin
kasvullisuus… Minut valtasi sama tuska kuin äskenkin, hurjasti
haeskellessamme palloa… Ja sitten tuo suuren kannen aukeneminen
kuilun päältä!
Koettaessani johdattaa mieleeni viimeisiä vaiheitamme hamaan
tähän olotilaan asti, rupesi armottomasti kivistämään päätä. Minä
jouduin ymmälle; eteeni nousi ylipääsemätön aita.
— Cavor!
— Ja-ha.
— Missä ollaan?
— Mistäs minä tiedän?
— Ollaanko hengissä enää?
— Mitä hullutuksia?
— Me olemme siis heidän vallassaan.
Hän ei vastannut; murahti vaan. Myrkyn jätteet näkyivät vielä
vaikuttavan hänessä ärtymystä.
— Mitäs te aiotte tehdä?
— Mistäs minä tiedän, mitä tässä tehdä?
— Vai niin vainen? — virkoin minä ja vaikenin. Silloin minä heräsin
huumaustilastani.
— Hyväinen aika! — huudahdin minä. — Heittäkää jo tuo pörinä!
Ääneti sitten olimme kumpikin, kuulahdellen kumeita ääniä, jotka
muistuttivat kadun umpeata kumua tai tehtaan kolinaa. Minen sitä
käsittänyt ensinkään, Hengessäni seurasin ensin yhtä poljentaa,
sitten toista, mutta selville en päässyt kumpaisestakaan. Pitkän ajan
perästä kuului muuan uusi, räikeämpi ääni, joka ei sekaantunut
muihin, vaan ikäänkuin heiastui erilleen tuosta himmeästä äänen
takalikosta. Se oli sarjallinen verraten varsin vähäisiä tarkkoja ääniä,
kopsetta ja rapinaa, niinkuin olisi muratin-oksalla lyönyt ruutua
vasten tahi niinkuin lintu hyppinyt lippaan kannella. Me kuuntelimme
ja tähystelimme joka puolelle, mutta niin oli pimeä kuin olisi
samettiverho vedetty eteen. Hetken kuluttua seurasi muuan ääni,
— Mistäs minä tiedän?
— Ollaanko hengissä enää?
— Mitä hullutuksia?
— Me olemme siis heidän vallassaan.
Hän ei vastannut; murahti vaan. Myrkyn jätteet näkyivät vielä
vaikuttavan hänessä ärtymystä.
— Mitäs te aiotte tehdä?
— Mistäs minä tiedän, mitä tässä tehdä?
— Vai niin vainen? — virkoin minä ja vaikenin. Silloin minä heräsin
huumaustilastani.
— Hyväinen aika! — huudahdin minä. — Heittäkää jo tuo pörinä!
Ääneti sitten olimme kumpikin, kuulahdellen kumeita ääniä, jotka
muistuttivat kadun umpeata kumua tai tehtaan kolinaa. Minen sitä
käsittänyt ensinkään, Hengessäni seurasin ensin yhtä poljentaa,
sitten toista, mutta selville en päässyt kumpaisestakaan. Pitkän ajan
perästä kuului muuan uusi, räikeämpi ääni, joka ei sekaantunut
muihin, vaan ikäänkuin heiastui erilleen tuosta himmeästä äänen
takalikosta. Se oli sarjallinen verraten varsin vähäisiä tarkkoja ääniä,
kopsetta ja rapinaa, niinkuin olisi muratin-oksalla lyönyt ruutua
vasten tahi niinkuin lintu hyppinyt lippaan kannella. Me kuuntelimme
ja tähystelimme joka puolelle, mutta niin oli pimeä kuin olisi
samettiverho vedetty eteen. Hetken kuluttua seurasi muuan ääni,
joka muistutti liukkaasti liikkuvaa sisusvärkkiä hyvin voidellussa
lukossa. Ja vihdoin olin näkevinäni hienon valojuovan, joka ikäänkuin
riippui keskellä tuota mittaamatonta pimeyttä.
— Näettekö? — kuiskasin minä hyvin hiljaa Cavorille.
— Mitäs se on?
— En tiedä.
Rupesimme tarkastelemaan.
Tuo pieni valojuova leveni ja kalpeni, näyttäen valkoiseksi
kalkittuun seinään paistavalta sinertävältä valolta. Sen ääriviivat
lakkasivat olemasta yhdensuuntaisia, muodostaen alaspäin
hammasmaisen laidan. Käännyttyäni Cavoriin päin, huomauttaakseni
hänelle tuota seikkaa, hämmästyin kovin, nähdessäni hänen toisen
korvansa olevan kirkkaassa valossa, — muu osa ruumista oli yhä
edelleen varjossa. Minä käännyin, mikäli kahleet myöten-antoivat.
— Cavor, — sanoin minä, — se tulee takaapäin.
Korva katosi, ja sen sijaan tuli silmä.
Aukko, josta valo oli päässyt, laajeni äkkiä ja ilmeni oven aukkona.
Sen sisäpuolelta loisti sinervä valo, ja kynnyksellä näkyi
karkeapiirteinen olento.
Me koetimme kaikin voimin päästä kääntymään sitä kohti, mutta
kun yritykset eivät onnistuneet, niin istuimme asemillamme,
katsellen olan yli aukkoon päin minkä suinkin saatoimme. Ensi
hätään olin näkevinäni jonkun kömpelömuotoisen nelijalkaisen, joka
seisoo pää nuokallaan. Sitten huomasin, että siinä kuvastuukin
lukossa. Ja vihdoin olin näkevinäni hienon valojuovan, joka ikäänkuin
riippui keskellä tuota mittaamatonta pimeyttä.
— Näettekö? — kuiskasin minä hyvin hiljaa Cavorille.
— Mitäs se on?
— En tiedä.
Rupesimme tarkastelemaan.
Tuo pieni valojuova leveni ja kalpeni, näyttäen valkoiseksi
kalkittuun seinään paistavalta sinertävältä valolta. Sen ääriviivat
lakkasivat olemasta yhdensuuntaisia, muodostaen alaspäin
hammasmaisen laidan. Käännyttyäni Cavoriin päin, huomauttaakseni
hänelle tuota seikkaa, hämmästyin kovin, nähdessäni hänen toisen
korvansa olevan kirkkaassa valossa, — muu osa ruumista oli yhä
edelleen varjossa. Minä käännyin, mikäli kahleet myöten-antoivat.
— Cavor, — sanoin minä, — se tulee takaapäin.
Korva katosi, ja sen sijaan tuli silmä.
Aukko, josta valo oli päässyt, laajeni äkkiä ja ilmeni oven aukkona.
Sen sisäpuolelta loisti sinervä valo, ja kynnyksellä näkyi
karkeapiirteinen olento.
Me koetimme kaikin voimin päästä kääntymään sitä kohti, mutta
kun yritykset eivät onnistuneet, niin istuimme asemillamme,
katsellen olan yli aukkoon päin minkä suinkin saatoimme. Ensi
hätään olin näkevinäni jonkun kömpelömuotoisen nelijalkaisen, joka
seisoo pää nuokallaan. Sitten huomasin, että siinä kuvastuukin
seleniitan laiha ja lyyhistynyt ruumis, sääret pienet ja tavattoman
hoikat, väärät, pää painuneena hartiain väliin. Hänellä ei ollut
kypärää päässä eikä sitä ruumiinverhoa yllä, jota he ulkopuolella
liikkuessaan kantavat.
Meidän silmissämme hän esiintyi pelkkänä tyhjänä, mustana
haamuna, mutta mielikuvituksemme meissä se vaistomaisestikin liitti
tuohon varsin ihmismäiseen muotoon kasvotkin. Minä ainakin
otaksuin heti paikalla, että hän oli kyttyräselkäinen, otsa korkea ja
kasvot pitkullaiset.
Hän astui kolme askelta eteenpäin ja pysähtyi. Hänen liikuntansa
näytti olleen aivan äänetöntä. Sitten hän kulki taas eteenpäin, linnun
tapaan: toinen jalka suorana toisen eteen. Hän siirtyi aukosta
tulevan valojuovan ulkopuolelle ja katosi kokonaan varjoon.
Tuokion aikaa silmäni hakivat häntä väärästä paikasta, kunnes
näin hänen seisovan täydessä valossa edessämme. Mutta noita
inhimillisiä piirteitä, joita olin kuvitellut, ei ollut ensinkään!
Ja olisihan minun pitänyt arvata tuo jo ennaltakin. Ensi hetkeen
minä hätkähdin sanomattomasti. Näytti siltä kuin ei tuossa edessäni
olisikaan kasvoja, vaan naamari, peljätin, muodoton kummitus, joka
nyt oli paljastettava, oikeaan asuunsa avattava. Nenää ei ollut;
tympeät, pulleat silmät olivat sivuilla — äsken olin luullut niitä
korviksi. Korvia ei ollut… Olen koettanut piirustaa paperille
tuommoista päätä, mutta en ole osannut. Suu oli vetäynyt alaspäin,
niinkuin ihmisellä, joka oudostellen katsoa tuijottelee…
Kaula oli kolmiosainen, melkein niinkuin kravun jalka. Raajain
niveliä en voinut nähdä, ne kun oli kiedottu kääreisin, — siinä sen
ainoa puku.
hoikat, väärät, pää painuneena hartiain väliin. Hänellä ei ollut
kypärää päässä eikä sitä ruumiinverhoa yllä, jota he ulkopuolella
liikkuessaan kantavat.
Meidän silmissämme hän esiintyi pelkkänä tyhjänä, mustana
haamuna, mutta mielikuvituksemme meissä se vaistomaisestikin liitti
tuohon varsin ihmismäiseen muotoon kasvotkin. Minä ainakin
otaksuin heti paikalla, että hän oli kyttyräselkäinen, otsa korkea ja
kasvot pitkullaiset.
Hän astui kolme askelta eteenpäin ja pysähtyi. Hänen liikuntansa
näytti olleen aivan äänetöntä. Sitten hän kulki taas eteenpäin, linnun
tapaan: toinen jalka suorana toisen eteen. Hän siirtyi aukosta
tulevan valojuovan ulkopuolelle ja katosi kokonaan varjoon.
Tuokion aikaa silmäni hakivat häntä väärästä paikasta, kunnes
näin hänen seisovan täydessä valossa edessämme. Mutta noita
inhimillisiä piirteitä, joita olin kuvitellut, ei ollut ensinkään!
Ja olisihan minun pitänyt arvata tuo jo ennaltakin. Ensi hetkeen
minä hätkähdin sanomattomasti. Näytti siltä kuin ei tuossa edessäni
olisikaan kasvoja, vaan naamari, peljätin, muodoton kummitus, joka
nyt oli paljastettava, oikeaan asuunsa avattava. Nenää ei ollut;
tympeät, pulleat silmät olivat sivuilla — äsken olin luullut niitä
korviksi. Korvia ei ollut… Olen koettanut piirustaa paperille
tuommoista päätä, mutta en ole osannut. Suu oli vetäynyt alaspäin,
niinkuin ihmisellä, joka oudostellen katsoa tuijottelee…
Kaula oli kolmiosainen, melkein niinkuin kravun jalka. Raajain
niveliä en voinut nähdä, ne kun oli kiedottu kääreisin, — siinä sen
ainoa puku.
Sennäköinen olento se nyt katseli meitä tuossa!
Minun ajatukseni askaroitsi tällä haavaa yksinomaa tässä
kysymyksessä: kuinka moinen luoma on lainkaan mahdollinen? Hän
oli kaiketi peljästynyt hänkin, kenties vielä suuremmasta syystä kuin
me. Mutta eihän se sen syötävä näyttänyt sitä. Me ainakin tiesimme,
millä tavoin tämä yhtymys näin kokonaan erillaisten olentojen välillä
oli syntynyt. Aatelkaahan, miltä tuntuisi kunnon lontoolaisesta,
esimerkiksi, jos hän Hyde Parkissa äkkiä näkisi lampaitten joukossa
hyppimässä pari elävää, ihmisen kokoista olentoa, aivan toisenlaista
kuin kaikki muut eläimet maan päällä! Siltä lienee tuostakin
tuntunut.
Entäs me! Kammitsassa kädet ja jalat, väsyneinä, likaisina,
parransänki kahta tuumaa pitkä, kasvot mustelmissa ja
verinaarmuissa. Kuvailkaa mielessänne Cavor: poloisella polvihousut
jalassa, useammasta kohden pensaan piikeissä repeyneet, yllään
Jaeger-paita ja päässä vanha krikettilakki, karkea tukka pörrössä,
takkulat kaikkiin neljään ilmansuuntaan. Tässä sinervässä valossa
hänen kasvonsa eivät näyttäneet punakoilta, vaan peräti tummilta ja
huulet, niinkuin hyytynyt veri minun käsissänikin, mustilta. Minä olin,
jos mahdollista, vielä surkeamman näköinen kuin hän, minä kun olin
pudota jysähtänyt keskelle keltaisia sammalia. Nutut oli meillä
päästetty napeista auki, kengät riisuttu ja pantu jalkojemme juureen.
Ja niin me siinä istuimme seljin tuohon omituiseen sinertävään
valoon, tähystellen: milloinka vain ilmestyneekään sieltä joku hirviö,
jommoisen Dürer olisi ollut omiansa tässä keksimään.
Cavor katkaisi äänettömyyden. Hän koetti puhua, tunsi äänensä
käheäksi ja karisti kulkkuansa. Ulkoa kuului samassa hirmuinen
Minun ajatukseni askaroitsi tällä haavaa yksinomaa tässä
kysymyksessä: kuinka moinen luoma on lainkaan mahdollinen? Hän
oli kaiketi peljästynyt hänkin, kenties vielä suuremmasta syystä kuin
me. Mutta eihän se sen syötävä näyttänyt sitä. Me ainakin tiesimme,
millä tavoin tämä yhtymys näin kokonaan erillaisten olentojen välillä
oli syntynyt. Aatelkaahan, miltä tuntuisi kunnon lontoolaisesta,
esimerkiksi, jos hän Hyde Parkissa äkkiä näkisi lampaitten joukossa
hyppimässä pari elävää, ihmisen kokoista olentoa, aivan toisenlaista
kuin kaikki muut eläimet maan päällä! Siltä lienee tuostakin
tuntunut.
Entäs me! Kammitsassa kädet ja jalat, väsyneinä, likaisina,
parransänki kahta tuumaa pitkä, kasvot mustelmissa ja
verinaarmuissa. Kuvailkaa mielessänne Cavor: poloisella polvihousut
jalassa, useammasta kohden pensaan piikeissä repeyneet, yllään
Jaeger-paita ja päässä vanha krikettilakki, karkea tukka pörrössä,
takkulat kaikkiin neljään ilmansuuntaan. Tässä sinervässä valossa
hänen kasvonsa eivät näyttäneet punakoilta, vaan peräti tummilta ja
huulet, niinkuin hyytynyt veri minun käsissänikin, mustilta. Minä olin,
jos mahdollista, vielä surkeamman näköinen kuin hän, minä kun olin
pudota jysähtänyt keskelle keltaisia sammalia. Nutut oli meillä
päästetty napeista auki, kengät riisuttu ja pantu jalkojemme juureen.
Ja niin me siinä istuimme seljin tuohon omituiseen sinertävään
valoon, tähystellen: milloinka vain ilmestyneekään sieltä joku hirviö,
jommoisen Dürer olisi ollut omiansa tässä keksimään.
Cavor katkaisi äänettömyyden. Hän koetti puhua, tunsi äänensä
käheäksi ja karisti kulkkuansa. Ulkoa kuului samassa hirmuinen
mölinä, niinkuin kuunvasikan hätähuuto. Se päättyi kovaan
parahdukseen, ja sitten oli kaikki taas hiljaa.
Seleniita pyörähti äkkiä ja puikahti varjoon. Tuokion aikaa hän
seisoi ovessa, seljin valoon, ja veti sitten oven kiinni. Ja nyt sitä taas
oltiin samassa humuavassa pimeydessä, jossa olimme heränneetkin.
parahdukseen, ja sitten oli kaikki taas hiljaa.
Seleniita pyörähti äkkiä ja puikahti varjoon. Tuokion aikaa hän
seisoi ovessa, seljin valoon, ja veti sitten oven kiinni. Ja nyt sitä taas
oltiin samassa humuavassa pimeydessä, jossa olimme heränneetkin.
XIII.
Mr. Cavorin arveluita.
Hetken aikaa olimme ääneti kumpikin. Koota yhteen kaikki, mitä
olimme saaneet kokea, — se tuntui käyvän yli minun henkisten
voimieni.
— Nyt ollaan heidän vallassaan, — virkoin minä vihdoin.
— Sen ne sienet teki.
— Niin, mutta ellen minä olisi niitä maistanut, niin nälkäänhän sitä
olisi kuoltu.
— Pallo olisi löydetty.
Tuommoinen itsepäinen jankutus vei minulta maltin kerrassaan;
minä kirosin itsekseni. Jonkun aikaa me vihasimme toisiamme
kaikessa hiljaisuudessa. Minä rummuttelin sormillani lattiaa polvieni
välissä ja kalistelin kahleitani. Äkkiä minun tuli taas pakko puhua.
— Oli miten oli… Mitäs te kaikesta tästä luulette? — kysäisin minä
säveästi.
Mr. Cavorin arveluita.
Hetken aikaa olimme ääneti kumpikin. Koota yhteen kaikki, mitä
olimme saaneet kokea, — se tuntui käyvän yli minun henkisten
voimieni.
— Nyt ollaan heidän vallassaan, — virkoin minä vihdoin.
— Sen ne sienet teki.
— Niin, mutta ellen minä olisi niitä maistanut, niin nälkäänhän sitä
olisi kuoltu.
— Pallo olisi löydetty.
Tuommoinen itsepäinen jankutus vei minulta maltin kerrassaan;
minä kirosin itsekseni. Jonkun aikaa me vihasimme toisiamme
kaikessa hiljaisuudessa. Minä rummuttelin sormillani lattiaa polvieni
välissä ja kalistelin kahleitani. Äkkiä minun tuli taas pakko puhua.
— Oli miten oli… Mitäs te kaikesta tästä luulette? — kysäisin minä
säveästi.
— Järkeviä olentoja ne ovat… Ne pystyvät tekemään yhtä ja
toista.
Nuo valotkin, jotka näimme…
Hän pysähtyi. Ei näkynyt olevan sen selvemmällä hänkään. Ja sen
huomasi, kun hän taas rupesi puhumaan.
— Enemmän ihmismäisiä ne ovat kuin olimme oikeutetut
luulemaankaan.
Arvelenpa…
— Arvelenpa joka tapauksessa, että järjellisillä olennoilla kaikissa
planetoissa, missä niitä löytyy, on päälaki ylöspäin, ja kädet niillä on,
ja pystyssä ne astuvat…
Äkkiä hän käänsi puheen toisaalle.
— Nyt ollaan kappale matkaa kuun uumenissa, — sanoi hän. —
Pari tuhatta jalkaa alempana, kenties enemmänkin.
— Mistä sen päätätte?
— Tääll' on vilpoisempi. Äänetkin kuuluvat kovemmilta. Tuo
hataruus… sitä ei ole enää. Ja toiseltahan nyt tuntuu korvissakin ja
kulkussa.
Sitä en ollut tähän saakka huomannutkaan, mutta huomasin nyt.
— Ilma on täällä sakeampaa. Nyt ollaan kenties kokonaista mailia
syvemmällä.
— Emme tulleet ajatelleeksikaan, että kuun sisässä on oma
maailma.
toista.
Nuo valotkin, jotka näimme…
Hän pysähtyi. Ei näkynyt olevan sen selvemmällä hänkään. Ja sen
huomasi, kun hän taas rupesi puhumaan.
— Enemmän ihmismäisiä ne ovat kuin olimme oikeutetut
luulemaankaan.
Arvelenpa…
— Arvelenpa joka tapauksessa, että järjellisillä olennoilla kaikissa
planetoissa, missä niitä löytyy, on päälaki ylöspäin, ja kädet niillä on,
ja pystyssä ne astuvat…
Äkkiä hän käänsi puheen toisaalle.
— Nyt ollaan kappale matkaa kuun uumenissa, — sanoi hän. —
Pari tuhatta jalkaa alempana, kenties enemmänkin.
— Mistä sen päätätte?
— Tääll' on vilpoisempi. Äänetkin kuuluvat kovemmilta. Tuo
hataruus… sitä ei ole enää. Ja toiseltahan nyt tuntuu korvissakin ja
kulkussa.
Sitä en ollut tähän saakka huomannutkaan, mutta huomasin nyt.
— Ilma on täällä sakeampaa. Nyt ollaan kenties kokonaista mailia
syvemmällä.
— Emme tulleet ajatelleeksikaan, että kuun sisässä on oma
maailma.
— Emme.
— Mahdotonta se olisi ollutkin.
— Olisi pitänyt sitäkin ajatella… mutta ihminen piityy niin
kokonaan totuttuun ajatustapaansa.
Hän mietiskeli hetkisen.
— Nyt, — sanoi hän, — nyt tuo näyttää niin päivänselvältä.
— Tietysti. Kuussa täytyy olla suunnattomia onteloita, ilmaa
täynnään, ja ontelojen keskuksessa on järvi.
— Tiedettiinhän jo ennenkin, että kuun ominaispaino on pienempi
kuin maan; tiedettiin, että sen pinnalla on vähän ilmaa tai vettä;
sekin tiedettiin, että kuu on maan sisar-planetta, ja että siis on
mahdoton ajatella sen olevan rakenteeltaan toisenlaisen. Ja se
päätös, että sen täytyy olla ontto, oli käteen tuntuva. Ja
kumminkaan sitä ei ole koskaan tosiasiana nähty. Kepler tosin…
Hänen äänessään ilmeni syvä asianharrastus, niinkuin
konsanaankin miehessä, joka on päässyt selvien johtopäätöksien
jäljille.
— Niin, — jatkoi hän. — Kepler noine sub-volcan'eineen oli
sittenkin oikeassa.
— Olisi ollut suotava, että te olisitte ottanut vaivaksenne saada
selville kaiken tuon, ennenkuin tänne tultiin, — virkoin minä.
Hän ei vastannut mitään, pörisihän vaan, ajatuksiansa ajellessaan.
Minen malttanut enää.
— Mahdotonta se olisi ollutkin.
— Olisi pitänyt sitäkin ajatella… mutta ihminen piityy niin
kokonaan totuttuun ajatustapaansa.
Hän mietiskeli hetkisen.
— Nyt, — sanoi hän, — nyt tuo näyttää niin päivänselvältä.
— Tietysti. Kuussa täytyy olla suunnattomia onteloita, ilmaa
täynnään, ja ontelojen keskuksessa on järvi.
— Tiedettiinhän jo ennenkin, että kuun ominaispaino on pienempi
kuin maan; tiedettiin, että sen pinnalla on vähän ilmaa tai vettä;
sekin tiedettiin, että kuu on maan sisar-planetta, ja että siis on
mahdoton ajatella sen olevan rakenteeltaan toisenlaisen. Ja se
päätös, että sen täytyy olla ontto, oli käteen tuntuva. Ja
kumminkaan sitä ei ole koskaan tosiasiana nähty. Kepler tosin…
Hänen äänessään ilmeni syvä asianharrastus, niinkuin
konsanaankin miehessä, joka on päässyt selvien johtopäätöksien
jäljille.
— Niin, — jatkoi hän. — Kepler noine sub-volcan'eineen oli
sittenkin oikeassa.
— Olisi ollut suotava, että te olisitte ottanut vaivaksenne saada
selville kaiken tuon, ennenkuin tänne tultiin, — virkoin minä.
Hän ei vastannut mitään, pörisihän vaan, ajatuksiansa ajellessaan.
Minen malttanut enää.
— Kuinkas teidän mielestänne meidän pallon on käynyt? —
kysäisin minä.
— Mennyttä kalua, — tokasi hän, niinkuin ainakin se, joka vastaa
epämieluisaan kysymykseen.
— Kasveihinko hukkunut, vai?
— Elleiväthän ne sitä löydä.
— Entäs jos?
— Mistäs minä tiedän?
— Cavor, — lausuin minä jonkinlaisella hysterillisellä katkeruudella,
— kovin näyttävät olevan loistavalla kannalla ne minun yhtiö-
aatteeni.
Hän oli ääneti.
— Hyväinen aika! — huudahdin minä. — Kun aattelee, mitä
kaikkea vaivaa on saatu nähdä, ennenkuin on tähän kuiluun
kupsahdettu!… Mitä varten me tänne oikeastaan tulimme? Mitä
hakemaan? Mitä kuulla oli tekemistä meidän kanssamme tai meillä
kuun? Me tavoittelimme liikoja. Me yritimme liikoja. Meidän olisi
pitänyt pysyä pienemmissä asioissa ensin. Tehän te tätä kuuta
esititte! Cavoriiti-uutimet muka! Ihan varmaan niitä olisi sopinut
käyttää maallisiinkin tarkoituksiin. Ihan varmaan! Käsitittekö te
oikeastaan minun ehdotustani? Teräslieriö…
— Höröntöröä! — virkkoi Cavor.
Keskustelu katkesi.
kysäisin minä.
— Mennyttä kalua, — tokasi hän, niinkuin ainakin se, joka vastaa
epämieluisaan kysymykseen.
— Kasveihinko hukkunut, vai?
— Elleiväthän ne sitä löydä.
— Entäs jos?
— Mistäs minä tiedän?
— Cavor, — lausuin minä jonkinlaisella hysterillisellä katkeruudella,
— kovin näyttävät olevan loistavalla kannalla ne minun yhtiö-
aatteeni.
Hän oli ääneti.
— Hyväinen aika! — huudahdin minä. — Kun aattelee, mitä
kaikkea vaivaa on saatu nähdä, ennenkuin on tähän kuiluun
kupsahdettu!… Mitä varten me tänne oikeastaan tulimme? Mitä
hakemaan? Mitä kuulla oli tekemistä meidän kanssamme tai meillä
kuun? Me tavoittelimme liikoja. Me yritimme liikoja. Meidän olisi
pitänyt pysyä pienemmissä asioissa ensin. Tehän te tätä kuuta
esititte! Cavoriiti-uutimet muka! Ihan varmaan niitä olisi sopinut
käyttää maallisiinkin tarkoituksiin. Ihan varmaan! Käsitittekö te
oikeastaan minun ehdotustani? Teräslieriö…
— Höröntöröä! — virkkoi Cavor.
Keskustelu katkesi.
Kotvasen koetti sitten Cavor yksinään pitää ääntä, saamatta
kovinkaan paljon säestystä minun puoleltani.
— Jos ne sen pallon löytävät, — alkoi hän, — jos ne sen löytävät…
niin mitä ne sillä? Sepä se. Ja siinä se ydinkohta lieneekin. Ei ne sitä
ymmärrä. Jos ne sellaista ymmärtäisivät, niin jo ne aikaa sitten
olisivat tulleet maahan. Eikö? Miksei? Ei ne olisi jättäneet hyväkseen
käyttämättä sellaista tilaisuutta. Ei maar! Nyt he rupeavat tutkimaan
sitä. Älykästä ja tiedonhaluista väkeähän ne ovat. Ne tutkivat ja
tarkastelevat… menevät sisään… naprivat nappuloita. Sinne meni! Ja
se merkitsee, että kuuhun sitä jäätiin koko iäksemme. Kummallista
väkeä, kummastuttavia tietoja…
— Mitä niihin kummastuttaviin tietoihin tulee… — yritin minä,
mutta sanomatta multa jäi.
— Kuulkaas nyt, Bedford, — virkkoi Cavor, — vapaasta
tahdostannehan te läksitte tälle retkelle?
— Senhän piti olla tiedusteluretki.
— Kaikissa tiedusteluissa on vaaroja tarjona.
— Varsinkin kun ne tehdään ilman varustuksia, harkitsematta
kaikkia mahdollisuuksia.
— Pallohan se veti minulta kaiken huomion puoleensa. Tapaus
yllätti meidät ja vei mukanaan.
— Yllätti minut, sanokaa niin.
— Yhtä paljon minutkin. Mistäs minä tiesin, että, ruvetessani
tutkimaan molekulaarifysikkaa, minut viskaisi tänne ja juuri tänne?
kovinkaan paljon säestystä minun puoleltani.
— Jos ne sen pallon löytävät, — alkoi hän, — jos ne sen löytävät…
niin mitä ne sillä? Sepä se. Ja siinä se ydinkohta lieneekin. Ei ne sitä
ymmärrä. Jos ne sellaista ymmärtäisivät, niin jo ne aikaa sitten
olisivat tulleet maahan. Eikö? Miksei? Ei ne olisi jättäneet hyväkseen
käyttämättä sellaista tilaisuutta. Ei maar! Nyt he rupeavat tutkimaan
sitä. Älykästä ja tiedonhaluista väkeähän ne ovat. Ne tutkivat ja
tarkastelevat… menevät sisään… naprivat nappuloita. Sinne meni! Ja
se merkitsee, että kuuhun sitä jäätiin koko iäksemme. Kummallista
väkeä, kummastuttavia tietoja…
— Mitä niihin kummastuttaviin tietoihin tulee… — yritin minä,
mutta sanomatta multa jäi.
— Kuulkaas nyt, Bedford, — virkkoi Cavor, — vapaasta
tahdostannehan te läksitte tälle retkelle?
— Senhän piti olla tiedusteluretki.
— Kaikissa tiedusteluissa on vaaroja tarjona.
— Varsinkin kun ne tehdään ilman varustuksia, harkitsematta
kaikkia mahdollisuuksia.
— Pallohan se veti minulta kaiken huomion puoleensa. Tapaus
yllätti meidät ja vei mukanaan.
— Yllätti minut, sanokaa niin.
— Yhtä paljon minutkin. Mistäs minä tiesin, että, ruvetessani
tutkimaan molekulaarifysikkaa, minut viskaisi tänne ja juuri tänne?
— Lemmon tiedettä tuo tuommoinen! — huudahdin minä. —
Hiidestä heitettyä! Keskiajan papit ja vainoojat ne olivat oikeassa,
nää nykyaikuiset väärässä joka mies. Ihminen ryhtyy tuon tieteen
kanssa kauppoihin, ja se tarjoaa hänelle ties mitä hyvää. Ja juuri
kuin hän tarttuu niihin, niin jo se lyö hänet mäsäksi jollain
odottamattomalla tavalla. Vanhat intohimot ja uudet aseet… milloin
se tekee lopun hänen uskonnostaan, milloin kumoaa hänen sosialiset
aatteensa, milloin lennättää hänet erämaahan, kurjuutta näkemään!
— Oli miten oli; tarpeetonta teidän on riidellä minun kanssani nyt.
Nuo luomat — nuo seleniitat, vai miksi heitä sanommekaan — ovat
nyt kytkeneet meidät kahleisin käsistä sekä jaloista. Kestäkää tämä
millä mielellä tahdotte, kestettävä se vaan on… Me saamme kokea
yhtä ja toista, ja se kysyy kyllä kylmäverisyyttä meiltä.
Hän pysähtyi, ikäänkuin odotellen minun myöntymystäni. Mutta
minä istuin äreänä.
— Palttua minä teidän tieteellenne! — murahdin minä.
— Nyt, — sanoi Cavor, — nyt on kysymys, mitenkä keskustella
heidän kanssaan. Viittaukset, pelkään minä, ovat heillä ihan
toisenlaiset kuin meillä. Merkkikieltäkö? Merkkejä eivät käytä
mitkään muut luontokappaleet kuin ihmiset ja apinat.
Tuo väite oli minun mielestäni kerrassaan nurinpäinen.
Melkein jokikinen eläin, — huudahdin minä, — antaa merkkejä
silmillään tai kuonollaan.
Cavor miettimään.
Hiidestä heitettyä! Keskiajan papit ja vainoojat ne olivat oikeassa,
nää nykyaikuiset väärässä joka mies. Ihminen ryhtyy tuon tieteen
kanssa kauppoihin, ja se tarjoaa hänelle ties mitä hyvää. Ja juuri
kuin hän tarttuu niihin, niin jo se lyö hänet mäsäksi jollain
odottamattomalla tavalla. Vanhat intohimot ja uudet aseet… milloin
se tekee lopun hänen uskonnostaan, milloin kumoaa hänen sosialiset
aatteensa, milloin lennättää hänet erämaahan, kurjuutta näkemään!
— Oli miten oli; tarpeetonta teidän on riidellä minun kanssani nyt.
Nuo luomat — nuo seleniitat, vai miksi heitä sanommekaan — ovat
nyt kytkeneet meidät kahleisin käsistä sekä jaloista. Kestäkää tämä
millä mielellä tahdotte, kestettävä se vaan on… Me saamme kokea
yhtä ja toista, ja se kysyy kyllä kylmäverisyyttä meiltä.
Hän pysähtyi, ikäänkuin odotellen minun myöntymystäni. Mutta
minä istuin äreänä.
— Palttua minä teidän tieteellenne! — murahdin minä.
— Nyt, — sanoi Cavor, — nyt on kysymys, mitenkä keskustella
heidän kanssaan. Viittaukset, pelkään minä, ovat heillä ihan
toisenlaiset kuin meillä. Merkkikieltäkö? Merkkejä eivät käytä
mitkään muut luontokappaleet kuin ihmiset ja apinat.
Tuo väite oli minun mielestäni kerrassaan nurinpäinen.
Melkein jokikinen eläin, — huudahdin minä, — antaa merkkejä
silmillään tai kuonollaan.
Cavor miettimään.
— Niin, — virkkoi hän viimein. — Kyllä niinkin. Se on niin
erillaista… niin erillaista! Saattaisihan… mitenkä mä nyt oikein
sanoisin?… Kielihän on heilläkin. Heidän puheensa on tuommoista
uikuttamista ja piipittämistä. En ymmärrä, kuinka se meiltä sujuisi.
Ja lieneekö tuo tuollainen heidän puhettansa, vai mitä se on? Heillä
on kukaties aistitkin toisenlaiset ja ajatusten lausuminenkin
toisenlaista. Henkiolentoja he kuitenkin ovat, ja henkiolentoja
olemme me: tottahan sitten meillä lienee jotain yhteistä. Ties minkä
verran käsittäisivätkään meitä!
— Ei ne ole samaa laatua lainkaan, — sanoin minä. — Ne eroavat
meistä enemmän kuin erillaisimmat eläimet maan päällä toisistaan.
Toista sorttia ne ovat kokonaan. Mitä te sitten turhia?
— Ei maar! — sanoi Cavor hetken mietittyänsä. — Missä henkiä
on, siellä on jotain yhtäläisyyttäkin niitten välillä, vaikkapa olisivatkin
eri planetoilla kehittyneet. Tietysti, jos asia koskisi vaistoja vain… jos
he olisivat pelkkiä eläimiä…
— Mitäs ne muutakaan ovat? Takaraajojensa puolesta ne ovat
enemmän muurahaisten kuin ihmisten näköisiä, ja onko
ikimaailmassa kukaan saanut selvää muurahaisen puheesta?
— Entäs nuo koneet ja vaatetus? Ei maar, minä olen toista mieltä
kuin te. Juopa on suuri…
— Ylipääsemätön.
— Mutta yhtäläisyys muodostaa sillan sen yli. Muistan lukeneeni
kerran erään kirjoituksen professori Galton vainajalta: keskustelun
mahdollisuudesta muitten planettain kanssa. — Siihen aikaan minä
valitettavasti luulin, ettei siitä olisi minulle niitäkään hyötyä, mutta
erillaista… niin erillaista! Saattaisihan… mitenkä mä nyt oikein
sanoisin?… Kielihän on heilläkin. Heidän puheensa on tuommoista
uikuttamista ja piipittämistä. En ymmärrä, kuinka se meiltä sujuisi.
Ja lieneekö tuo tuollainen heidän puhettansa, vai mitä se on? Heillä
on kukaties aistitkin toisenlaiset ja ajatusten lausuminenkin
toisenlaista. Henkiolentoja he kuitenkin ovat, ja henkiolentoja
olemme me: tottahan sitten meillä lienee jotain yhteistä. Ties minkä
verran käsittäisivätkään meitä!
— Ei ne ole samaa laatua lainkaan, — sanoin minä. — Ne eroavat
meistä enemmän kuin erillaisimmat eläimet maan päällä toisistaan.
Toista sorttia ne ovat kokonaan. Mitä te sitten turhia?
— Ei maar! — sanoi Cavor hetken mietittyänsä. — Missä henkiä
on, siellä on jotain yhtäläisyyttäkin niitten välillä, vaikkapa olisivatkin
eri planetoilla kehittyneet. Tietysti, jos asia koskisi vaistoja vain… jos
he olisivat pelkkiä eläimiä…
— Mitäs ne muutakaan ovat? Takaraajojensa puolesta ne ovat
enemmän muurahaisten kuin ihmisten näköisiä, ja onko
ikimaailmassa kukaan saanut selvää muurahaisen puheesta?
— Entäs nuo koneet ja vaatetus? Ei maar, minä olen toista mieltä
kuin te. Juopa on suuri…
— Ylipääsemätön.
— Mutta yhtäläisyys muodostaa sillan sen yli. Muistan lukeneeni
kerran erään kirjoituksen professori Galton vainajalta: keskustelun
mahdollisuudesta muitten planettain kanssa. — Siihen aikaan minä
valitettavasti luulin, ettei siitä olisi minulle niitäkään hyötyä, mutta
nytpä pelkään kiinnittäneeni siihen liian vähän huomiota… nykyiseen
asiain tilaan nähden. Mutta… älkääs huoliko…
— Niin, — jatkoi hän. — Hänen aatteensa mukaan pitäisi aloittaa
sellaisilla laajaperäisillä totuuksilla, joitten täytyy olla ylt'yleisiä
kaikille mahdollisille henkisille olennoille, ja panna ne yrityksen
pohjaksi. Ensi alussa, esimerkiksi, geometrilliset totuudet. Hänen
ehdotuksensa mukaan olisi otettava joku Euklideen pääväitteistä,
rakennettava se suureen muotoon ja sen kautta annettava tietää,
että se ja se totuus on meille tuttu. Niinpä esimerkiksi olisi
todistettava, että tasakylkisen kolmion asemakulmat ovat yhtäsuuret,
ja että, jos kyljet pitennetään, ulkokulmatkin ovat yhtäsuuret; tahi
että suorakulmaisen kolmion hypotenusalle rakettu neliö on
yhtäsuuri kuin toisille sivuille raketut neliöt yhteensä. Tällaisten
asiain todistamisella me todistaisimme olevamme järjellisiä
olentoja… Aatelkaas nyt, että… että minä piirrän geometrillisen
kuvion märällä sormella johonkin pintaan tahi ilmaan vain…
Hän vaikeni. Hänen sanansa panivat minut miettimään. Ensi alussa
minut lumosi tuo hänen hapuileva toivonsa päästä keskustelemaan
näitten aavemaisten olentojen kanssa. Mutta ennen pitkää valtasi
minut jälleen äreä epätoivo, seurauksena mieleni masennuksesta ja
ruumiillisesta kurjuudesta. Äkkiä minä taas, entistä elävämmin,
tunsin, kuinka peräti päättömästi minä olin tähän saakka menetellyt.
— Aasi! — huudahdin minä itselleni. — Senkin aasi, auttamaton
aasi!… Minun kohtaloni näkyy olevan tehdä kaikki nurinpäin…
Miksikä me pallosta lainkaan lähdimme?… Hyppiä heilata ympäri
kuun kraatereita, etsimässä muka patentteja ja osakeyhtiöihin
aiheita!… Jospa edes olisi meissä ollut sen verran älyä, että olisimme
sitoneet nenäliinan riuun nenään pallon kohdalle!…
asiain tilaan nähden. Mutta… älkääs huoliko…
— Niin, — jatkoi hän. — Hänen aatteensa mukaan pitäisi aloittaa
sellaisilla laajaperäisillä totuuksilla, joitten täytyy olla ylt'yleisiä
kaikille mahdollisille henkisille olennoille, ja panna ne yrityksen
pohjaksi. Ensi alussa, esimerkiksi, geometrilliset totuudet. Hänen
ehdotuksensa mukaan olisi otettava joku Euklideen pääväitteistä,
rakennettava se suureen muotoon ja sen kautta annettava tietää,
että se ja se totuus on meille tuttu. Niinpä esimerkiksi olisi
todistettava, että tasakylkisen kolmion asemakulmat ovat yhtäsuuret,
ja että, jos kyljet pitennetään, ulkokulmatkin ovat yhtäsuuret; tahi
että suorakulmaisen kolmion hypotenusalle rakettu neliö on
yhtäsuuri kuin toisille sivuille raketut neliöt yhteensä. Tällaisten
asiain todistamisella me todistaisimme olevamme järjellisiä
olentoja… Aatelkaas nyt, että… että minä piirrän geometrillisen
kuvion märällä sormella johonkin pintaan tahi ilmaan vain…
Hän vaikeni. Hänen sanansa panivat minut miettimään. Ensi alussa
minut lumosi tuo hänen hapuileva toivonsa päästä keskustelemaan
näitten aavemaisten olentojen kanssa. Mutta ennen pitkää valtasi
minut jälleen äreä epätoivo, seurauksena mieleni masennuksesta ja
ruumiillisesta kurjuudesta. Äkkiä minä taas, entistä elävämmin,
tunsin, kuinka peräti päättömästi minä olin tähän saakka menetellyt.
— Aasi! — huudahdin minä itselleni. — Senkin aasi, auttamaton
aasi!… Minun kohtaloni näkyy olevan tehdä kaikki nurinpäin…
Miksikä me pallosta lainkaan lähdimme?… Hyppiä heilata ympäri
kuun kraatereita, etsimässä muka patentteja ja osakeyhtiöihin
aiheita!… Jospa edes olisi meissä ollut sen verran älyä, että olisimme
sitoneet nenäliinan riuun nenään pallon kohdalle!…
Minä lyyhistyin, vihasta puhkien.
— Selvää on, — puheli Cavor, — että ne ovat järjellisiä olentoja.
Sen huomaa kaikesta. Ne eivät tappaneet meitä heti paikalla; se
tietää siis, että ne osaavat armahtaa… armahtaa tai ainakin
pidättäytyä… kenties keskustelukin. Tulevat kukaties tänne meitä
katsomaan. Aatelkaas tätä huonetta, ja minkä vaikutuksen vartija
meihin teki! Entäs nämä kahleet? Todistuksia korkealle kehittyneestä
älystä nekin…
— Nurinkurista! — intin minä. — Ojasta allikkoon. Hullun yritys
ensin ja toinen perään. Sitä se luottamus teihin teki! Miksen
vainenkaan pysynyt näytelmäni ääressä? Siihen olisin kyllä pystynyt.
Siinä minun maailmani, siinä elämä, jota varten minä olin luotu. Minä
olisin saanut näytelmäni kirjoitetuksi. Niin… ja hyvä siitä olisi
tullutkin. Suunnittelu oli jo melkein ihan valmis. Mutta sitten…
aatelkaas… lähteä loikkaamaan kuuhun! Minun elämäni on,
käytännöllisesti puhuen, mennyt sitä sipoista tietään! Tuolla vanhalla
muijalla Canterburyn ravintolassa oli enemmän älyä päässä…
Minä nostin silmäni ja pysähdyin kesken puhettani. Sinervä valo oli
jälleen hulvahtanut pimeyteen. Ovi oli auki, ja useampia seleniitoja
näkyi astuvan kuulumattomin askelin huoneesen. Sanaakaan
sanomatta minä katselin heidän kummallisia kasvojaan.
Äkkiäpä tämä epähauskalta tuntuva oudostelu muuttui hartaaksi
mielenkiinnoksi. Huomasin kahden ensimmäisen kantavan vateja.
Olihan olemassa ainakin yksi yhteinen tarve, joka oli käsitettävissä
niin heille kuin meillekin. Vadit oli tehty jostakin metallista, joka,
niinkuin meidän kahleemmekin, näytti tässä sinervässä valossa
tummalta. Kummassakin vadissa oli vaaleahkoja palasia. Kaikki se
tuima tuska ja kova kurjuus, mikä minua tähän saakka oli painanut,
— Selvää on, — puheli Cavor, — että ne ovat järjellisiä olentoja.
Sen huomaa kaikesta. Ne eivät tappaneet meitä heti paikalla; se
tietää siis, että ne osaavat armahtaa… armahtaa tai ainakin
pidättäytyä… kenties keskustelukin. Tulevat kukaties tänne meitä
katsomaan. Aatelkaas tätä huonetta, ja minkä vaikutuksen vartija
meihin teki! Entäs nämä kahleet? Todistuksia korkealle kehittyneestä
älystä nekin…
— Nurinkurista! — intin minä. — Ojasta allikkoon. Hullun yritys
ensin ja toinen perään. Sitä se luottamus teihin teki! Miksen
vainenkaan pysynyt näytelmäni ääressä? Siihen olisin kyllä pystynyt.
Siinä minun maailmani, siinä elämä, jota varten minä olin luotu. Minä
olisin saanut näytelmäni kirjoitetuksi. Niin… ja hyvä siitä olisi
tullutkin. Suunnittelu oli jo melkein ihan valmis. Mutta sitten…
aatelkaas… lähteä loikkaamaan kuuhun! Minun elämäni on,
käytännöllisesti puhuen, mennyt sitä sipoista tietään! Tuolla vanhalla
muijalla Canterburyn ravintolassa oli enemmän älyä päässä…
Minä nostin silmäni ja pysähdyin kesken puhettani. Sinervä valo oli
jälleen hulvahtanut pimeyteen. Ovi oli auki, ja useampia seleniitoja
näkyi astuvan kuulumattomin askelin huoneesen. Sanaakaan
sanomatta minä katselin heidän kummallisia kasvojaan.
Äkkiäpä tämä epähauskalta tuntuva oudostelu muuttui hartaaksi
mielenkiinnoksi. Huomasin kahden ensimmäisen kantavan vateja.
Olihan olemassa ainakin yksi yhteinen tarve, joka oli käsitettävissä
niin heille kuin meillekin. Vadit oli tehty jostakin metallista, joka,
niinkuin meidän kahleemmekin, näytti tässä sinervässä valossa
tummalta. Kummassakin vadissa oli vaaleahkoja palasia. Kaikki se
tuima tuska ja kova kurjuus, mikä minua tähän saakka oli painanut,
katosi kokonaan, ilmeten nyt nälkänä. Ahnain silmin kuin susi minä
katselin noita vateja, sillä erää lainkaan välittämättä siitä — vaikka
unta siitä yhä vieläkin näen — että ensimmäisen seleniitan minua
kohti ojennetuista yläraajoista puuttui kädet; niissä ei ollut kuin
lipuke ja peukalo, niinkuin norsun kärsän päässä.
Palaset vadissa olivat löyhää ainetta, vaaleanruskeata väriltään,
melkein kuin kylmän omeletin palasia. Niitten haju muistutti sieniä.
Siitä teurastetusta ja puoleksi avatusta kuunvasikasta päättäen,
minkä ennen pitkää saimme nähdä, luulen noitten palasien olleen
kuunvasikan lihaa.
Käteni olivat niin tiukasti kiinni toisissaan, että tuskin ulotin vatiin.
Nähtyään minun ponnistukseni, kaksi seleniitaa läheni minua ja
irroittivat sangen sukkelasti yhden kierteen ranteistani. Heidän
tuntosarven tapaiset kätensä tuntuivat pehmeiltä ja kylmiltä. Minä
ahmasin heti kohta ruokaa suun täydeltä. Se oli haurasta ainetta,
niinkuin kaikki muukin organinen rakenne kuussa näkyy olevan. Se
oli kuin voffelia tai kosteata meringi-leivosta eikä maistunut millään
muotoa pahalta. Otin jälleen kaksi suuntäyttä.
— Syödä pitää, — virkoin minä, siepaten vielä suuren palasen.
Hetken aikaa me söimme vain, mistään muusta väliä pitämättä.
Me söimme ja sitten joimme kuin mitkä kulkurit kunnankeittiössä. Ei
ole minulla koskaan ennen eikä sittemminkään ollut niin hurjaa
nälkää, ja, ellen itse olisi kokenut, en olisi ikinä uskonut voivani niin
kerrassaan unohtaa koko ympäristöäni ja kiintyä yksinomaa
syömiseen neljännesmiljonan peninkulman päässä meidän maasta,
kesken sanomatonta mielenmasennusta ja noitten kummallisten
olentojen katsellessa ja kosketellessa meitä, olentojen, jotka olivat
oudomman ja epäinhimillisemmän näköisiä kuin pahinkin
katselin noita vateja, sillä erää lainkaan välittämättä siitä — vaikka
unta siitä yhä vieläkin näen — että ensimmäisen seleniitan minua
kohti ojennetuista yläraajoista puuttui kädet; niissä ei ollut kuin
lipuke ja peukalo, niinkuin norsun kärsän päässä.
Palaset vadissa olivat löyhää ainetta, vaaleanruskeata väriltään,
melkein kuin kylmän omeletin palasia. Niitten haju muistutti sieniä.
Siitä teurastetusta ja puoleksi avatusta kuunvasikasta päättäen,
minkä ennen pitkää saimme nähdä, luulen noitten palasien olleen
kuunvasikan lihaa.
Käteni olivat niin tiukasti kiinni toisissaan, että tuskin ulotin vatiin.
Nähtyään minun ponnistukseni, kaksi seleniitaa läheni minua ja
irroittivat sangen sukkelasti yhden kierteen ranteistani. Heidän
tuntosarven tapaiset kätensä tuntuivat pehmeiltä ja kylmiltä. Minä
ahmasin heti kohta ruokaa suun täydeltä. Se oli haurasta ainetta,
niinkuin kaikki muukin organinen rakenne kuussa näkyy olevan. Se
oli kuin voffelia tai kosteata meringi-leivosta eikä maistunut millään
muotoa pahalta. Otin jälleen kaksi suuntäyttä.
— Syödä pitää, — virkoin minä, siepaten vielä suuren palasen.
Hetken aikaa me söimme vain, mistään muusta väliä pitämättä.
Me söimme ja sitten joimme kuin mitkä kulkurit kunnankeittiössä. Ei
ole minulla koskaan ennen eikä sittemminkään ollut niin hurjaa
nälkää, ja, ellen itse olisi kokenut, en olisi ikinä uskonut voivani niin
kerrassaan unohtaa koko ympäristöäni ja kiintyä yksinomaa
syömiseen neljännesmiljonan peninkulman päässä meidän maasta,
kesken sanomatonta mielenmasennusta ja noitten kummallisten
olentojen katsellessa ja kosketellessa meitä, olentojen, jotka olivat
oudomman ja epäinhimillisemmän näköisiä kuin pahinkin
painajainen. He seisoivat ympärillämme, tuijotellen meihin ja silloin
tällöin sihauttaen toisilleen. Se oli luullakseni heidän puhettansa. Ei
minua kammottanut heidän kosketuksensakaan. Ja kun minä,
ensimmäisen nälänpuuskan ohimentyä, vilkasin Cavoriin, huomasin
hänenkin syöneen yhtä hävyttömän ahnaasti kuin minäkin.
tällöin sihauttaen toisilleen. Se oli luullakseni heidän puhettansa. Ei
minua kammottanut heidän kosketuksensakaan. Ja kun minä,
ensimmäisen nälänpuuskan ohimentyä, vilkasin Cavoriin, huomasin
hänenkin syöneen yhtä hävyttömän ahnaasti kuin minäkin.
Welcome to our website – the perfect destination for book lovers and
knowledge seekers. We believe that every book holds a new world,
offering opportunities for learning, discovery, and personal growth.
That’s why we are dedicated to bringing you a diverse collection of
books, ranging from classic literature and specialized publications to
self-development guides and children's books.
More than just a book-buying platform, we strive to be a bridge
connecting you with timeless cultural and intellectual values. With an
elegant, user-friendly interface and a smart search system, you can
quickly find the books that best suit your interests. Additionally,
our special promotions and home delivery services help you save time
and fully enjoy the joy of reading.
Join us on a journey of knowledge exploration, passion nurturing, and
personal growth every day!
ebookbell.com
knowledge seekers. We believe that every book holds a new world,
offering opportunities for learning, discovery, and personal growth.
That’s why we are dedicated to bringing you a diverse collection of
books, ranging from classic literature and specialized publications to
self-development guides and children's books.
More than just a book-buying platform, we strive to be a bridge
connecting you with timeless cultural and intellectual values. With an
elegant, user-friendly interface and a smart search system, you can
quickly find the books that best suit your interests. Additionally,
our special promotions and home delivery services help you save time
and fully enjoy the joy of reading.
Join us on a journey of knowledge exploration, passion nurturing, and
personal growth every day!
ebookbell.com
Download
Download Slideshow Get the original presentation fileQuick Actions
Statistics
- Views 7
- Slides 89
- Favorites 1
- Age 211 days
Related Slideshows
11
TLE-9-Prepare-Salad-and-Dressing.pptxkkk
MaAngelicaCanceran
40 views
12
LESSON 1 ABOUT MEDIA AND INFORMATION.pptx
JojitGueta
32 views
60
GRADE-8-AQUACULTURE-WEEKQ1.pdfdfawgwyrsewru
MaAngelicaCanceran
54 views
26
Feelings PP Game FOR CHILDREN IN ELEMENTARY SCHOOL.pptx
KaistaGlow
50 views
![Jeopardy_Figures_of_Speech_Template.pptx [Autosaved].pptx](https://slidepub.com/thumb/5828/284015828.jpg)
54
Jeopardy_Figures_of_Speech_Template.pptx [Autosaved].pptx
acecamero20
29 views
7
Jeopardy_Figures_of_Speech.pptxvdsvdsvsdvsd
acecamero20
30 views