[ebook] Digital Video Quality Vision Models and Metrics

Contents

About  the  Author  ix

Acknowledgements  xi

Acronyms  xiii

1  Introduction  1

1.1  Motivation  1

1.2  Outline  3

2  Vision  5

2.1  Eye  5

2.1.1  Physical  Principles  5

2.1.2  Optics  of  the  Eye  7

2.1.3  Optical  Quality  8

2.1.4  Eye  Movements  9

2.2  Retina  10

2.2.1  Photoreceptors  11

2.2.2  Retinal  Neurons  14

2.3  Visual  Pathways  16

2.3.1  Lateral  Geniculate  Nucleus  17

2.3.2  Visual  Cortex  18

2.4  Sensitivity  to  Light  20

2.4.1  Light  Adaptation  20

2.4.2  Contrast  Sensitivity  20

2.5  Color  Perception  25

2.5.1  Color  Matching  25

2.5.2  Opponent  Colors  26

2.6  Masking  and  Adaptation  28

2.6.1  Spatial  Masking  28

2.6.2  Temporal  Masking  30

2.6.3  Pattern  Adaptation  30

2.7  Multi-channel  Organization  31

2.7.1  Spatial  Mechanisms  31

2.7.2  Temporal  Mechanisms  32

2.8  Summary  33

3  Video  Quality  35

3.1  Video  Coding  and  Compression  36

3.1.1  Color  Coding  36

3.1.2  Interlacing  37

3.1.3  Compression  Methods  38

3.1.4  Standards  39

3.2  Artifacts  42

3.2.1  Compression  Artifacts  42

3.2.2  Transmission  Errors  45

3.2.3  Other  Impairments  47

3.3  Visual  Quality  47

3.3.1  Viewing  Distance  47

3.3.2  Subjective  Quality  Factors  48

3.3.3  Testing  Procedures  51

3.4  Quality  Metrics  54

3.4.1  Pixel-based  Metrics  54

3.4.2  Single-channel  Models  56

3.4.3  Multi-channel  Models  58

3.4.4  Specialized  Metrics  63

3.5  Metric  Evaluation  64

3.5.1  Performance  Attributes  64

3.5.2  Metric  Comparisons  66

3.5.3  Video  Quality  Experts  Group  66

3.5.4  Limits  of  Prediction  Performance  68

3.6  Summary  70

4  Models  and  Metrics  71

4.1  Isotropic  Contrast  72

4.1.1  Contrast  Definitions  72

4.1.2  In-phase  and  Quadrature  Mechanisms  73

4.1.3  Isotropic  Local  Contrast  76

4.1.4  Filter  Design  80

4.2  Perceptual  Distortion  Metric  82

4.2.1  Metric  Design  82

4.2.2  Color  Space  Conversion  84

4.2.3  Perceptual  Decomposition  86

4.2.4  Contrast  Gain  Control  91

4.2.5  Detection  and  Pooling  94

4.2.6  Parameter  Fitting  95

4.2.7  Demonstration  99

4.3  Summary  102

5  Metric  Evaluation  103

5.1  Still  Images  103

5.1.1  Test  Images  103

5.1.2  Subjective  Experiments  104

5.1.3  Prediction  Performance  107

vi  CONTENTS

5.2  Video  108

5.2.1  Test  Sequences  108

5.2.2  Subjective  Experiments  109

5.2.3  Prediction  Performance  111

5.2.4  Discussion  115

5.3  Component  Analysis  117

5.3.1  Dissecting  the  PDM  117

5.3.2  Color  Space  118

5.3.3  Decomposition  Filters  119

5.3.4  Pooling  Algorithm  120

5.4  Summary  123

6  Metric  Extensions  125

6.1  Blocking  Artifacts  125

6.1.1  Perceptual  Blocking  Distortion  Metric  125

6.1.2  Test  Sequences  127

6.1.3  Subjective  Experiments  128

6.1.4  Prediction  Performance  129

6.2  Object  Segmentation  129

6.2.1  Test  Sequences  131

6.2.2  Prediction  Performance  131

6.3  Image  Appeal  133

6.3.1  Background  133

6.3.2  Quantifying  Image  Appeal  134

6.3.3  Results  with  VQEG  Data  137

6.3.4  Test  Sequences  139

6.3.5  Subjective  Experiments  140

6.3.6  PDM  Prediction  Performance  144

6.3.7  Performance  with  Image  Appeal  Attributes  145

6.4  Summary  148

7  Closing  Remarks  149

7.1  Summary  149

7.2  Perspectives  151

Appendix:  Color  Space  Conversions  155

References  157

Index  171