multi media multimedia multi media multimedia

multi media multimedia

1. MULTIMEDIA Sistem Informasi UNRIYO
Materi 4
DISAIN MULTIMEDIA DASAR
REPRESENTASI DATA
MULTIMEDIA:
VIDEO DAN KOMPRESI

2. MULTIMEDIA
Media Representation
•Text
•Image
•Audio
•Video
•Animation
Sistem Informasi UNRIYO

3. MULTIMEDIA
1/6/06
3
•Digital image is a 2-d array of pixels
•Pixel is represented by bits in “color”
space
–RGB (Red-Green-Blue) in CRT
•additive color
–CMY(Cyan-Magenta-Yellow) in printing
•subtractive color
–YUV for black-white/color TV
•luminance/chrominance
Image representation
Sistem Informasi UNRIYO

4. MULTIMEDIA
How we get digital video frames?
•synthesis (usually by computer program)
•sampling (an analog video signal)

5. MULTIMEDIA
Type of Color Video Signal
Component video --each primary is sent as a separate
video signal.
•RGB atau luminance-chrominance (mis: YIQ, YUV).
•Reproduksi warna terbaik
•Membutuhkan bandwidth dan sinkronisasi dari 3
komponen
Composite video -- color (chrominance) and luminance
signals are mixed into a single carrier wave.
S-Video (Separated video, e.g., in S-VHS) -- a compromise
between component analog video and the composite
video. It uses two lines, one for luminance and another
for composite chrominance signal.

6. MULTIMEDIA
Tabel Warna
0
IndeksWarna
1
Monochrome,
1 bpp
0
IndeksWarna
5
Greyscale, 8
bpp
127
153
191
255
0
IndeksWarna
5
Custom
Colour, 8 bpp
127
153
191
255
0
MerahHijau
5
RGB Colour, 24 bpp
127
153
191
255
Biru
0
5
127
153
191
255
0
5
127
153
191
255
•Tabel Warna adalah kode yang memetakan indeks dengan warna tertentu
•Setiap sample gambar (pixel) berisi sebuah indek (terdiri dari bi-bit) dari
Tabel Warna
•Semakin banyak bit per indeks, semakin kaya warna yang dimungkinkan,
namun semakin boros bit digunakan per gambar

7. MULTIMEDIA
Additive Color RGB
Cyan
Magenta
Yellow
White
Red
Green
Blue

8. MULTIMEDIA
Hue-Saturation-Brightnes
A. Saturation B. Hue C. Brightness D. All hues

9. MULTIMEDIA
1/6/06
9
Video representation
•Video is a sequence of images
–displayed at a certain rate

10. MULTIMEDIA
Sinyal Video Digital
Time
Index
1
Time
Index
L
N x M pixel /
frame
N x M x L x B bits video file
B bit/pixel

11. MULTIMEDIA
OBJEK: VIDEO
•Line Video Feed
•Videodisc: CAV, CLV
•Videotape: VHS, 88mm, Betacam
•Digital Video
•DVD
•Hypervideo
•Standar Video Analog: NTSC, PAL, SECAM dan HDTV
•Standar Video Digital: SIF, CIF, QCIF, QSIF
•Format File Video: AVI, MOV, MPEG, DAT, RM, SW, DLL

12. MULTIMEDIA
Format Video Analog (Televisi)
•NTSC (National Television Standards Committee):
–525 baris, 60 Hz refresh rate.
–720 pixel per baris
–Digunakan di Amerika, Korea, Jepang, dan Canada.
–Frame rate 30 fps
–Menggunakan format YIQ
•PAL (Phase Alternate Line):
–625 baris, 50 Hz refresh rate
–720 pixel per baris
–Digunakan di sebagian besar Eropa Barat.
–Frame rate: 25 fps
–Menggunakan format YUV.

13. MULTIMEDIA
•SECAM (Sequintial Colour and Memory System)
Séquentiel couleur avec mémoire
–Digunakan di Perancis, Rusia, dan Eropa timur
–Berdasarkan frequency modulation dengan 25 Hz
refresh rate dan 625 baris.
•HDTV (High Definition TV)
–Standar televisi baru dengan gambar layar lebar,
lebih jernih dan suara kualitas CD Auido.
–Aspek ratio 16:9 dibandingkan dengan sistem lain
4:3.
–Resolusi terdiri dari 1125 (1080 baris aktif) baris

14. MULTIMEDIA
Interlace Scan
•Adalah metode untuk menampilkan image/gambar
dalam rasterscanned display device seperti CRT televisi
analog, yang ditampilkan bergantian antara garis ganjil
dan genap secara cepat untuk setiap frame.
•Refresh rate yang disarankan untuk metode interlaced
adalah antara 50-80Hz.
•Interlace digunakan di sistem televisi analog: NTSC,
PAL, SECAM

15. MULTIMEDIA
Progressive Scan
•Adalah metode untuk menampilkan,
menyimpan, dan memancarkan gambar
dimana setiap baris untuk setiap frame
digambar secara berurutan. Biasa
digunakan pada CRT monitor komputer.

16. MULTIMEDIA
Mode Interlacing dan Consecutive
•Mode Progressive/Consecutive (non interlacing)
•Mode Interlacing

17. MULTIMEDIA

18. MULTIMEDIA
Video Digital
•Video digital disimpan dalam media
penyimpanan random (mis: magnetic/
optical disk).
•Sedangkan video analog  penyimpanan
sekuensial, (mis: magnetic disc/kaset
video.
•waktu akses yang cepat dalam mengakses
bagian manapun dari video.
•Mudah dalam proses edit

19. MULTIMEDIA
Video Digital
•Kualitas: sinyal analog dari video analog akan
mengalami penurunan kualitas secara perlahan
karena pengaruh kondisi atmosfer. Sedangkan
video digital kualitasnya dapat diturunkan
menggunakan teknik kompresi.
•Transmisi dan distribusi mudah karena dengan
proses kompresi, maka video digital dapat
disimpan dalam CD, ditampilkan pada web, dan
ditransmisikan melalui jaringan.
•Video Digital biasanya menggunakan Component
Color

20. MULTIMEDIA Teknik Elektro Unibraw
Representasi Visual
•Tujuan utamanya adalah agar orang yang
melihat merasa berada di scene (lokasi)
atau ikut berpartisipasi dalam kejadian
yang ditampilkan.
•Suatu gambar harus dapat menyampaikan
informasi spatial dan temporal dari suatu
scene.
•Spatial  dimensi 2D (lebarxtinggi)
•Temporal  dimensi waktu

21. MULTIMEDIA
Representasi Visual
1.Vertical Detail dan Viewing Distance.
•Aspek rasio adalah perbandingan lebar
dan tinggi, yaitu 4:3. Tinggi gambar
digunakan untuk menentukan jarak
pandang dengan menghitung rasio
viewing distance (D) dengan tinggi
gambar (H) -> D/H.
•Setiap detail image pada video
ditampilkan dalam pixel-pixel.

22. MULTIMEDIA
2.Horizontal Detail dan Picture Width. Lebar
gambar pada TV konvensional = 4/3 x tinggi
gambar.
3.Total Detail Content
Resolusi vertikal = jumlah elemen pada tinggi
gambar
Resolusi horizontal = jumlah elemen pada
lebar gambar x aspek rasio.
Total pixel = pixel horizontal x pixel vertikal.

23. MULTIMEDIA
Karakteristik Spasial

24. MULTIMEDIA
4.Perception of Depth. Dalam pandangan /
penglihatan natural, kedalaman gambar
tergantung pada sudut pemisah antara gambar
yang diterima oleh kedua mata. Pada layar
flat, persepsi kedalaman suatu benda
berdasarkan subject benda yang tampak.
5.Warna Gambar berwarna dihasilkan dengan
mencampur 3 warna primer RGB (merah,
hijau, biru).

25. MULTIMEDIA
Properti warna pada sistem broadcast:
•LUMINANCE
–Brightness = jumlah energi yang menstimulasi mata
grayscale (hitam/putih).
•CHROMINANCE adalah informasi warna.
–Hue (warna) = warna yang ditangkap mata
(frekuensi)
–Saturation = color strength (vividness) / intensitas
warna.
–Cb = komponen U dan
Cr = komponen V pada sistem YUV

26. MULTIMEDIA
6.Continuity of Motion. Mata manusia melihat
gambar sebagai suatu gerakan kontinyu jika
gambar-gambar tersebut kecepatannya lebih
besar dari 15 frame/det. Untuk video motion
biasanya 30 frame/detik, sedangkan movies
biasanya 24 frame/detik.
7.Flicker. Untuk menghindari terjadinya flicker
diperlukan kecepatan minimal melakukan
refresh 50 cycles/s.

27. MULTIMEDIA
Transmisi
•Sistem broadcast menggunakan channel
yang sama untuk mentransmisikan
gambar berwarna maupun hitam putih.
•Untuk gambar berwarna sinyal video
dibagi menjadi 2 sinyal, 1 untuk
luminance dan 2 untuk chrominance.
Sehingga sinyal Y, Cb, Cr harus
ditransmisikan bersama-sama (composite
video signal)

28. MULTIMEDIA
RGB -> YUV
•Dalam sistem PAL, digunakan parameter U (Cb) dan V
(Cr)
•Konversi
–Y = 0.299 R + 0.587 G + 0.114 B (luminance)
–U = 0.492 (B – Y) (chrominance) atau
•U = – 0.148 R – 0.289 G + 0.437 B
–V = 0.877 (R – Y) (chrominance) atau
•V = 0.615 R – 0.515 G – 0.100 B
•Inversi
–: R = Y + 1.14 V
–: G = Y – 0.394 U – 0.581 V
–: B = Y + 2.032 U
RED
GREEN
BLUE
RGB to
Y C1 C2
Lumi-
nance
Chromi-
nance 1
Chromi-
nance 2

29. MULTIMEDIA
RGB -> YIQ
•Dalam sistem NTSC, digunakan parameter I, singkatan
dari in-phase (Cb) dan Q, singkatan dari quadrature (Cr)
•Konversi
–Y = 0.299 R + 0.587 G + 0.114 B
–I = 0.74 (R – Y) – 0.27 (B – Y)
–Q = 0.48 (R – Y) + 0.41 (B – Y)
• atau
–I = 0.596 R – 0.274 G – 0.322 B
–Q = 0.211 R – 0.523 G + 0.311 B
•Inversi
–R = Y + 0.956 I + 0.621 Q
–G = Y – 0.272 I – 0.649 Q
–B = Y – 1.106 I + 1.703 Q

30. MULTIMEDIA
RGB-SECAM Color Converter
•Konversi
–: Y = 0.299 R + 0.587 G + 0.114 B
–: Db = – 0.450 R – 0.833 G + 1.333 B
–: Dr = – 1.333 R + 1.116 G – 0.217 B
•Inversi
–: R = Y – 0.526 Dr
–: G = Y – 0.129 Db + 0.268 Dr
–: B = Y + 0.665 Db

31. MULTIMEDIA
•CCIR-601/625 (Eropa)
- jumlah garis 625 (aktif 576)
- jumlah frame per detik 25
- jumlah pixel per garis 720
•CCIR-601/525 (USA)
- jumlah garis 525 (aktif 480)
- jumlah frame per detik 30
- jumlah pixel per garis 720
 total pixel per detik = 10.368.000  bit rate = 165,888,000 bit/s
 bandwidth total = 216 Mbit/s
DIGITAL VIDEO FORMAT

32. MULTIMEDIA
•CCIR-601  untuk kualitas broadcats
DIGITAL VIDEO FORMAT

33. MULTIMEDIA
SIF (Source Input Format)
•Eropa: 360 pixel/garis, 288 garis per gambar, 25 gambar perdetik
•USA : 360 pixel/garis, 240 garis per gambar, 30 gambar per detik
•Scanning : progressive
•Pola sampling 4:2:0
CCIR-601 SIF
DIGITAL VIDEO FORMAT

34. MULTIMEDIA
CIF (Common Intermediate Format)
•Eropa/USA: 360 pixel/garis, 288 garis per frame, 30 frameperdetik
•Scanning : progressive
•Pola sampling 4:2:0
QSIF, QCIF
•untuk aplikasi video over mobile networks, video telephony  kurangi
rate  Eropa : 15, 10 dan 7,5 frame/s  USA 12,5 dan 8,3 frame/s
•Resolusi spatial dikurangi setengahnya untuk tiap arah  Quarter-SIF
(QSIF) dan Quarter-CIF (QCIF)
Sub-QCIF
•128 pixel x 96 pixel, 5 frame/sec, 4:2:0  ukuran image standar paling
kecil
DIGITAL VIDEO FORMAT

35. MULTIMEDIA

36. MULTIMEDIA
Digital Video Compression
•CCIR-601 untuk broadcast tv.
•MPEG-4 untuk video online
•MPEG-2 untuk DVD dan SVCD
•MPEG-1 untuk VCD

37. MULTIMEDIA
• Software for editing digital video
•Apple QuickTime
•Adobe Premiere
•Strata Videoshop
•Video Action Pro
•TrueSpace 3D
•Ulead Video Editor

38. MULTIMEDIA Teknik Elektro Unibra
Software Video Digital Player
•QuickTime,
•Windows Media Player,
•ZoomPlayer,
•DivXPro,
•RealOne Player,
•Xing Mpeg Player,
•PowerDVD

39. MULTIMEDIA
Format File Video
•asf Advanced Systems Format
•asx Microsoft ASF Redirector File
•avi Audio Video Interleave File
•mov Apple QuickTime Movie 
•movie QuickTime Movie No
•mp4 MPEG-4 Video File 
•mpe MPEG Movie File 
•mpeg Moving Picture Experts Group Video File
•mpg Moving Picture Experts Group File
•qt Apple QuickTime Movie
•rm Real Media 

40. MULTIMEDIA
3g2 3GPP Multimedia File 
3gp 3GPP Multimedia File 
3gp2 3GPP Multimedia File 
3gpp 3GPP Multimedia File 
3mm 3D Movie Maker Movie 
avs Application Visualization
System Format 
byu Brigham Young University
Movie 
dir Macromedia Director Movie 
dv Digital Video File 
dvr-ms Microsoft Digital Video
Recording 
dxrProtected Macromedia
Director Movie 
Fla Macromedia Flash Animation 
Flc FLIC Animation 
Fli FLIC Animation 
Flv Flash Video 
Flx FLIC Animation 
Gl GRASP Animation 
Grasp GRASP Animation 
Ifo DVD-Video Disc Information 
Ivf Intel Video Format 
ivsInternet Streaming Video 

41. MULTIMEDIA
.lsf Streaming Media Format 
.lsx Streaming Media Shortcut 
.m1v MPEG-1 Video File 
.m4e MPEG-4 Video File 
.m4u MPEG-4 Playlist 
.mkv Matroska Audio/Video File 
.moov Apple QuickTime Movie 
.mpv2 MPEG-2 Video Stream 
.mvc Movie Collector Catalog 
.nvc NeroVision Express Project
.omf Open Media Framework 
.prx Windows Media Profile 
.mpeg Moving Picture Experts
Group Video File 
.qtch QuickTime Cache File 
.rmvb RealVideo Variable Bit
Rate
.rp RealPix Clip 
.rts RealPlayer Streaming Media 

42. MULTIMEDIA
Tugas
•Membuat paper tentang format file digital
(audio/image/video), judul berbeda untuk setiap mhs
•Sistematika:
–Sekilas Sejarah, Perkembangan & Pencipta
–Kajian Teknis: Diagram Blok, Prinsip Kerja, Teknik Kompresi,
dll
–Aplikasi: Penerapan atau penggunaan format file tersebut
–Tools utk editing dan Player
–Daftar Pustaka/Referensi, Sertakan Contoh File
•Format: 10-20 halaman A4, format sesuai aturan
•Deadline: 1 bulan

43. MULTIMEDIA
KOMPRESI DATA

44. MULTIMEDIA
Introduction to JPEG
•Joint Photographic Experts Group (JPEG)
–ISO standard (1992)
–widely used (.jpeg, .jpe, .jpg; C/R: 10~20)
•The family of JPEGs
–lossless JPEG: prediction-based compression
–lossy JPEG: DCT-based compression
–M-JPEG: motion JPEG
–JPEG2000: discrete wavelet transform; new!

45. MULTIMEDIA Teknik Elektro Unibraw
JPEG compression guidelines
–Brightness vs color sensitivity
•RGB => YUV/YIQ
•chroma subsampling (4:2:0)
–Spatial correlation among nearby pixels
•slice an image into 8x8 blocks (bad for text)
–Remove redundancy in frequency domain
•discrete cosine transform (DCT)
•coarse quantization for high freq coefficients

46. MULTIMEDIA Teknik Elektro Unibraw
Kompresi JPEG
1.Konversi RGB -> YUV dan subsample U,V
2.Membagi YUV menjadi blok 8x8 pixel
3.Mengkompresi setiap blok dalam 4 proses:
–DCT=Discrete Cosine Transform: memisahkan
frekuensi. Low frequency values to top left corner
–quantise (divide all values): small values ==> 0
•zig-zag scan of blocks: get most significant values first
–run-length encoding: remove zeros from list
–Huffman coding: values => short symbols

47. MULTIMEDIA Teknik Elektro Unibraw
Blok Diagram JPEG

Fig. 2(a) JPEG Encoder Block Diagram
 

Fig. 2(b) JPEG Decoder Block Diagram

48. MULTIMEDIA Teknik Elektro Unibraw
Block Transforms

49. MULTIMEDIA Teknik Elektro Unibraw
DCT Block Based Coding
•Dlm praktek, DCT diaplikasikan ke blok-blok pixel dari
citra
•Ukuran blok tipikal 8 x 8 atau 16 x 16
•Koefisien-koefisien dari blok kemudian dikuantisasi dan
dikodekan secara terpisah
•Memungkinkan kuantisasi secara variabel utk
mengeksploitir variasi dari frequency content dari citra
•Citra terdiri dari daerah-daerah (region) dg
karakteristik frekuensi berbeda
•Krnnya, utk mendpkan energy compaction yg baik –
aplikasikan DCT ke region-region terpisah
•Kita tdk tahu region-region secara pasti, krnnya
gunakan blok-blok sederhana

50. MULTIMEDIA Teknik Elektro Unibraw
DCT Block Codec

51. MULTIMEDIA Teknik Elektro Unibraw
Pemilihan Ukuran Blok
•Pemilihan ukuran blok penting
•Terlalu besar – mencakup lebih dari satu region dg
karakteristik frekuensi berbeda
•Terlalu kecil – kompresi kurang
•8 x 8 atau 16 x 16 kompromi yg umum digunakan

52. MULTIMEDIA Teknik Elektro Unibraw
Contoh DCT
•Blok citra 8 x 8:
•Koefisien DCT:

53. MULTIMEDIA Teknik Elektro Unibraw
Contoh Transform Encoding: Lossy

54. MULTIMEDIA Teknik Elektro Unibraw
Thresholding dan Quantization
•Koef-koef DCT pd tiap-tiap blok di-threshold
•Hanya yg di atas threshold dipertahankan
•Lainnya pengaruhnya kecil
•Koefisien yg ada dikuantisasi
•Kuantisasi bervariasi dg frekuensi
•Frekuensi tinggi tdk begitu penting – kuantisasi kasar

55. MULTIMEDIA Teknik Elektro Unibraw
Quantization Matrix
•Thresholding dan quantization dilakukan dg
menggunakan quantization matrix
•Tiap koefisien dibagi dg elemen QM (T(k,l)) dan
dibulatkan:
•
•Element T(k,l) adalah integer
• Merepresentasikan ukuran step kuantisasi

56. MULTIMEDIA Teknik Elektro Unibraw
Contoh Kuantisasi

57. MULTIMEDIA Teknik Elektro Unibraw
Contoh Hasil Rekonstruksi dari Transformasi

58. MULTIMEDIA
The JPEG Compression
•JPEG compression example
Entropy Entropy
CoderCoder
2-D DCT2-D DCT
QuantizationQuantization

59. MULTIMEDIA Teknik Elektro Unibraw
Huffman Coding
Panjang nol Kategori Amplitudo Panjang kode Kode Word
0
0
0
0
0
0
0
1
1
1
1
2
2
3
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
1
2
3
4
1
2
1
2
1
1
1
1
1
1
1
2
2
3
4
5
6
7
4
6
7
9
5
8
6
9
6
7
7
8
8
9
9
4
00
01
100
1011
11010
111000
1111000
1100
111001
1111001
111110110
11011
11111000
111010
111110111
111011
1111010
1111011
11111001
11111010
111111000
111111001
1010
End of Block (EOB)