Thông tin là những tính chất xác định của vật chất mà con người nhận được từ thế giới vật chất bên ngoài

Thông tin không thể xuất hiện dưới dạng hình ảnh

Thông tin tồn tại một cách chủ quan, phụ thuộc vào hệ thụ cảm

Thông tin không thể xuất hiện dưới dạng âm thanh

Vai trò của thông tin trong kỹ thuật

Các quá trình truyền tin và lý thuyết mã hóa

Lý thuyết toán xác suất ứng dụng trong truyền tin

Cách chống nhiễu phi tuyến trong vô tuyến điện

Nguồn tin là nơi sản sinh ra tin

Nguồn tin là tập hợp các tin có xác suất và ký hiệu như nhau

Nguồn tin liên tục sinh ra tập tin rời rạc

Nguồn tin rời rạc sinh ra tập tin liên tục

Là môi trường Vật lý, trong đó tín hiệu truyền đi từ máy phát sang máy thu

Là môi trương Vật lý đảm bảo an toàn thông tin

Là môi trường Vật lý, trong đó tín hiệu truyền đi từ máy phát sang máy thu không làm mất thông tin của tín hiệu

Đường truyền tin chính là kênh truyền tin

Rời rạc hóa theo trục thời gian và lượng tử hóa theo trục biên độ

Giải mã dữ liệu

Mã hóa dữ liệu

Lượng tử hóa theo trục thời gian và rời rạc hóa theo trục biên độ

Tín hiệu là một ánh xạ liên tục đến người nhận

Tấm ảnh, bản nhạc, bức thư ... không phải là các tin

Tin luôn được biểu diễn dưới dạng số

Tín hiệu là quá trình ngẫu nhiên

Đặc trưng cho các quá trình ngẫu nhiên chính là các quy luật thống kê và các đặc trưng thống kê

Kỳ vọng, phương sai, hàm tự tương quan, hàm tương quan là các quy luật thống kê

Các hàm phân bố và mật độ phân bố là những đặc trưng thống kê

Tín hiệu và nhiễu không phải là quá trình ngẫu nhiên theo quan điểm thống kê

Hàm tự tương quan là quy luật thống kê thể hiện của quá trình ngẫu nhiên

Hàm tự tương quan Rx(t1,t2) luôn được tính bằng biểu thức sau: Rx(t1,t2) M{[X(t)-mx(t)]2}

Hàm tự tương quan Rx(t1.t2) đặc trưng cho sự phụ thuộc thống kê giữa hai giá trị ở hai thời điểm khác nhau của một quá trình ngẫu nhiên

Hàm tự tương quan Rx(t1_t2) luôn bằng phương sai Dx(t) với mọi t

Năng lượng của tín hiệu mang tin

Độ bất định của tin

Ý nghĩa của tin

Năng lượng của tín hiệu mang tin và ý nghĩa của tin

Là đại lượng đặc trưng cho độ bất định trung bình của nguồn tin

Đạt cực tiểu khi nguồn là đẳng xác suất

Đạt cực đại khi nguồn là đẳng xác suất

Tất cả các phương án trên đều sai

Độ bất định của phép chọn tỷ lệ nghịch với xác suất chọn một phần tử

Độ bất định gắn liền với bản chất ngẫu nhiên của phép chọn

Độ bất định của một phần tử có giá trị 1 bít khi xác suất chọn phần tử đó là 1

Độ bất định còn được gọi là lượng thông tin riêng của biến cố tin

H(A)max =3/2 bit

H(A)max=1/2 bit

H(A)max =1 bít

H(A)max =0

Bằng 0

Vô cùng lớn

Nhỏ hơn 0

Lớn hơn 0

Bằng 0

Vô cùng lớn

Nhỏ hơn 0

Lón hon 0

7

1/8

8

7

1/16

16

-16

-1/16

Bằng 1/52

Nhỏ hơn 5

Lớn hơn 5 nhỏ hơn 6

Lớn hơn 6

Độ bất định sẽ trở thành thông tin khi nó bị thủ tiêu

Độ bất định chính là thông tin

Lượng thông tin = Độ bất định tiên nghiệm + Độ bất định hậu nghiệm

Lượng thông tin = Độ bất định tiên nghiệm – Độ bất định hậu nghiệm

Lượng thông tin = Thông tin tiên nghiệm – Thông tin hậu nghiệm

Thông tin hậu nghiệm chính là thông tin riêng

Lượng thông tin = Thông tin hậu nghiệm – Thông tin tiên nghiệm

Lượng thông tin = Thông tin tiên nghiệm + Thông tin hậu nghiệm

Thông tin tiên nghiệm (ký hiệu I(xk)) được xác định theo công thức sau: I(xk) = log P (xk)

Thông tin tiên nghiệm còn được gọi là lượng thông tin riêng

Thông tin tiên nghiệm (ký hiệu I(xk) được xác định theo công thức sau: I(xk) = -log P (xk)

Thông tin tiên nghiệm còn được gọi là lượng thông tin riêng được xác định theo công thức sau: I(xk)=log(1/ P (xk))

I(xk/y1)=0 khi kênh không có nhiễu

I(xk/yl) là lượng tin bị mất đi do nhiễu

I((xk/y1) là lượng tin có điều kiện

I(xk/y1)=1/2 khi kênh không có nhiễu

I(xk/y1) là lượng tin bị tổn hao do nhiễu

I(xk/y1)=0 khi kênh không có nhiễu

I(xk/y1)>1/2 khi kênh không có nhiễu

I(xk/yl) là lượng thông tin về xk khi đã biết y1

Lượng tin còn lại của xk sau khi nhận được y1 ký hiệu I(xky1)

I(xk/yl) là lượng tin riêng của xk và y

Lượng tin I(xk) là lượng tin ban đầu của xk

Lượng tin I(xk) là lượng tin ban đầu của xk, lượng tin còn lại của xk sau khi đã nhận được y ký hiệu là I(xk/y1)

4 bit

1 bít

1/4 bit

2 bit

2 bit

4 bit

1/2 bit

1/4 bit

5 bit

3 bit

4 bit

1/4 bit

1/4 bit

2 bit

3 bit

4 bit

2log7 bít

log1/9 bit

log27 bít

log1/27 bit

log9 bit

log1/3 bit

2log3 bit

log1/9 bit

log2/5 bit

2log5 bit

log1/25 bit

log25 bit

Độ bất ngờ của tin xi trong nguồn tin XN được tính bằng Entropy của lớp tin xi trong nguồn

Độ bất định của tin và lượng tin về ý nghĩa trái ngược nhau nhưng về giá trị lại bằng nhau

Độ bất định của tin và lượng tin có ý nghĩa như nhau nhưng giá trị khác nhau

Lượng tin trung bình được hiểu là lượng tin trung bình trong một tin bất kỳ của nguồn tin đã

I(xk)= ln p(xk) đơn vị đo là bit

I(xk) = -1g p(xk) đơn vị đo là hart

I(xk) = -ln p(xk) đơn vị đo là nat

I(xk) = -log2 p(xk) đơn vị đo là bít

I(xk)=k ln p(xk)

I(xk) = -ln p(xk) đơn vị đo là bit

I(xk) = -log2 p(xk) đơn vị đo là nat

I(xk)=1g p(xk) đơn vị đo là hart

Chọn k=1 ta có I(xk)=lnp(xk)

Chọn k=-1 ta có I(xk)=-lnp(xk)

Chọn k=(1/1n10) ta có I(xk) = -lg p(xk)

Chọn k=(1/1n2) ta có I(xk) = -log2 p(xk)

H(A/B) nhỏ hơn hoặc bằng H(B/A)

0 nhỏ hơn hoặc bằng H(A/B)

H(A) lớn hơn hoặc bằng H(A/B)

H(A/B) nhỏ hơn hoặc bằng H(A)

0 lớn hơn hoặc bằng H(B/A)

0 nhỏ hơn hoặc bằng H(B/A)

H(A/B) nhỏ hơn hoặc bằng H(B/A)

H(B/A) nhỏ hơn hoặc bằng H(A)

H(A) + H(A/B)

H(A) + H(B)

H(A) + H(B) – H(A/B) – H(B/A)

H(B) + H(A/B)

I(A,B)=-H(A) khi kênh có nhiễu

0 nhỏ hơn hoặc bằng I(A,B) nhỏ hơn hoặc bằng H(A)

I(A,B)=H(B) khi kênh có nhiễu

I(A,B)=H(A) khi kênh có nhiễu

I(A,B) nhỏ hơn hoặc bằng H(A)

I(A,B)=H(A) khi kênh có nhiễu

0 nhỏ hơn hoặc bằng I(A,B)

I(A,B)=H(A) khi kênh không có nhiễu

I(A,B)= 1; khi kênh bị đứt

0<=I(A,B) và I(A,B) = 0; khi kênh bị đứt

0 >= I(A,B)

I(A,B)=H(A); khi kênh có nhiễu

I(A,B)=H(A); khi kênh không có nhiễu

I(A,B)= 0; khi kênh bị đứt

H(A) <= I(A,B)

I(A,B)>=1; khi kênh bị đứt

H(A/B) <= H(A);

H(A,B) <= H(A) + H(B);

I(A,B) = H(A) + H(B) +H(AB);

I(A,B) = H(A) + H(B) − H(AB);

1/8 bit;

-3 bit;

3 bit;

8 bit;

1/16 bit;

16 bit;

1/4 bit;

4 bit;

Nhỏ hơn 5 bít;

Lớn hơn 5 nhỏ hơn 6 bít;

Bằng 6 bít;

Lớn hơn 6 bit;

8;

-1/2;

1/8;

1/4;

1/4 bit;

8 bit;

-1/2 bit;

2 bit;

1/2log2+1/4 log4 + 1/4 log8

1/2log2+1/4 log4 + 1/2 log4

1/2log2+1/4 log4+ 1/4 log4

1/2log2+1/2 log4 + 1/4 log4

Xác suất xuất hiện càng lớn, "lượng tin" thu được càng lớn

Một tin X có xác suất xuất hiện là p(x), nếu p(x) càng nhỏ thì "lượng tin" khi nhận được tin này cũng sẽ càng lớn

Nếu p(x) càng lớn thì 1/p(x) càng nhỏ

Một tin x có xác suất xuất hiện là p(x), nếu p(x) càng lớn thì "lượng tin" khi nhận được tin này cũng sẽ càng nhỏ

Dựa vào các tiêu chuẩn tối ưu, bằng công cụ thống kê toán học người ta xác định được quy tắc giải tối ưu, do đó ngày nay lý thuyết truyền tin đã cho phép bằng toán học tổng hợp được máy thu tối ưu.

Việc tổng hợp các máy thu (xây dựng sơ đồ giải) chỉ căn cứ vào các tiêu chuẩn chất lượng mang tính chất chức năng mà không mang tính chất thống kê.

Ảnh hưởng của nhiễu lên chất lượng của máy thu tối ưu chỉ được tính theo tỷ số tin tạp

Việc tổng hợp máy thu tối ưu là dựa vào trực giác, kinh nghiệm, thí nghiệm

Mã xyclic (n, k) là Ideal I= {g(X)} của vành đa thức Z2 [x]Xn + 1

Mã xyclic là một bộ mã tuyến tính

Mã xyclic (n, k) là một bộ mã mà đa thức sinh có bậc r=n+k

Mã xyclic là một bộ mã, mà nếu a(X) là một từ mã thì dịch vòng của a(X) cũng là một từ mã thuộc bộ mã này

Gk.n là ma trận k hàng, n cột

HT được gọi là ma trận k hàng, n cột ;

Hr×n là ma trận 1 hàng, n cột

HT được gọi là ma trận chuyển vị của H

2k các vétơ khác nhau là tất cả các tổ hợp tuyến tính có thể có của k véctơ hàng này G.H=0.Trong đór=n-k

Trong đại số tuyến tính ta biết rằng với mỗi G sẽ tồn tại ma trận Hr×n thỏa mãn

Để mô tả mã tuyển tinh, có thể sử dụng ma trận sinh Gk.n

Mã xyclic là một bộ mã tuyến tính

kn

n

n.2k

n7

kn

n+k

n.2k

n7

3

7

21

56

1

7

21

56

1

7

21

56

3

7

28

56

g(x)=1+x+x5

g(x)=1+x+x2+x4

g(x)=1+x+x2

g(x)=1+x+x4

g(x) không là ước của x7+1;

Từ g(x) có thể xác định được ma trận sinh hệ thống G và ma trận kiểm tra H cho bộ mã

g(x) có bậc 4

g(x) là một ước của x7+1

g(x)=1+x4

g(x)=1+x2+x4

g(x)=1+x+x3

g(x)=1+x+x4

g(x) có bậc 4

g(x) là một ước của x7+4+1

g(x) có bậc 5

Từ g(x) có thể xác định được ma trận sinh hệ thống G và ma trận kiểm tra H cho bộ mã

1

2

4

5

H được gọi là ma trận kiểm tra của mã tuyến tính (nk) và H chứa r véc tơ hàng trực giao với các véc tơ hàng của G

Gk,n là ma trận kiểm tra n hàng, r cột

H được gọi là ma trận sinh của mã tuyến tính (n_k)

Gk_n không nhất thiết là ma trận sinh ra

Mã tuyến tính ngẫu nhiên là mã tuyến tính có các dấu mã được chọn ngẫu nhiên từ phép ánh xạ trong không gian phi tuyến

Mã tuyến tính ngẫu nhiên là mã tuyến tính có các dấu mã được chọn ngẫu nhiên từ các dạng tuyến tính có thể có

Mã tuyến tính ngẫu nhiên là mã tuyến tính có phép ánh xạ phi tuyến ngẫu nhiên

Mã tuyến tính ngẫu nhiên là mã ngẫu nhiên có các dấu mã được chọn tuyến tính từ các dạng tuyến tính có thể có

Tỷ lệ nghịch với khoảng cách

Tỷ lệ thuận với tần số

Tỷ lệ thuận với bước sóng

Không phụ thuộc vào tần số

H(A) luôn >=0 với mọi giá trị của p

Không phụ thuộc vào p

H(A) luôn nhỏ hơn 1 với mọi giá trị của p

Nếu p càng lớn thì H(A) càng lớn

Tất cả các tín hiệu đều phân tích phổ được bằng cách phân tích thành tổng các tín hiệu tuần hoàn

Phổ của tín hiệu là các thành phần tần số thấp chứa trong tín hiệu đó

Phổ của tín hiệu là các thành phần tần số cao chứa trong tín hiệu đó

Chỉ có tín hiệu tần hoàn mới phân tích được phổ tần số

Nếu m= 2 thì bộ mã tương ứng được gọi là mã nhị phân

Nếu m=0 thì bộ mã tương ứng được gọi là mã đều

Nếu m=p thì bộ mã tương ứng được gọi là mấp phân

Nếu m= 3 thì bộ mã tương ứng được gọi là mã tam phân

Nhiễu

Sự suy giảm cường độ

Tất cả các yếu tố trên

Méo trễ lan truyền

Tất cả các yếu tố trên

Môi trường truyền dẫn

Tần số truyền dẫn

Khoảng cách truyền dẫn

Tốc độ của kênh truyền

Dải tần số của tín hiệu cho phép đi qua kênh truyền mà có độ suy giảm không quá 3dB

Số bit truyền qua 1 điểm của kênh truyền trên 1s

Băng thông của kênh truyền

Mã hệ thống tuyến tính (n_k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của n-k dấu thông tin trong từ mã

Mã hệ thống tuyến tính (n,k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của k-1 dấu thông tin trong từ mã

Mã hệ thống tuyến tính (n_k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của k dấu thông tin trong từ mã

Mã hệ thống tuyến tính (n_k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của r= n-k dấu thông tin trong từ mã

Luôn bằng 3*10^8 m/s

Phụ thuộc vào môi trường truyền dẫn

Phụ thuộc vào chất liệu dây dẫn

Luôn bằng 3*10^8 km/s

W tức thời

W không tách được

W có tính tách được, không tức thời

W có tính tách được, tức thời

Băng thông

Tỷ số tín hiệu nhiễu (S/N)

Hệ số điều chế tín hiệu

Tất cả các yếu tố trên

Các tin mà nguồn sinh ra là liên tục.

Xác suất xuất hiện các tin giống nhau sau các tin khác nhau là khác nhau.

Các tin mà nguồn sinh ra là rời rạc.

Các tin khác nhau xuất hiện với xác suất khác nhau.

Tốc độ phát tin của nguồn

Entropie của nguồn.

Khả năng phát tin của nguồn.

Độ dư của nguồn.

Giải mã được và giải đúng một cách duy nhất.

Bộ mã phải có tính Prefix

Bộ mã có tính không phủ nhau.

Cả 3 đáp án trên.

Chiều dài trung bình các từ mã nhỏ nhất trong tất cả các cách mã hóa

Số từ mã nhỏ nhất

Chiều dài trung bình của các từ mã nhỏ hơn hoặc bằng entropy của nguồn

Số từ mã không đổi