mtech thesis n narayana murty 12mn1d5503 1

8/20/2019 Mtech Thesis N Narayana Murty 12MN1D5503 1

1/65

A PROJECT REPORTON

HUMAN PULSE DETECTION BASED ON EULERIAN VIDEOMAGNIFICATION ON ARM CORTEX-A PROCESSORS

A Thesis report submitted in partial fulfillment of the requirement for the award of the degree in

MASTER OF TECHNOLOGYIn

EMBEDDED SYSTEMS

SUBMITTED BY

N NARAYANA MURTY(12MN1D5503

Under the esteemed guidance of

M!" A V#n$%' %!% R%)*M"T#+,"

A'')+ % .!)/#'')!* ECE

DEPARTMENT OF ELECTRONICS AND COMMUNICATION ENGINEERINGSRI SIVANI INSTITUTE OF TECHNOLOGY

(A// % &) JNTU* %$ n% %C, %$%.% # Jn* E&+,#! % (M *

S! $%$4 % (D '&


2/65

SRI SIVANI INSTITUTE OF TECHNOLOGY(A..!) # 67 AICTE 8 A// % &) JNT Un #!' &7 %$ n% %

C, %$%.% # Jn"* E&+,#! % (MD -532902 S! $%$4 % "D '&

DEPARTMENT OF ELECTRONICS COMMUNICATION ANDENGINEERING

CERTIFICATET, ' ' &) +#!& /7 &,%& &,# .!):#+& !#.)!& #n& & #;,4 %n .4 '#

#+& )n 6%'# )n E4 #! %n #) %SYSTEMS (ECE )/ S! S %n In'& &4 )/ T#+,n) )

E=!n% E=% n#!


3/65

ACKNOWLEDGEMENT

I& ' n ## &, %

%+$n) #

.!) # &) %++) . ', &, ' .!):#+&"

I % #=&!# # 7

+) . #& )n )/ &, ' .!):#+&"

N Nara$ana M"rt$

%&'MN&D(()*+


4/65

DECLARAT ON

I ,#!#67 #+ %!# &,%& &, ' .!):#+& #n& & #-h"man "/se 0etect1on !ase0 on E"/er1an

210eo ma3n141cat1on on arm corte56a rocessors7 ' %n )! < n% )!$ )n# 67 # %n

'46 & &) %! ' .%!& % /4 / #n& /)! &,# % %! )/ &,# M%'! )/ T#+,n) )


5/65

Contents

A!stract

1" In&!) 4+& )n @@@@@@@@@@@@@@@@@@@@" 1

1"1" C)n=& 2

1"2" M)& %& )n 2

1"3" O6:#+& #' 3

1"9" C)n&! 64& )n' 9

2" S&% )/ A!& @@@@@@@@@@@@@@@@@@@@ 5

2"1" P,)&)-. #&,7' )

2"2" S


6/65

9" S)/& %!# %n # +# # # ). #n& P!)+#'' @@@@@@@@@" 22

9"1 H)'& #n !)n #n& 23

9"1"1 ARM DS-5 29

9"1"1"1 P!):#+& %n%


7/65

5"2"1 P!)6 # #'+! .& )n 35

5"2"2 L n4= 6%'# . # #n&%& )n )/ E4 #! %n V #) M%


8/65

A!stract o4 #ro8ect Work

T) %7 )! ' .!)

' %!& #n)4 * 4'#'

&,# %


9/65

L1st o4 913"res

2"1 K O #! # )/ E4 #! %n V #) M%


10/65

L1st o4 ta!/es

T%6 # 5"1 K T%6 # )/ &%!


11/65

Cha ter &

ntro0"ct1on

1


12/65

Cha ter &

ntro0"ct1on

T, ' +,%.! n&!) 4+#' &, ' ''#!&%& )n* 67 / !'& .!#'#n& n< &' +)n=&*

)& %& )n* %n .!):#+& ' )6:#+& #'* )n '#+& )n' 1"1* 1"2* %n 1"3* !#'.#+& # 7" F n% 7* '#+& )n

1"9 #'+! 6#' &,# )+4 #n& )4& n#"

&.& Conte5t

E4 #! %n V #) M%


13/65


14/65

&.: Contr1!"t1ons

T,# )!$ )/ &, ' &,#' ' +)n&! 64' &) &,# +4!!#n& '&% )/ &,# %!& 67 '& n< &,#

/#%' 6 &7 )/ . # #n& n< % .#!/)! %n+# ).& # #!' )n )/ &,# E4 #! %n V #)

M%


15/65

Cha ter '

;tate o4 the Art

5


16/65

Cha ter '

;tate o4 the art

T, ' +,%.! /)+4' )n &,# ,#%!& !% #'& %& )n /!) % .#!')n ' /%+# +%.&4!#&,!)4

)= #! % #/)! * ' )n# )/ &,# )'& +) )n 7 '. %7# + n +% % #/)! '" F !'&

#'+! 6# n &,# 1 30'* &,# +,n) ) &,# PPG ' %n #=+# #n&

)n &)! /)! +%! %+ %!!,7&, %* .%!& +4 %! 7 ,#n 4'# n +)n:4n+& )n &, &,#

# #+&!)+%! )

,# ) 7n% +' &,# .)n& % 4& &7 )/ &,# PPG 6# #=.%n # " T,# + n +% !#'#%!+,#! '

)6:#+& # ' &,# 4'# )/ &,# PPG &)


17/65

P,)&)-. #&,7' )

) 4 # %//#+& %n 6 4# +,%nn# ' )/ &,# /%+ % %!#% )/ % .!# )4' 7 !#+)! # #) ,#!# ) 4n#!' #!#

%'$# &) n # ) # #n&'" T,# . =# % 4#' &, n % !#< )n )/ n!#'& (ROI #!# &,#n

% #!%

'.' ;13na/ ost6 rocess1n3

A/! )6&% n n< &,# !% . =# % 4#' (!# *

%n ' % +,n ?4# /)! 4n+) #! n< n #.#n #n& ' '#n')!' . +$ 4. % =&4!# )/ &,# !#/ #+ . #&,7' )


18/65


19/65

T, ' % ) ' /)! % . / +%& )n %n '4% %& )n )/ ,#%!& !% '

In +)n&!%'&* # %!# n'. !# 67 &,# E4 #! %n .#!'.#+& #* ,#!# .!).#!& #' )/ %)=# )/ / 4 * '4+, %' .!#''4!# %n # )+ &7* # ) # ) #! & #" In )4! +%'#* # '&4 7 %n

% . /7 &,# %! %& )n )/ . =# % 4#' ) #! & #* n % '.%& % 7- 4 & '+% # %nn#!" In )4

E4 #! %n %..!)%+, &) )& )n %


20/65

%n RS 12 " S46& # '


21/65


22/65

'.'.* Detren01n3

D#&!#n n< ' % #&,) )/ !# ) n< #!7 %!

%+, # n< &, '


23/65

'.*.& #ower s ectr"m

F)4! #! &!%n'/)! ' % %&,# %& +% &!%n'/)! +%.%6 # )/ +)n #!& n< % /4n+& )n

)/ & #* f"t#, n&) % n# /4n+& )n !#.!#'#n& n< &,# /!#?4#n+7 ) % n )/ &,# )! < n% /4n+& )n"

T) +% +4 % &,# .) #! '.#+&!4 * &,# !#'4 & n< /4n+& )n /!) &,# F)4! #! &!%n'/)! ' &,#n4 & . # 67 &'# /"

S n+# &,# % 4#' %!# +%.&4!# /!) #)* '#?4#n+# )/ /!% #' %!# &,# /4n+& )n

)/ & # ' %+&4% 7 '+!#* &, /!#?4#n+7 !% #?4% &) &,# #) /!% # !%* FPS" T,# n #=*

* +)!!#'.)n n< &) &,# %= 4 )/ &,# .) #! '.#+&!4 +%n &,#n 6# +)n #! n&)%

/!#?4#n+7 % 4#* F* 4' n< &,# #?4%& )nK

F =i ∗ FPS

2 N

,#!# N ' &,# ' # )/ &,# '


24/65

%= 4 % :%+#n& &) &,# !#:#+ n 4 ' '+%! # &))"

2 E=% n%& )n %n #! / +%& )n )/ &,# ! ' n< #

&,# n 4 )/ &,# ) #!-% . &4 # ! ' n< #

T,# ! ' n< #


25/65

+) .4& n< %.. +%& )n' )n ! '$ .!)+#'')!' &, ) .) #! !%n

%n%

O.#nCV ' ! &n n CQC T,#!# %!# 6 n n< /)! )&,#! %n


26/65


27/65

Cha ter *

The =ar0ware

17


28/65

Cha ter *

The =ar0ware

A &,)4


29/65

F


30/65

• SD +%! n!/%+#

• F)4! LED'

• R#'#& 64&&)n

• S)/& %!# )nQ)// 64&&)n

• H%! %!# )nQ)// 64&&)n

• On6)%! #=!n% '.#%$#!

• MIC n.4& +)nn#+&)!

• E%!.,)n# )4&.4& +)nn#+&)!

• B))& +)n/

• R#% & # + )+$

• DM 000CEP E&,#!n#&

•

#7.% n!/%+#• C% #!% n!/%+#

• GPS n!/%+#

• GPRS n!/%+#

• S4..)!&' #=!n% USB 3G ) 4 #

• S4..)!&' USB $#76)%! Q )4'#

20


31/65

F


32/65

Cha ter :

;o4tware an0 0e21ce 0e2e/o ment #rocess

22


33/65


34/65

#n)4&7. +% 7 /% ' &) !4n 6#+%4'# & !# #' )n ') # $#!n# /4n+& )n% &7 &,%& %7 n)& 6# % % %

%' % # 6# # . %&/)! ' %!# //#!#n& %n # 6# # '7' ' .!)

#64

:.&.& ARM D;6(

T,# ARM DS-5 (D# # ). #n& S&4 ) -5 ' % .!)/#'' )n% ')/& %!#

# # ). #n& ') 4& )n /)! L n4=-6%'# %n 6%!# #&% # 6# # '7' '* +) #! n< % &,#'&%

L n4= #=% . # .!):#+&'" DS-5 n+ 4 #' &,# /) ) n< +) .)n#n& &)) 'K

• E+ .'#-6%'# IDE +) 6 n#' ')/& %!# # # ). #n& &, &,# +) . %& )n

+,n) )


35/65

• DS-5 C) . %& )n T)) '"

• DS-5 D#64

+,n) )


36/65

:.&.&.* D;6( De!"33er

DS-5 D#64

U' n< &,# D#64< C)n&!) # * 7)4 +%n ' n< #-'. &,!)4


37/65

:.&.&.B. L1n"5 Awareness

• L n4= $#!n# %n 4'#! '.%+# +)n=& % %!#n#''* n+ 4 n< .!)+#'' %n &,!#% '

• M) 4 #' # * '& n< 7n% +% 7 )% # ) 4 #' %n ',%!# 6!%! #'

:.&.&. . 91/e Trans4er to Tar3etDS-5 n+ 4 #' % R# ) S7' E=. )!#! (RSE .#!'.#+& # /)! #%'7 &!%n'/#! )/

%.. +%& )n' %n 6!%! #' &) &,# L n4= / # '7' )n &,# &%!# # ). #n& #n !)n #n& , +, ' .%!& )/ &,# SD /)! &,# & GUI A.. +%& )n # # ). #n&

/!% # )!$" I& n+ 4 #' % '4% #64

C) #+& )n )n L n4= %n F!##BSD" & C!#%&)! n+ 4 #' % .!):#+& %n%

64 n<

.%!'# +) # n C %n ML %n


38/65

& D#'

+!#% &, & D#'

& C!#%&)! )#' n)& n+ 4 # % #64


39/65


40/65

▪ %! -n)n#- n4=-

:.' Tar3et En21ronment

T,# &%!


41/65


42/65

Cha ter (

De21ce ;o4tware @ #"/se 21ta/ s13ns mon1tor1n3 a /1cat1on

32


43/65

Cha ter (

De21ce ;o4tware @ #"/se 21ta/ s13ns mon1tor1n3 a /1cat1on

O4! .4 '# #+&)! # +# ')/& %!# ' 6!)% 7 # n &) & ) .%!&' '4+, %'

# +# ')/& %!# %n .4 '# )n &)! n< %.. +%& )n ;P4 '# D#+&)!>" T,# # +# ')/& %!#

n+ 4 #' 6))& )% #!'* L n4= $#!n# * # +# ! #!'* %.. +%& )n 6!%! #'* %n%


44/65

(.&.'. L1n"5 Kerne/

T,# % n .%!& )/ %n7 # +# ).#!%& n< '7' ' $#!n# " #!n# '# #+& )n '

% n 7 #.#n ' )n ,%! %!# %!+, +&4!#* # )!7 /))&.! n& *&7.# )/ %.. +%& )n %n

% % %6 &7 )/ '4..)!& # &,#! +) 4n &7 )! +) #!+ % "

B#+%4'# #n )! '.#+ / +%& )n $#!n# 2" "39 %&! #!' )n' )!$' / n# &, &,#

&%!


45/65

Q n& M)4n& .) n&' /)! .)!%! 7 )4n / # '7' '

Q.!)+ V !&4% / # '7' /)! $#!n# %n .!)+#'' n/)! %& )n

Q!))& R))& 4'#! ' ,) # !#+&)!7

Q'6 n E''#n& % '7' % n '&!%& )n 6 n%! #'

Q'7' V !&4% / #'7' /)! '7' n/)! %& )n %n +)n&!) (64'#'* # +#'*#&+Q& . T# .)!%!7 / #'

Q4'! S#+)n %!7 , #!%!+,7 +)n&% n n< )'& %.. +%& )n' %n )+4 #n&' 4'#/4 &))'& 4'#!' n+ 4 n< T 6!%! #'

Q %! V%! %6 # %&% '&)!# 67 %# )n' %n 4& & #'

T,# !#+&)! #' %!# +!#% )n &%!

(.' #"/se 21ta/ s13ns mon1tor1n3 a /1cat1on

(.'.& #ro!/em 0escr1 t1on

T, ' '#+& )n #'+! 6#' &,# % n )6:#+& # )/ &,# )!$ , +, +)n' '&' )/ %n

. # #n&%& )n % #) %


46/65

/!) &,# %! %& )n )/ &' /%+# ' +) )! !#'. !%&)!7 !% /!) % .#!')n ' +,#'& ) # #n&' %n

# #n* #+& %'7 #&!7 n /%+ % 6 )) / ) * , +, %7 6# % '7 .&) )/ %!! % .!)6 # '"

T,# 6#n#/ &' )/ &,# E4 #! %n .#!'.#+& # ' &' ) !#?4 !# #n&' /)!

+) .4&%& )n% !#')4!+#' %n %

36


47/65

(.* m /ementat1on 0eta1/s

S#+& )n 3"2"1 .!) #' %n ) #! # )/ &,# ) #!% %

A ',)!& #'+! .& )n )/ &,# ) #!% %


48/65

%n & n

(.*.' E"/er1an V10eo Ma3n141cat1on 1m /ementat1ons

T, ' '#+& )n .!#'#n&' &,# #&% ' )/ '# #!% //#!#n& . # #n&%& )n' )/ &,#

E4 #! %n V #) M%F!% # )!$ 6%'# %.. +%& )n &) !4n )n # 6# # L n4=" H) # #!* &,# O.#nCV %' '& n

&' #%! 7 '&%%.. +%& )n" T,4'* &,# / n% . # #n&%& )n* )n '#+& )n 3"2"2"9* %' . # #n n CQC

%n n+!#%'#' &,# %.. +%& )n .#!/)! %n+#"

F


49/65

T,# / n% '.* % &) )! < n% /!% #* ,) # #!* !# % n' &,# '% # n %

. # #n&%& )n'" , +, ' ,#n &,# %


50/65

n.4& /!% # &, &,# '% # $#!n# 4 & . # 67 9" H) # #!* ,#n &,# )! < n% /!% # ' n)&

4 & . # )/ & )* %n % & )n%res1


51/65

Res1


52/65

(.: #er4ormance o t1m1


53/65

) n &,# +) .4&%& )n +7+ #'" In'% # % # )n 7 )n# #%n . =# % 4# &) &,# '


54/65

(.:.'.;13na/ 2a/10at1on

T,# '

'. '


55/65

T,# '


56/65

Receive Frame

Process&Draw

Draw face rectangle,Pulse signal & BPM

Face rec Pulse Sig BPM

B#+%4'# O.#nCV /)! ARM %' '& n &' #%! 7 '&%


57/65

T,# 64&&)n' #= '&' )n &,# !

4' n< &,# .) #! '.#+&!4 +,n ?4# &) )6&% n % '


58/65

.7!% * %n 4'#' &,# F)4! #! &!%n'/)! &) . # #n& % .)!% #% 6%n .%'' / !

b E G ) nIIR* %.. #' &,# '% # '.%& % / ! %' &,# .!# )4'* 64& 4'#' %

.)!% IIR 6%n .%'' / !* , +, %' +)n'&!4+ /!) &,# '46&!%+& )n )/ & ) / !'&-)! #!

) .%'' IIR / !'* , +, %!# )!# '4 &%6 # /)! % !#% -& # . # #n&%& )n

b E L.7!IIR* %.. #' &,# '% # .)!% / ! %' %6) #* 64& +) .4' % /4

L%. %+ %n .7!% /)! &,# '.%& % / !* ,#!# #%+, # # ' % . / # //#!#n& 7

b P#!/)! %n+# ).& # E G ) nIIR* ' . # #n n CQC * , # &,#

)&,#!' #!# . # #n n T C * %n &,# '.%& % / ! ' ) / # &) ' n< # !#' #

).#!%& )n' 64& &,# !#'4 & ' ' %! &) +) .4& n< % # # )/ &,# G%4'' %n .7!% "

F%+# #+& )n 4'#' &,# O.#nCV )6:#+& #+&)! ) 4 #" In )! #! &) n+!#%'#

.#!/)! %n+#* &,# /%+# #+&)! )n 7 #=#+4' # #!7 )n# '#+)n " M)!#) #!* )n 7 &,# /%+# '

!#+&%n< # ' %


59/65

Cha ter B

Res"/ts an0 Conc/"s1on

49


60/65

Cha ter B

Res"/ts an0 Conc/"s1ons

B.& =eart rate est1mat1on com ar1son

T) % % &,# ,#%!& !% % 4#' )6&% n# 67 &,# . # #n P4 '# D#+&)!

%.. +%& )n % '& %' !4n %n !#% n


61/65

▪ % ') 6#+%4'# %n7 ' % ) # #n& )!

%.. +%& )n &) )n &)! % .#!')n ' ,#%!& !% %' % ' . # #=% . # )/ &,#

%.. +%& )n )/ &,# .#!/)! %n+# ).& # E4 #! %n V #) M%


62/65


63/65

T,# %.. +%& )n )!$/ ) '&%! 67

.!# )4' 7 &!% n# &) #+& ,4 %n /%+#'" A !#< )n )/ n!#'& (ROI )/ &,# .#!')n ' /%+#

)4 &,#n 6# /# n&) &,# . # #n E4 #! %n V #) M%

!% #'& %& )n ' +) .4 67 #n& /7 n< &,# /!#?4#n+7 &, &,# ,


64/65


65/65

10" V#!$!47''#* L%!' O S %%'%n * %n J S&4%!& N# ')n" R# ) . #&,7' )

%< n< 4' n< % 6 #n&

mtech thesis n narayana murty 12mn1d5503 1

Documents