WO2013077546A1 - Apparatus and method for detecting a scene change in a stereoscopic video - Google Patents

Apparatus and method for detecting a scene change in a stereoscopic video Download PDF

Info

Publication number
WO2013077546A1
WO2013077546A1 PCT/KR2012/008237 KR2012008237W WO2013077546A1 WO 2013077546 A1 WO2013077546 A1 WO 2013077546A1 KR 2012008237 W KR2012008237 W KR 2012008237W WO 2013077546 A1 WO2013077546 A1 WO 2013077546A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
feature points
frame
stereoscopic
scene change
Prior art date
Application number
PCT/KR2012/008237
Other languages
French (fr)
Korean (ko)
Inventor
우대식
박재범
전병기
김종대
정원석
Original Assignee
에스케이플래닛 주식회사
시모스 미디어텍(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사, 시모스 미디어텍(주) filed Critical 에스케이플래닛 주식회사
Publication of WO2013077546A1 publication Critical patent/WO2013077546A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an apparatus and method for detecting a scene change of a stereoscopic image, and more particularly, to extract feature points from a last frame of a scene change point detected from an input image, and to extract the feature points from the first frame of the scene changed image.
  • the present invention relates to an apparatus and method for detecting a scene of a stereoscopic image, wherein the stereoscopic scene continuity score is calculated using the tracked feature points, and the stereoscopic scene continuity score is compared with a preset threshold to determine the continuity of the stereoscopic scene.
  • a scene change refers to a phenomenon in which a video is restarted in another scene after one scene is finished in a sequence of video scenes.
  • a transition usually involves a fade-out and fade-in where any scene gradually fades away and then another scene, slowly overlapping over time in two different directions. overlap), simple scene transitions, etc.
  • Conventional scene change point detection basically separates the scene change point based on a numerical value such as brightness or histogram of an image. For most of these criteria, it is reasonable to select a numerically discontinuous part as a transition point as shown in the Histogram result of FIG. 1, but in the case of stereoscopic transformation, if there is visual continuity of the object, it should be separated into one continuous scene. There are many cases.
  • the present invention has been made to solve the above-described problem, and an object of the present invention is to provide an apparatus and method for detecting a scene of a stereoscopic image capable of detecting an optimal scene transition point in view of stereoscopic transformation.
  • Another object of the present invention is to determine whether to separate the scenes into independent scene transitions or distinguish them as one continuous scene transition in a conventional scene change point using characteristics of the image, thereby determining the presence or absence of the continuity of the scene change point from a stereoscopic point of view.
  • the present invention provides an apparatus and method for detecting a scene change of a stereoscopic image.
  • a scene change point detection module that detects a scene change point in an input image, extracts feature points from the last frame of the detected scene change point, and the extracted feature points are tracked in the first frame of the scene change image 3D scene continuity score calculation module for calculating a 3D scene continuity score using the extracted feature points, and a scene continuity for comparing the calculated 3D scene continuity score with a predetermined threshold value and determining the continuity of the 3D scene based on the comparison result.
  • An apparatus for detecting a scene change of a stereoscopic image including a determination module is provided.
  • the scene change point detection module detects the scene change point using at least one method of correlation, statistical sequential analysis, and histogram.
  • the stereoscopic scene continuity score calculation module may include a feature point extracting unit extracting feature points from the last frame of the scene change point detected by the scene change point detection module, and matching the feature points extracted from the last frame with the first frame.
  • a feature point matching unit for obtaining the number of feature points tracked in the first frame, a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame, and the obtained SAD It includes a stereoscopic scene continuity score calculation unit for obtaining a stereoscopic scene continuity score.
  • the stereoscopic scene continuity score calculation module obtains the stereoscopic scene continuity score C (s) using the following equation.
  • the total number of feature points is the number of feature points extracted from the last frame of the scene change point
  • the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image
  • fn is the number of the frame
  • bm is m of the frame Means the first block.
  • the SAD (fn, bm) is obtained by using the following equation.
  • fn is the number of the frame
  • bm is the m-th block of the frame
  • i is the order of each pixel of the block.
  • the scene continuity determining module determines that the three-dimensional scene continuity score is equal to or greater than the threshold, and determines that the scene is continuous.
  • a method for detecting a scene change of a stereoscopic image by the scene change detection apparatus comprising: (a) detecting a scene change point in an input image, (b) a last frame of the detected scene change point Extracting feature points and calculating a stereoscopic scene continuity score using the feature points tracked in the first frame of the scene from which the extracted feature points are transitioned; (c) comparing the calculated stereoscopic scene continuity score with a preset threshold;
  • a scene change detection method of a stereoscopic image comprising the step of determining the continuity of the stereoscopic scene based on the comparison result.
  • step (b) extracting feature points in the last frame of the detected scene change point, matching the feature points extracted in the last frame with the first frame, and extracting the number of feature points tracked in the first frame.
  • SAD sum of absolute difference
  • the stereoscopic scene continuity score C (s) is obtained using the following equation.
  • the total number of feature points is the number of feature points extracted from the last frame of the scene change point
  • the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image
  • fn is the number of the frame
  • bm is m of the frame Means the first block.
  • step (c) if the stereoscopic scene continuity score is greater than or equal to the threshold, it is determined that the scene is continuous, and if it is not greater than or equal to the threshold, it is determined that a scene change is made.
  • a scene change detection method of a stereoscopic image includes a program and a recording medium readable by an electronic device is provided.
  • an optimum scene change point can be detected in terms of stereoscopic transformation.
  • 1 is a diagram representing a numerical value of a conventional scene change point.
  • FIG. 2 is a block diagram schematically showing the configuration of an apparatus for detecting a scene change of a stereoscopic image according to the present invention
  • Figure 3 is an exemplary view for explaining a method for obtaining the inter-frame SAD according to the present invention.
  • FIG. 4 is a flowchart illustrating a method for checking whether a scene is continuous by a scene change detection apparatus of a stereoscopic image according to the present invention
  • FIG. 5 is a flowchart illustrating a method for obtaining a stereoscopic scene continuity score by the scene change detection apparatus according to the present invention.
  • FIG. 2 is a block diagram schematically illustrating a configuration of an apparatus for detecting a scene change of a stereoscopic image according to the present invention
  • FIG. 3 is an exemplary diagram for describing a method for obtaining an inter-frame SAD according to the present invention.
  • the scene change detection apparatus 200 for a stereoscopic image includes a scene change point detection module 210, a stereoscopic scene continuity score calculation module 220, and a scene continuity determination module 230.
  • the scene change point detection module 210 detects a scene change point from an input image. That is, the scene change point detection module 210 obtains a scene change point of an input image by using methods such as brightness, correlation, statistical sequential analysis, histogram, and the like.
  • the scene change point detection module 210 detects the scene change point according to the related art, a detailed description thereof will be omitted.
  • the stereoscopic scene continuity score calculation module 220 extracts feature points from the last frame of the scene change point detected by the scene change point detection module 210, and tracks the feature points tracked in the first frame of the image after the extracted feature points are scene changed. Calculate the stereoscopic scene continuity score using.
  • the last frame of the scene change point means the last frame before the scene change
  • the first frame of the scene change image means the first frame after the scene change
  • before and after the scene change is divided by the scene change point.
  • the stereoscopic scene continuity score calculation module 220 performing the above role includes a feature point extractor 222, a feature point matcher 224, and a stereoscopic scene continuity score calculator 226.
  • the feature point extractor 222 extracts feature points using Harris's corner extraction method, SIFT (Scale Invariant Feature Transform) algorithm, etc. in the last frame of the scene change point detected by the scene change point detection module 210.
  • Harris's corner extraction method SIFT (Scale Invariant Feature Transform) algorithm, etc.
  • SIFT Scale Invariant Feature Transform
  • the feature point may be defined in advance as referring to an edge or a corner.
  • the feature point extractor 222 extracts a feature point from the last frame of the scene change point in order to find an association of objects between images before and after the scene change point.
  • the feature point matching unit 224 matches the feature points extracted in the last frame of the scene change point with the first frame of the scene changed image to obtain the number of feature points tracked in the first frame.
  • the feature points extracted from the last frame before the scene change point are feature point 1, feature point 2, feature point 3, feature point 4 and feature point 5, and as a result of matching the extracted feature points to the first frame after the scene change point feature point 1, feature point When 2 and 4 are tracked, the feature point matching unit 224 obtains "3" as the number of tracked features.
  • the stereoscopic scene continuity score calculator 226 obtains a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame, and uses the obtained SAD. Obtain a stereoscopic scene continuity score.
  • the predefined block refers to a block having a predetermined predetermined size including neighboring pixels based on the feature point.
  • the stereoscopic scene continuity score refers to a score indicating how much the feature points are maintained in the next scene-switched image based on the feature points extracted in the last frame.
  • the three-dimensional scene continuity score calculator 226 determines the continuity of the scene (s) and the scene (s + 1) in consideration of the number of feature points that can be actually tracked and the reliability of the feature points obtained by tracking the number of feature points to be performed. Find the score for.
  • Scene (s) refers to a scene corresponding to the scene change point
  • Scene (s + 1) refers to a scene after the scene change point.
  • the stereoscopic scene continuity score calculator 226 calculates the stereoscopic scene continuity score C (s) using Equation 1.
  • the total number of feature points refers to the number of feature points extracted from the last frame of the scene change point
  • the number of tracked feature points refers to the number of feature points tracked in the first frame after the scene change point obtained by the feature point matching unit.
  • F (n) denotes reliability of each feature point
  • n denotes an index of traceable feature points
  • s denotes an index of each scene.
  • the reliability (F (n)) of each feature point is easy to track when tracking at the first frame of the scene (s + 1), which is then transitioned according to the conventional method at the last frame of the scene (s), for any feature point n. Means.
  • the reliability of each feature point represents how similarly some regions of the image formed based on the feature points exist in and close to each other in the next image to be tracked.
  • the stereoscopic scene continuity score calculator 226 calculates the stereoscopic scene continuity score using the SAD.
  • the stereoscopic scene continuity score calculator 226 calculates SAD by using Equation 2.
  • fn is the number of the frame
  • bm is the m-th block of the frame
  • i is the order of each pixel of the block
  • abs is the absolute value.
  • the sum of absolute difference (SAD) is a sum of absolute differences of all pixels in a block, and as a result, represents a difference between blocks at the same position between frames. Therefore, the large SAD value means that the change of the image is large.
  • the stereoscopic scene continuity score calculator 226 divides the frame into a predetermined number of blocks based on the feature points, and obtains SAD between the current frame and the previous frame for each block.
  • the stereoscopic scene continuity score calculator 226 determines the SAD between blocks bm at the same position in each frame, that is, SAD (fn-1, bm) between the current frame block bm and the previous frame block bm, and the current frame. And then SAD (fn, bm) between frame blocks bm are obtained, respectively.
  • the three-dimensional scene continuity score calculator 226 determines the SAD between the blocks bm at the same position in each frame, that is, the current frame. SAD (fn, bm) between block bm and subsequent frame block bm is obtained, respectively.
  • the stereoscopic scene continuity score calculator 226 calculates SAD for each block by a predetermined spatial size for the feature points selected at the scene change point. If the obtained SAD value is greater than or equal to the threshold value, this means that tracking is not practical in reality, and thus, except for the tracking number of feature points, tracking may be possible if the SAD value is not greater than or equal to the threshold value. Therefore, the smaller the actual SAD value, the greater the similarity and the greater the reliability. In other words, the smaller the SAD, the greater the reliability of the inverse scaffold relationship.
  • the stereoscopic scene continuity score calculator 226 may obtain the reliability F (n) of each feature point by using the SAD.
  • the stereoscopic scene continuity score calculator 226 may express Equation 1 as Equation 3 below.
  • the total number of feature points is the number of feature points extracted from the last frame of the scene change point
  • the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image
  • fn is the number of the frame
  • bm is m of the frame Means the second block.
  • the stereoscopic image continuity score calculation module 220 configured as described above obtains a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame that has been transitioned.
  • SAD sum of absolute difference
  • the stereoscopic image continuity score calculation module 220 may correct the stereoscopic scene continuity score by performing feature point matching on at least one frame to the left, right (ie, before or after the scene change point) of the scene change point. .
  • the scene continuity determining module 230 compares the stereoscopic scene continuity score obtained by the stereoscopic scene continuity score calculation module 220 with a preset threshold value, and determines the continuity of the stereoscopic scene based on the comparison result.
  • the scene continuity determining module 230 determines that the scene is a continuous scene when the three-dimensional scene continuity score is greater than or equal to a preset threshold value, and determines that a scene change is performed when the scene continuity score is not more than a threshold value.
  • the scene continuity determining module 230 determines that two scene (s) and a scene (s + 1) separated in the conventional manner by the scene change point detection module 210 when the three-dimensional scene continuity score is greater than or equal to a threshold. ) Are processed by combining them into a scene in the stereoscopic image.
  • the scene change detection apparatus 200 of the stereoscopic image configured as described above automatically considers the detection of the scene change point for stereoscopic conversion, and basically selects the existing scene change point first and performs the additional detection as described above. This is done by examining whether or not you should.
  • the apparatus 200 for detecting a scene change of the stereoscopic image defines a criterion for determining whether to separate the scene into independent scene changes or to distinguish one continuous scene change from the normal scene change point.
  • FIG. 4 is a flowchart illustrating a method of checking whether a scene is continuous by a scene change detection apparatus of a stereoscopic image according to the present invention.
  • a scene change detection apparatus of a stereoscopic image detects a scene change point with respect to an input image (S302). That is, the scene change detection apparatus detects a scene change point of an input image by using a method such as correlation, statistical sequential analysis, histogram, and the like.
  • the scene change detection apparatus After performing the step S302, the scene change detection apparatus extracts the feature points from the last frame of the detected scene change point (S304), and the stereoscopic scene using the feature points tracked in the first frame of the scene where the extracted feature points are scene changed.
  • the continuity score is calculated (S306).
  • the scene change detection apparatus determines whether the obtained stereoscopic scene continuity score is equal to or greater than a preset threshold (S308).
  • the scene change detection device determines that the frame is a continuous scene (S310).
  • the scene change detection apparatus determines that the scene change is performed (S312).
  • FIG. 5 is a flowchart illustrating a method for obtaining a stereoscopic scene continuity score by the scene change detection apparatus according to the present invention.
  • the scene change detection apparatus obtains the number of feature points tracked in the first frame after the scene change point in the feature points of the last frame where the scene change point is detected (S402). That is, the scene change detection apparatus obtains the number of feature points tracked in the first frame by matching the feature points extracted in the last frame with the first frame.
  • the scene change detection apparatus After performing S402, the scene change detection apparatus obtains a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame (S404).
  • SAD sum of absolute difference
  • the scene change detection apparatus obtains SAD by using Equation 2.
  • the scene change detection apparatus calculates a stereoscopic scene continuity score using the obtained SAD and the number of tracked feature points (S406).
  • the scene change detection apparatus obtains a stereoscopic scene continuity score by using Equation 3.
  • the present invention can be embodied as computer readable codes on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
  • An apparatus for detecting a scene change of a stereoscopic image may include a processor, a memory, a storage device and an input / output device as components, which components may be interconnected using, for example, a system bus.
  • the processor may process instructions for execution within the device.
  • the processor may be a single-threaded processor, and in other implementations, the processor may be a multi-threaded processor.
  • the processor processes instructions stored on memory or storage devices. It is possible to do
  • the memory stores information in the apparatus.
  • the memory is a computer readable medium.
  • the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit.
  • the storage device described above can provide a mass storage for the device.
  • the storage device is a computer readable medium.
  • the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
  • the input / output device provides an input / output operation for the device according to the present invention.
  • the input / output device may include one or more network interface devices such as, for example, an Ethernet card, such as a serial communication device such as an RS-232 port and / or a wireless interface device such as, for example, an 802.11 card.
  • the input / output device can include driver devices, such as keyboards, printers, and display devices, configured to send output data to and receive input data from other input / output devices.
  • the apparatus according to the invention may be driven by instructions that cause one or more processors to perform the functions and processes described above.
  • such instructions may include instructions that are interpreted, for example, script instructions such as JavaScript or ECMAScript instructions, or executable code or other instructions stored on a computer readable medium.
  • the device according to the present invention may be implemented in a distributed manner over a network, such as a server farm, or may be implemented in a single computer device.
  • the specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or modified from the structures and structural equivalents disclosed herein. It may be implemented in computer software, firmware or hardware, including, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of an apparatus according to the invention. It may be implemented as the above module.
  • the computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
  • processing system encompass all the instruments, devices and machines for processing data, including, for example, programmable processors, computers or multiple processors or computers.
  • the processing system may include, in addition to hardware, code that forms an execution environment for a computer program on demand, such as code constituting processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more thereof. .
  • a computer program (also known as a program, software, software application, script or code) mounted on an apparatus according to the invention and executing a method according to the invention is a programming comprising a compiled or interpreted language or a priori or procedural language. It can be written in any form of language, and can be deployed in any form, including stand-alone programs or modules, components, subroutines, or other units suitable for use in a computer environment.
  • a computer program does not necessarily correspond to a file in a file system.
  • a program may be in a single file provided to the requested program, in multiple interactive files (eg, a file that stores one or more modules, subprograms, or parts of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored in a markup language document).
  • the computer program may be deployed to run on a single computer or on multiple computers located at one site or distributed across multiple sites and interconnected by a communication network.
  • Computer-readable media suitable for storing computer program instructions and data include, for example, semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CD-ROMs. And all forms of nonvolatile memory, media and memory devices, including DVD-ROM discs.
  • semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CD-ROMs. And all forms of nonvolatile memory, media and memory devices, including DVD-ROM discs.
  • the processor and memory can be supplemented by or integrated with special purpose logic circuitry.
  • Implementations of the subject matter described herein may include, for example, a backend component such as a data server, or include a middleware component such as, for example, an application server, or a web browser or graphical user, for example, where a user may interact with the implementation of the subject matter described herein. It can be implemented in a computing system that includes a front end component such as a client computer having an interface or any combination of one or more of such back end, middleware or front end components. The components of the system may be interconnected by any form or medium of digital data communication such as, for example, a communication network.
  • the present invention it is possible to determine whether to separate the scene into independent scene transitions or separate them into one continuous scene transition using the features of the image. It can be applied to a scene change detection apparatus and method of an image.

Abstract

The present invention relates to an apparatus and method for detecting a scene change in a stereoscopic video, wherein the apparatus includes: a module for detecting a scene change point in an input video; a module for calculating a stereoscopic scene continuity score which extracts feature points in the last frame of the detected scene change point and calculates a stereoscopic scene continuity score by using the extracted feature points tracked in the first frame of the scene change video; and a module for determining scene continuity which compares the calculated stereoscopic scene continuity score with a preset threshold, and determines whether the stereoscopic scene is continuous on the basis of the compared result. According to the present invention, whether a typical scene change point is to be divided into independent scene changes or distinguished as one continuous scene change and whether the scene change point is continuous in a stereoscopic view can be determined by using video features.

Description

입체 영상의 장면 전환 검출 장치 및 방법Scene change detection apparatus and method for stereoscopic images
본 발명은 입체 영상의 장면 전환 검출 장치 및 방법에 관한 것으로서, 보다 상세하게는 입력되는 영상에서 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산한 후, 상기 입체 장면 연속성 점수를 기 설정된 임계치와 비교하여 입체 장면의 연속성 여부를 판단하는 입체 영상의 장면 전환 검출 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting a scene change of a stereoscopic image, and more particularly, to extract feature points from a last frame of a scene change point detected from an input image, and to extract the feature points from the first frame of the scene changed image. The present invention relates to an apparatus and method for detecting a scene of a stereoscopic image, wherein the stereoscopic scene continuity score is calculated using the tracked feature points, and the stereoscopic scene continuity score is compared with a preset threshold to determine the continuity of the stereoscopic scene.
일반적으로 장면전환(Scene Change)이란 연속되는 동영상의 장면에서 한 장면이 끝난 후, 다른 장면으로 동영상이 다시 시작되는 현상을 말한다. 장면전환은 통상 임의의 장면이 점차적으로 사라지다가 다시 다른 장면이 서서히 나타나는 페이드-아웃(fade out) 및 페이드-인(fade in), 임의의 두 장면이 서로 다른 방향에서 시간을 두고 천천히 겹치는 오버랩(overlap), 단순 장면전환 등으로 구분하기도 한다.In general, a scene change refers to a phenomenon in which a video is restarted in another scene after one scene is finished in a sequence of video scenes. A transition usually involves a fade-out and fade-in where any scene gradually fades away and then another scene, slowly overlapping over time in two different directions. overlap), simple scene transitions, etc.
종래의 장면전환점의 검출은 기본적으로 영상의 밝기나 Histogram 등과 같은 수치를 기준으로 장면 전환점을 분리한다. 대부분의 이러한 기준은 도 1의 Histogram 결과와 같이 수치적으로 불연속인 부분을 장면전환점으로 선정하는 것이 타당하지만, 입체변환의 경우에는 시각적으로 객체의 연속성이 있다면 이를 하나의 연속적인 장면으로 분리하여야 하는 경우가 많다.Conventional scene change point detection basically separates the scene change point based on a numerical value such as brightness or histogram of an image. For most of these criteria, it is reasonable to select a numerically discontinuous part as a transition point as shown in the Histogram result of FIG. 1, but in the case of stereoscopic transformation, if there is visual continuity of the object, it should be separated into one continuous scene. There are many cases.
즉 일반적인 장면전환점과는 다르게 연속적인 장면에서 특정 객체가 계속 움직이는 경우, 시청자는 이 객체의 입체 특성을 유지하여야 입체의 불편함이 작다.That is, unlike a general scene change point, when a specific object continues to move in a continuous scene, viewers must maintain stereoscopic characteristics of the object so that stereoscopic discomfort is small.
이것이 다른 장면전환점으로 구별되어서 다른 장면(Scene)으로 분리된다면 서로 다른 입체변환방식이 적용될 수 있고, 따라서 연속적인 장면임에도 불구하고 입체의 특성이 변화되어 시각적인 입체의 불편함이 증가할 수 있다.If this is divided into different scene change points and separated into different scenes, different stereoscopic transformations may be applied, and thus, even though the scenes are continuous, the stereoscopic characteristics may be changed to increase visual discomfort.
물론 수작업을 통해서 입체변환 작업을 한다면 특별히 장면전환점의 구별없이 사람이 시각적으로 입체의 특성을 고려하기 때문에 문제가 없지만, 자동으로 영상처리를 통해서 입체변환을 수행하여야 할 경우에는 장면전환점 단위로 입체변환을 해야 효율적이기 때문에 이러한 장면전환점은 매우 중요하다.Of course, if the three-dimensional transformation work by hand, there is no problem because the person visually considers the characteristics of the three-dimensional object without distinguishing the scene transition point, but when the three-dimensional transformation should be performed automatically through image processing, the three-dimensional transformation by the unit of the transition point This transition point is very important because it is efficient to use.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 입체 변환의 관점에서 최적의 장면전환점을 검출할 수 있는 입체 영상의 장면 전환 검출 장치 및 방법을 제공하는데 있다. SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problem, and an object of the present invention is to provide an apparatus and method for detecting a scene of a stereoscopic image capable of detecting an optimal scene transition point in view of stereoscopic transformation.
본 발명의 다른 목적은 영상의 특징을 이용하여 통상적인 장면전환점에서 이를 독립적인 장면전환으로 분리할지 또는 연속적인 하나의 장면전환으로 구별하지를 결정하여, 입체의 관점에서 장면전환점의 연속성 유무를 결정할 수 있는 입체 영상의 장면 전환 검출 장치 및 방법을 제공하는데 있다.Another object of the present invention is to determine whether to separate the scenes into independent scene transitions or distinguish them as one continuous scene transition in a conventional scene change point using characteristics of the image, thereby determining the presence or absence of the continuity of the scene change point from a stereoscopic point of view. The present invention provides an apparatus and method for detecting a scene change of a stereoscopic image.
본 발명의 일 측면에 따르면, 입력되는 영상에서 장면 전환점을 검출하는 장면 전환점 검출 모듈, 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 입체 장면 연속성 점수 계산 모듈, 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하고, 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 장면 연속성 여부 판단 모듈을 포함하는 입체 영상의 장면 전환 검출 장치가 제공된다. According to an aspect of the present invention, a scene change point detection module that detects a scene change point in an input image, extracts feature points from the last frame of the detected scene change point, and the extracted feature points are tracked in the first frame of the scene change image 3D scene continuity score calculation module for calculating a 3D scene continuity score using the extracted feature points, and a scene continuity for comparing the calculated 3D scene continuity score with a predetermined threshold value and determining the continuity of the 3D scene based on the comparison result. An apparatus for detecting a scene change of a stereoscopic image including a determination module is provided.
상기 장면 전환점 검출 모듈은 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 중 적어도 하나의 방법을 이용하여 장면 전환점을 검출한다.The scene change point detection module detects the scene change point using at least one method of correlation, statistical sequential analysis, and histogram.
상기 입체 장면 연속성 점수 계산 모듈은, 상기 장면 전환점 검출모듈에서 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하는 특징점 추출부, 상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구하는 특징점 매칭부, 상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하고, 상기 구해진 SAD를 이용하여 입체 장면 연속성 점수를 구하는 입체 장면 연속성 점수 계산부를 포함한다.The stereoscopic scene continuity score calculation module may include a feature point extracting unit extracting feature points from the last frame of the scene change point detected by the scene change point detection module, and matching the feature points extracted from the last frame with the first frame. A feature point matching unit for obtaining the number of feature points tracked in the first frame, a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame, and the obtained SAD It includes a stereoscopic scene continuity score calculation unit for obtaining a stereoscopic scene continuity score.
상기 입체 장면 연속성 점수 계산모듈은 다음의 수학식을 이용하여 입체 장면 연속성 점수(C(s))를 구한다. The stereoscopic scene continuity score calculation module obtains the stereoscopic scene continuity score C (s) using the following equation.
[수학식][Equation]
C(s)=(추적된 특징점 개수 / 총 특징점 개수) * (Σ(1/SAD(fn,bm))C (s) = (Tracked feature points / total feature points) * (Σ (1 / SAD (fn, bm))
여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미함.Here, the total number of feature points is the number of feature points extracted from the last frame of the scene change point, the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image, fn is the number of the frame, bm is m of the frame Means the first block.
상기 SAD(fn,bm)는 다음의 수학식을 이용하여 구한다. The SAD (fn, bm) is obtained by using the following equation.
[수학식][Equation]
SAD(fn,bm)= Σ abs( Frame(fn,bm) pixel (i)- Frame(fn+1,bm) pixel(i))SAD (fn, bm) = Σ abs (Frame (fn, bm) pixel (i)-Frame (fn + 1, bm) pixel (i))
여기서, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록, i는 해당 블록의 각 pixel의 순서를 의미함.Here, fn is the number of the frame, bm is the m-th block of the frame, i is the order of each pixel of the block.
상기 장면 연속성 여부 판단 모듈은 상기 입체 장면 연속성 점수가 상기 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단한다. The scene continuity determining module determines that the three-dimensional scene continuity score is equal to or greater than the threshold, and determines that the scene is continuous.
본 발명의 다른 측면에 따르면, 장면 전환 검출 장치가 입체 영상의 장면 전환을 검출하는 방법에 있어서, (a) 입력되는 영상에서 장면 전환점을 검출하는 단계, (b) 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 단계, (c) 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하여 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 단계를 포함하는 입체 영상의 장면 전환 검출 방법이 제공된다. According to another aspect of the present invention, a method for detecting a scene change of a stereoscopic image by the scene change detection apparatus, comprising: (a) detecting a scene change point in an input image, (b) a last frame of the detected scene change point Extracting feature points and calculating a stereoscopic scene continuity score using the feature points tracked in the first frame of the scene from which the extracted feature points are transitioned; (c) comparing the calculated stereoscopic scene continuity score with a preset threshold; There is provided a scene change detection method of a stereoscopic image comprising the step of determining the continuity of the stereoscopic scene based on the comparison result.
상기 (b) 단계는, 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하는 단계, 상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구하는 단계, 상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하는 단계, 상기 구해진 SAD와 상기 추적된 특징점 개수를 이용하여 입체 장면 연속성 점수를 계산하는 단계를 포함한다.In the step (b), extracting feature points in the last frame of the detected scene change point, matching the feature points extracted in the last frame with the first frame, and extracting the number of feature points tracked in the first frame. Obtaining a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame, and using the obtained SAD and the number of tracked feature points. Calculating a scene continuity score.
상기 입체 장면 연속성 점수(C(s))는 다음의 수학식을 이용하여 구해진다. The stereoscopic scene continuity score C (s) is obtained using the following equation.
[수학식][Equation]
C(s)=(추적된 특징점 개수 / 총 특징점 개수) * (Σ(1/SAD(fn,bm))C (s) = (Tracked feature points / total feature points) * (Σ (1 / SAD (fn, bm))
여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미함.Here, the total number of feature points is the number of feature points extracted from the last frame of the scene change point, the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image, fn is the number of the frame, bm is m of the frame Means the first block.
상기 (c) 단계는, 상기 입체 장면 연속성 점수가 상기 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단한다. In the step (c), if the stereoscopic scene continuity score is greater than or equal to the threshold, it is determined that the scene is continuous, and if it is not greater than or equal to the threshold, it is determined that a scene change is made.
본 발명의 또 다른 측면에 따르면, (a) 입력되는 영상에서 장면 전환점을 검출하는 단계, (b) 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 단계, (c) 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하여 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 단계를 포함하는 입체 영상의 장면 전환 검출 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.According to another aspect of the present invention, (a) detecting a scene change point in an input image, (b) extracting feature points in the last frame of the detected scene change point, and the extracted feature points of the scene Calculating a stereoscopic scene continuity score using the feature points tracked in the first frame; and (c) comparing the calculated stereoscopic scene continuity score with a preset threshold and determining the continuity of the stereoscopic scene based on the comparison result. A scene change detection method of a stereoscopic image includes a program and a recording medium readable by an electronic device is provided.
본 발명에 따르면, 입체 변환의 관점에서 최적의 장면전환점을 검출할 수 있다. According to the present invention, an optimum scene change point can be detected in terms of stereoscopic transformation.
또한, 영상의 특징을 이용하여 통상적인 장면전환점에서 이를 독립적인 장면전환으로 분리할지 또는 연속적인 하나의 장면전환으로 구별하지를 결정하여, 입체의 관점에서 장면전환점의 연속성 유무를 결정할 수 있다.In addition, it is possible to determine whether to separate the scene into independent scene transitions or separate them into one continuous scene transition at a normal scene change point by using the feature of the image, thereby determining whether or not the scene change point is continuous from a stereoscopic point of view.
도 1은 종래의 장면전환점의 수치를 표현한 도면.1 is a diagram representing a numerical value of a conventional scene change point.
도 2는 본 발명에 따른 입체 영상의 장면 전환 검출 장치의 구성을 개략적으로 나타낸 블럭도.2 is a block diagram schematically showing the configuration of an apparatus for detecting a scene change of a stereoscopic image according to the present invention;
도 3은 본 발명에 따른 프레임간 SAD를 구하는 방법을 설명하기 위한 예시도. Figure 3 is an exemplary view for explaining a method for obtaining the inter-frame SAD according to the present invention.
도 4는 본 발명에 따른 입체 영상의 장면전환 검출 장치가 장면의 연속성 여부를 검사하는 방법을 나타낸 흐름도. 4 is a flowchart illustrating a method for checking whether a scene is continuous by a scene change detection apparatus of a stereoscopic image according to the present invention;
도 5는 본 발명에 따른 장면전환 검출 장치가 입체 장면 연속성 점수를 구하는 방법을 나타낸 흐름도.5 is a flowchart illustrating a method for obtaining a stereoscopic scene continuity score by the scene change detection apparatus according to the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same or corresponding components will be given the same reference numerals and redundant description thereof will be omitted.
도 2는 본 발명에 따른 입체 영상의 장면 전환 검출 장치의 구성을 개략적으로 나타낸 블록도, 도 3은 본 발명에 따른 프레임간 SAD를 구하는 방법을 설명하기 위한 예시도이다. FIG. 2 is a block diagram schematically illustrating a configuration of an apparatus for detecting a scene change of a stereoscopic image according to the present invention, and FIG. 3 is an exemplary diagram for describing a method for obtaining an inter-frame SAD according to the present invention.
도 2를 참조하면, 입체 영상의 장면 전환 검출 장치(200)는 장면 전환점 검출 모듈(210), 입체 장면 연속성 점수 계산 모듈(220), 장면 연속성 여부 판단 모듈(230)을 포함한다. Referring to FIG. 2, the scene change detection apparatus 200 for a stereoscopic image includes a scene change point detection module 210, a stereoscopic scene continuity score calculation module 220, and a scene continuity determination module 230.
상기 장면 전환점 검출모듈(210)은 입력되는 영상에서 장면 전환점을 검출한다. 즉, 상기 장면 전환점 검출모듈(210)은 영상의 밝기, 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 등의 방법을 이용하여 입력되는 영상의 장면 전환점을 구한다.The scene change point detection module 210 detects a scene change point from an input image. That is, the scene change point detection module 210 obtains a scene change point of an input image by using methods such as brightness, correlation, statistical sequential analysis, histogram, and the like.
상기 장면 전환점 검출모듈(210)이 장면 전환점을 검출하는 기술은 종래의 기술을 따르므로 그에 대한 상세한 설명은 생략하기로 한다.Since the scene change point detection module 210 detects the scene change point according to the related art, a detailed description thereof will be omitted.
상기 입체 장면 연속성 점수 계산모듈(220)은 상기 장면 전환점 검출모듈(210)에서 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 이후 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산한다. 여기서, 상기 장면 전환점의 마지막 프레임은 장면 전환 전의 마지막 프레임을 의미하고, 상기 장면 전환된 영상의 첫번째 프레임은 장면 전환 후의 첫번째 프레임을 의미하며, 장면 전환 전과 후는 장면 전환점에 의해 구분된다.The stereoscopic scene continuity score calculation module 220 extracts feature points from the last frame of the scene change point detected by the scene change point detection module 210, and tracks the feature points tracked in the first frame of the image after the extracted feature points are scene changed. Calculate the stereoscopic scene continuity score using. Here, the last frame of the scene change point means the last frame before the scene change, the first frame of the scene change image means the first frame after the scene change, and before and after the scene change is divided by the scene change point.
상기와 같은 역할을 수행하는 입체 장면 연속성 점수 계산 모듈(220)은 특징점 추출부(222), 특징점 매칭부(224), 입체 장면 연속성 점수 계산부(226)를 포함한다. The stereoscopic scene continuity score calculation module 220 performing the above role includes a feature point extractor 222, a feature point matcher 224, and a stereoscopic scene continuity score calculator 226.
상기 특징점 추출부(222)는 상기 장면 전환점 검출모듈(210)에서 검출된 장면 전환점의 마지막 프레임에서 Harris의 코너 추출 방법, SIFT(Scale Invariant Feature Transform) 알고리즘 등을 이용하여 특징점을 추출한다. 여기서, 상기 특징점은 에지(edge) 또는 코너(corner) 등을 말하는 것으로 미리 정의되어 있을 수 있다. The feature point extractor 222 extracts feature points using Harris's corner extraction method, SIFT (Scale Invariant Feature Transform) algorithm, etc. in the last frame of the scene change point detected by the scene change point detection module 210. Here, the feature point may be defined in advance as referring to an edge or a corner.
상기 특징점 추출부(222)는 장면 전환점 전후의 영상들간의 객체의 연관성을 찾기 위하여 장면 전환점의 마지막 프레임에서 특징점을 추출하게 된다. The feature point extractor 222 extracts a feature point from the last frame of the scene change point in order to find an association of objects between images before and after the scene change point.
상기 특징점 매칭부(224)는 상기 장면 전환점의 마지막 프레임에서 추출된 특징점들을 장면 전환된 영상의 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구한다. The feature point matching unit 224 matches the feature points extracted in the last frame of the scene change point with the first frame of the scene changed image to obtain the number of feature points tracked in the first frame.
예를 들어, 장면 전환점 이전의 마지막 프레임에서 추출된 특징점이 특징점 1, 특징점 2, 특징점 3, 특징점 4, 특징점 5이고, 상기 추출된 특징점들을 장면 전환점 이후의 첫번째 프레임에 매칭한 결과 특징점 1, 특징점 2, 특징점 4가 추적된 경우, 상기 특징점 매칭부(224)는 "3"을 추적된 특징점 개수로 구하게 된다.For example, the feature points extracted from the last frame before the scene change point are feature point 1, feature point 2, feature point 3, feature point 4 and feature point 5, and as a result of matching the extracted feature points to the first frame after the scene change point feature point 1, feature point When 2 and 4 are tracked, the feature point matching unit 224 obtains "3" as the number of tracked features.
상기 입체 장면 연속성 점수 계산부(226)는 상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하고, 상기 구해진 SAD를 이용하여 입체 장면 연속성 점수를 구한다. 여기서, 상기 미리 정의된 블록은 특징점을 기준으로 주변 화소들을 포함하는 미리 정해진 일정 크기의 블록을 의미한다. 상기 입체 장면 연속성 점수는 상기 마지막 프레임에서 추출된 특징점을 기준으로 다음으로 이어질 장면 전환된 영상에서 상기 특징점들이 어느 정도 유지되는지를 나타내는 점수를 의미한다.The stereoscopic scene continuity score calculator 226 obtains a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame, and uses the obtained SAD. Obtain a stereoscopic scene continuity score. Here, the predefined block refers to a block having a predetermined predetermined size including neighboring pixels based on the feature point. The stereoscopic scene continuity score refers to a score indicating how much the feature points are maintained in the next scene-switched image based on the feature points extracted in the last frame.
상기 입체 장면 연속성 점수 계산부(226)는 수행하고자 하는 특징점의 개수에 대해서 실제 추적이 가능한 특징점의 개수와 추적으로 얻어진 특징점의 신뢰도를 고려하여 Scene(s)와 Scene(s+1)의 장면 연속성에 대한 점수를 구한다. 여기서, Scene(s)은 장면 전환점에 해당하는 장면, Scene(s+1)은 장면 전환점 이후의 장면을 말한다.The three-dimensional scene continuity score calculator 226 determines the continuity of the scene (s) and the scene (s + 1) in consideration of the number of feature points that can be actually tracked and the reliability of the feature points obtained by tracking the number of feature points to be performed. Find the score for. Here, Scene (s) refers to a scene corresponding to the scene change point, and Scene (s + 1) refers to a scene after the scene change point.
따라서, 상기 입체 장면 연속성 점수 계산부(226)는 수학식 1을 이용하여 입체 장면 연속성 점수(C(s))를 구하게 된다. Accordingly, the stereoscopic scene continuity score calculator 226 calculates the stereoscopic scene continuity score C (s) using Equation 1.
수학식 1
Figure PCTKR2012008237-appb-M000001
Equation 1
Figure PCTKR2012008237-appb-M000001
여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수를 말하고, 상기 추적된 특징점 개수는 상기 특징점 매칭부에서 구해진 장면 전환점 이후의 첫번째 프레임에서 추적된 특징점 개수를 말한다. Here, the total number of feature points refers to the number of feature points extracted from the last frame of the scene change point, and the number of tracked feature points refers to the number of feature points tracked in the first frame after the scene change point obtained by the feature point matching unit.
상기 F(n)은 각 특징점의 신뢰도를 말하고, n은 추적이 가능한 특징점의 인덱스(index), s는 각 Scene의 index를 말한다. F (n) denotes reliability of each feature point, n denotes an index of traceable feature points, and s denotes an index of each scene.
상기 각 특징점의 신뢰도(F(n))는 임의 특징점 n에 대해서, Scene(s)의 마지막 프레임에서 기존 방식에 따라서 장면 전환된 다음 Scene(s+1)의 첫번째 프레임에서 추적할 때 추적의 용이함을 의미한다. 즉, 각 특징점의 신뢰도는 특징점을 기준으로 형성된 영상의 일부 영역이 추적하고자 하는 다음 영상에서 얼마나 비슷한 형태로 존재하며 근접하였는지를 표현하는 것이다.The reliability (F (n)) of each feature point is easy to track when tracking at the first frame of the scene (s + 1), which is then transitioned according to the conventional method at the last frame of the scene (s), for any feature point n. Means. In other words, the reliability of each feature point represents how similarly some regions of the image formed based on the feature points exist in and close to each other in the next image to be tracked.
만약 이전 영상과 관계없이 완전히 다른 영상으로 장면 전환이 이루어졌다면, 유사한 특징을 가지는 영역을 찾을 수가 없을 것이고 이것은 근본적으로 추적이 불가능하기 때문에 추적에서 제외된다. 그러나 일정 정도 이상의 유사성이 발견된다면, 발견된 유사성의 척도를 SAD(sum of absolute difference)를 이용하여 구한다.If the transition is made to a completely different image regardless of the previous image, it will not be possible to find areas with similar characteristics, which are excluded from the trace because they are essentially impossible to trace. However, if a certain degree of similarity is found, the measure of similarity found is obtained using the sum of absolute difference (SAD).
따라서, 상기 입체 장면 연속성 점수 계산부(226)은 SAD를 이용하여 입체 장면 연속성 점수를 구하게 된다. Accordingly, the stereoscopic scene continuity score calculator 226 calculates the stereoscopic scene continuity score using the SAD.
이때, 상기 입체 장면 연속성 점수 계산부(226)는 수학식 2를 이용하여 SAD를 구한다. In this case, the stereoscopic scene continuity score calculator 226 calculates SAD by using Equation 2.
수학식 2
Figure PCTKR2012008237-appb-M000002
Equation 2
Figure PCTKR2012008237-appb-M000002
여기서, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록, i는 해당 블록의 각 pixel의 순서, abs는 절대치를 의미한다.Here, fn is the number of the frame, bm is the m-th block of the frame, i is the order of each pixel of the block, abs is the absolute value.
상기 SAD(sum of absolute difference)는 블록내 모든 pixel의 절대 차이의 합으로, 결과적으로 프레임 간 같은 위치의 블록의 차이점을 표현한다. 따라서, SAD 값이 크다는 의미는 영상의 변화가 크다는 것을 의미한다.The sum of absolute difference (SAD) is a sum of absolute differences of all pixels in a block, and as a result, represents a difference between blocks at the same position between frames. Therefore, the large SAD value means that the change of the image is large.
따라서, 상기 입체 장면 연속성 점수 계산부(226)는 특징점을 중심으로 해당 프레임을 미리 정해진 일정 개수의 블록(block)으로 나누고, 각각의 블록에 대해 현재 프레임과 이전 프레임간의 SAD를 각각 구한다.Accordingly, the stereoscopic scene continuity score calculator 226 divides the frame into a predetermined number of blocks based on the feature points, and obtains SAD between the current frame and the previous frame for each block.
상기 입체 장면 연속성 점수 계산부(226)가 SAD를 구하는 방법에 대해 도 3을 참조하면, 현재 프레임이 Frame(fn)이고, 이전 프레임이 Frame(fn-1), 이후 프레임이 Frame(fn+1)인 경우, 상기 입체 장면 연속성 점수 계산부(226)는 각 프레임에서 동일한 위치의 블록(bm)간의 SAD 즉, 현재 프레임 블록 bm과 이전 프레임 블록 bm간의 SAD(fn-1,bm), 현재 프레임과 이후 프레임 블록 bm간의 SAD(fn,bm)을 각각 구한다. Referring to FIG. 3 for how the stereoscopic scene continuity score calculator 226 obtains SAD, the current frame is Frame (fn), the previous frame is Frame (fn-1), and the subsequent frame is Frame (fn + 1). ), The stereoscopic scene continuity score calculator 226 determines the SAD between blocks bm at the same position in each frame, that is, SAD (fn-1, bm) between the current frame block bm and the previous frame block bm, and the current frame. And then SAD (fn, bm) between frame blocks bm are obtained, respectively.
따라서, 현재 프레임이 Frame(fn)이고, 이후 프레임이 Frame(fn+1)인 경우, 상기 입체 장면 연속성 점수 계산부(226)는 각 프레임에서 동일한 위치의 블록(bm)간의 SAD 즉, 현재 프레임 블록 bm과 이후 프레임 블록 bm간의 SAD(fn,bm)을 각각 구한다. Therefore, when the current frame is Frame (fn) and the subsequent frame is Frame (fn + 1), the three-dimensional scene continuity score calculator 226 determines the SAD between the blocks bm at the same position in each frame, that is, the current frame. SAD (fn, bm) between block bm and subsequent frame block bm is obtained, respectively.
상기와 같이 상기 입체 장면 연속성 점수 계산부(226)는 장면전환점에서 선정된 특징점들에 대해 사전에 정의된 공간상의 크기만큼 각 블록에 대한 SAD을 구한다. 상기 구해진 SAD 값이 임계값 이상이면 이것은 현실적으로 추적의 의미가 없는 것이므로 특징점의 추적 개수에서 제외하고, SAD 값이 임계값 이상이 아니면 추적이 가능하다. 따라서, 실제 SAD 값이 작을수록 유사성은 커지고 신뢰도가 커진다. 즉, SAD가 작을수록 신뢰도는 커지는 역비계 관계이다.As described above, the stereoscopic scene continuity score calculator 226 calculates SAD for each block by a predetermined spatial size for the feature points selected at the scene change point. If the obtained SAD value is greater than or equal to the threshold value, this means that tracking is not practical in reality, and thus, except for the tracking number of feature points, tracking may be possible if the SAD value is not greater than or equal to the threshold value. Therefore, the smaller the actual SAD value, the greater the similarity and the greater the reliability. In other words, the smaller the SAD, the greater the reliability of the inverse scaffold relationship.
따라서, 상기 입체 장면 연속성 점수 계산부(226)는 각 특징점의 신뢰도(F(n))를 SAD를 이용하여 구할 수 있다. Accordingly, the stereoscopic scene continuity score calculator 226 may obtain the reliability F (n) of each feature point by using the SAD.
그러므로, 상기 입체 장면 연속성 점수 계산부(226)는 수학식 1을 수학식 3과 같이 표현할 수 있다. Therefore, the stereoscopic scene continuity score calculator 226 may express Equation 1 as Equation 3 below.
수학식 3
Figure PCTKR2012008237-appb-M000003
Equation 3
Figure PCTKR2012008237-appb-M000003
여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미한다. Here, the total number of feature points is the number of feature points extracted from the last frame of the scene change point, the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image, fn is the number of the frame, bm is m of the frame Means the second block.
상기와 같이 구성된 입체 영상 연속성 점수 계산 모듈(220)은 상기 마지막 프레임의 특징점과 장면 전환된 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하고, 상기 구해진 SAD를 이용하여 입체 장면 연속성 점수를 구한다. The stereoscopic image continuity score calculation module 220 configured as described above obtains a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame that has been transitioned. The stereoscopic scene continuity score is calculated using SAD.
또한, 상기 입체 영상 연속성 점수 계산모듈(220)은 장면 전환점의 좌, 우(즉, 장면전환점 이전 또는 이후) 최소 1 프레임에서 여러 프레임에 대해서 특징점 매칭을 수행하여 입체 장면 연속성 점수를 보정할 수 있다.In addition, the stereoscopic image continuity score calculation module 220 may correct the stereoscopic scene continuity score by performing feature point matching on at least one frame to the left, right (ie, before or after the scene change point) of the scene change point. .
상기 장면 연속성 여부 판단 모듈(230)은 상기 입체 장면 연속성 점수 계산모듈(220)에서 구해진 입체 장면 연속성 점수를 기 설정된 임계치와 비교하고, 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단한다. The scene continuity determining module 230 compares the stereoscopic scene continuity score obtained by the stereoscopic scene continuity score calculation module 220 with a preset threshold value, and determines the continuity of the stereoscopic scene based on the comparison result.
즉, 상기 장면 연속성 여부 판단 모듈(230)은 상기 입체 장면 연속성 점수가 미리 설정된 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단한다. That is, the scene continuity determining module 230 determines that the scene is a continuous scene when the three-dimensional scene continuity score is greater than or equal to a preset threshold value, and determines that a scene change is performed when the scene continuity score is not more than a threshold value.
다시 말하면, 상기 장면 연속성 여부 판단 모듈(230)은 상기 입체 장면 연속성 점수가 임계치 이상이면, 상기 장면 전환점 검출모듈(210)에서 기존의 방식으로 분리된 2개의 Scene(s)과 Scene(s+1)은 입체영상에서 하나의 Scene으로 합쳐서 처리하게 된다.In other words, the scene continuity determining module 230 determines that two scene (s) and a scene (s + 1) separated in the conventional manner by the scene change point detection module 210 when the three-dimensional scene continuity score is greater than or equal to a threshold. ) Are processed by combining them into a scene in the stereoscopic image.
상기와 같이 구성된 입체 영상의 장면 전환 검출 장치(200)는 자동으로 입체변환을 위한 장면전환점의 검출을 고려한 것으로, 기본적으로는 기존의 장면전환점을 먼저 선정하고 상기와 같은 추가적인 검출을 수행하여 장면전환을 해야 할 지의 여부를 검토하는 방식으로 이루어진다.The scene change detection apparatus 200 of the stereoscopic image configured as described above automatically considers the detection of the scene change point for stereoscopic conversion, and basically selects the existing scene change point first and performs the additional detection as described above. This is done by examining whether or not you should.
또한, 상기 입체 영상의 장면 전환 검출장치(200)는 영상의 특징을 이용하여 통상적인 장면전환점에서 독립적인 장면전환으로 분리할지 또는 연속적인 하나의 장면전환으로 구별하여야 할지를 결정하는 기준을 정의한다. In addition, the apparatus 200 for detecting a scene change of the stereoscopic image defines a criterion for determining whether to separate the scene into independent scene changes or to distinguish one continuous scene change from the normal scene change point.
도 4는 본 발명에 따른 입체 영상의 장면전환 검출 장치가 장면의 연속성 여부를 검사하는 방법을 나타낸 흐름도이다. 4 is a flowchart illustrating a method of checking whether a scene is continuous by a scene change detection apparatus of a stereoscopic image according to the present invention.
도 4를 참조하면, 입체 영상의 장면전환 검출장치는 입력되는 영상에 대해 장면 전환점을 검출한다(S302). 즉, 상기 장면전환 검출장치는 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 등의 방법을 이용하여 입력되는 영상의 장면 전환점을 검출한다.Referring to FIG. 4, a scene change detection apparatus of a stereoscopic image detects a scene change point with respect to an input image (S302). That is, the scene change detection apparatus detects a scene change point of an input image by using a method such as correlation, statistical sequential analysis, histogram, and the like.
상기 S302의 수행 후, 상기 장면 전환 검출 장치는 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고(S304), 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점들을 이용하여 입체 장면 연속성 점수를 구한다(S306). 상기 장면 전환 검출 장치가 입체 장면 연속성 점수를 구하는 방법에 대한 상세한 설명은 도 5를 참조하기로 한다. After performing the step S302, the scene change detection apparatus extracts the feature points from the last frame of the detected scene change point (S304), and the stereoscopic scene using the feature points tracked in the first frame of the scene where the extracted feature points are scene changed. The continuity score is calculated (S306). A detailed description of a method for obtaining a stereoscopic scene continuity score by the scene change detection apparatus will be given with reference to FIG. 5.
상기 S306의 수행 후, 상기 장면 전환 검출 장치는 상기 구해진 입체 장면 연속성 점수가 기 설정된 임계치 이상인지의 여부를 판단한다(S308).After performing S306, the scene change detection apparatus determines whether the obtained stereoscopic scene continuity score is equal to or greater than a preset threshold (S308).
상기 S308의 판단결과 상기 입체 장면 연속성 점수가 임계치 이상이면, 상기 장면전환 검출 장치는 해당 프레임을 연속적인 장면으로 판단한다(S310).If the stereoscopic scene continuity score is greater than or equal to a threshold as a result of the determination of S308, the scene change detection device determines that the frame is a continuous scene (S310).
만약, 상기 S308의 판단결과 상기 입체 장면 연속성 점수가 임계치 이상이 아니면, 상기 장면전환검출 장치는 해당 프레임을 장면전환이 이루어지는 것으로 판단한다(S312).If the stereoscopic scene continuity score is not greater than or equal to the threshold as a result of the determination in S308, the scene change detection apparatus determines that the scene change is performed (S312).
도 5는 본 발명에 따른 장면전환 검출 장치가 입체 장면 연속성 점수를 구하는 방법을 나타낸 흐름도이다. 5 is a flowchart illustrating a method for obtaining a stereoscopic scene continuity score by the scene change detection apparatus according to the present invention.
도 5를 참조하면, 장면전환 검출 장치는 장면전환점이 검출된 마지막 프레임의 특징점들이 장면전환점 이후의 첫번째 프레임에서 추적된 특징점 개수를 구한다(S402). 즉, 상기 장면 전환 검출 장치는 상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구한다.Referring to FIG. 5, the scene change detection apparatus obtains the number of feature points tracked in the first frame after the scene change point in the feature points of the last frame where the scene change point is detected (S402). That is, the scene change detection apparatus obtains the number of feature points tracked in the first frame by matching the feature points extracted in the last frame with the first frame.
상기 S402의 수행 후, 상기 장면전환 검출 장치는 상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구한다(S404).After performing S402, the scene change detection apparatus obtains a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame (S404).
즉, 상기 장면 전환 검출 장치는 수학식 2를 이용하여 SAD를 구한다. That is, the scene change detection apparatus obtains SAD by using Equation 2.
상기 S404의 수행 후, 상기 장면 전환 검출 장치는 상기 구해진 SAD와 상기 추적된 특징점 개수를 이용하여 입체 장면 연속성 점수를 계산한다(S406).After performing S404, the scene change detection apparatus calculates a stereoscopic scene continuity score using the obtained SAD and the number of tracked feature points (S406).
즉, 상기 장면전환 검출 장치는 수학식 3을 이용하여 입체 장면 연속성 점수를 구하게 된다. That is, the scene change detection apparatus obtains a stereoscopic scene continuity score by using Equation 3.
한편 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.Meanwhile, the present invention can be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
본 발명에 따라 입체 영상의 장면 전환을 검출하는 장치는 프로세서, 메모리, 저장 장치 및 입/출력 장치를 컴포넌트로서 포함할 수 있으며, 이들 컴포넌트는 예컨대 시스템 버스를 이용하여 상호 접속될 수 있다. An apparatus for detecting a scene change of a stereoscopic image according to the present invention may include a processor, a memory, a storage device and an input / output device as components, which components may be interconnected using, for example, a system bus.
상기 프로세서는 본 장치 내에서의 실행을 위한 명령을 처리할 수 있다. 일 구현예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현예에서 본 프로세서는 멀티 쓰레드(Multi0threaded) 프로세서일 수 있다.본 프로세서는 메모리 또는 저장 장치 상에 저장된 명령을 처리하는 것이 가능한다. The processor may process instructions for execution within the device. In one implementation, the processor may be a single-threaded processor, and in other implementations, the processor may be a multi-threaded processor. The processor processes instructions stored on memory or storage devices. It is possible to do
한편, 메모리는 본 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 상술한 저장 장치는 본 장치에 대한 대용량 저장부를 제공할 수 있다. 일 구현예의 경우, 저장 장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현예에서, 저장 장치는 예컨대 하드디스크 장치, 광학디스크장치, 혹은 어떤 다른 대용량 저장 장치를 포함할 수도 있다. On the other hand, the memory stores information in the apparatus. In one embodiment, the memory is a computer readable medium. In one implementation, the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit. The storage device described above can provide a mass storage for the device. In one embodiment, the storage device is a computer readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
상술한 입/출력 장치는 본 발명에 따른 장치에 대한 입/출력 동작을 제공한다. 일 구현예에서, 입/출력 장치는 예컨대 이더넷 카드와 같은 하나 이상의 네트워크 인터페이스 장치, 예컨대 RS-232 포트와 같은 직렬 통신 장치 및/또는 예컨대 802.11 카드와 같은 무선 인터페이스 장치를 포함할 수 있다. 다른 구현예에서, 입/출력 장치는 다른 입/출력 장치로 출력 데이터를 전송하고 입력 데이터를 수신하도록 구성된 드라이버 장치, 예컨대 키보드, 프린터 및 디스플레이 장치를 포함할 수 있다. The above-described input / output device provides an input / output operation for the device according to the present invention. In one implementation, the input / output device may include one or more network interface devices such as, for example, an Ethernet card, such as a serial communication device such as an RS-232 port and / or a wireless interface device such as, for example, an 802.11 card. In other implementations, the input / output device can include driver devices, such as keyboards, printers, and display devices, configured to send output data to and receive input data from other input / output devices.
본 발명에 따른 장치는 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같이 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Sever Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다. The apparatus according to the invention may be driven by instructions that cause one or more processors to perform the functions and processes described above. For example, such instructions may include instructions that are interpreted, for example, script instructions such as JavaScript or ECMAScript instructions, or executable code or other instructions stored on a computer readable medium. Furthermore, the device according to the present invention may be implemented in a distributed manner over a network, such as a server farm, or may be implemented in a single computer device.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Although the specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or modified from the structures and structural equivalents disclosed herein. It may be implemented in computer software, firmware or hardware, including, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of an apparatus according to the invention. It may be implemented as the above module. The computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
"처리 시스템", "처리 장치" 및 "하위 시스템"이라는 용어는 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다. The terms "processing system", "processing device" and "subsystem" encompass all the instruments, devices and machines for processing data, including, for example, programmable processors, computers or multiple processors or computers. The processing system may include, in addition to hardware, code that forms an execution environment for a computer program on demand, such as code constituting processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more thereof. .
본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램이 파일 시스템의 파일에 반드시 대응해야 하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다. A computer program (also known as a program, software, software application, script or code) mounted on an apparatus according to the invention and executing a method according to the invention is a programming comprising a compiled or interpreted language or a priori or procedural language. It can be written in any form of language, and can be deployed in any form, including stand-alone programs or modules, components, subroutines, or other units suitable for use in a computer environment. A computer program does not necessarily correspond to a file in a file system. A program may be in a single file provided to the requested program, in multiple interactive files (eg, a file that stores one or more modules, subprograms, or parts of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored in a markup language document). The computer program may be deployed to run on a single computer or on multiple computers located at one site or distributed across multiple sites and interconnected by a communication network.
컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.Computer-readable media suitable for storing computer program instructions and data include, for example, semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CD-ROMs. And all forms of nonvolatile memory, media and memory devices, including DVD-ROM discs. The processor and memory can be supplemented by or integrated with special purpose logic circuitry.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.Implementations of the subject matter described herein may include, for example, a backend component such as a data server, or include a middleware component such as, for example, an application server, or a web browser or graphical user, for example, where a user may interact with the implementation of the subject matter described herein. It can be implemented in a computing system that includes a front end component such as a client computer having an interface or any combination of one or more of such back end, middleware or front end components. The components of the system may be interconnected by any form or medium of digital data communication such as, for example, a communication network.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although the specification includes numerous specific implementation details, these should not be construed as limiting to any invention or the scope of the claims, but rather as a description of features that may be specific to a particular embodiment of a particular invention. It must be understood. Certain features that are described in this specification in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Furthermore, while the features may operate in a particular combination and may be initially depicted as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, the claimed combination being a subcombination Or a combination of subcombinations.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a specific order, it should not be understood that such operations must be performed in the specific order or sequential order shown in order to obtain desirable results or that all illustrated operations must be performed. In certain cases, multitasking and parallel processing may be advantageous. Moreover, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products. It should be understood that it can.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. Specific embodiments of the subject matter described in this specification have been described. Other embodiments are within the scope of the following claims. For example, the actions recited in the claims can be performed in a different order but still achieve desirable results. As an example, the process depicted in the accompanying drawings does not necessarily require that particular illustrated or sequential order to obtain desirable results. In certain implementations, multitasking and parallel processing may be advantageous.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The foregoing description presents the best mode of the invention, and provides examples to illustrate the invention and to enable those skilled in the art to make and use the invention. The specification thus produced is not intended to limit the invention to the specific terms presented. Thus, while the present invention has been described in detail with reference to the examples described above, those skilled in the art can make modifications, changes and variations to the examples without departing from the scope of the invention.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art will appreciate that the present invention can be implemented in other specific forms without changing the technical spirit or essential features thereof. Therefore, the above-described embodiments are to be understood as illustrative in all respects and not as restrictive. The scope of the present invention is shown by the following claims rather than the above description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.
본 발명은 영상의 특징을 이용하여 통상적인 장면전환점에서 이를 독립적인 장면전환으로 분리할지 또는 연속적인 하나의 장면전환으로 구별하지를 결정하여, 입체의 관점에서 장면전환점의 연속성 유무를 결정할 수 있는 입체 영상의 장면 전환 검출 장치 및 방법에 적용할 수 있다.According to the present invention, it is possible to determine whether to separate the scene into independent scene transitions or separate them into one continuous scene transition using the features of the image. It can be applied to a scene change detection apparatus and method of an image.

Claims (11)

  1. 입력되는 영상에서 장면 전환점을 검출하는 장면 전환점 검출 모듈;A scene change point detection module detecting a scene change point in an input image;
    상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 입체 장면 연속성 점수 계산 모듈; 및A stereoscopic scene continuity score calculation module for extracting feature points in the last frame of the detected scene change point and calculating stereoscopic scene continuity scores using feature points tracked in the first frame of the scene from which the extracted feature points are scene changed; And
    상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하고, 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 장면 연속성 여부 판단 모듈;A scene continuity determining module for comparing the calculated stereoscopic scene continuity score with a preset threshold value and determining whether the stereoscopic scene is continuity based on the comparison result;
    을 포함하는 입체 영상의 장면 전환 검출 장치.Scene change detection device of a three-dimensional image comprising a.
  2. 제1항에 있어서, The method of claim 1,
    상기 장면 전환점 검출 모듈은 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 중 적어도 하나의 방법을 이용하여 장면 전환점을 검출하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 장치.The scene change point detection module detects a scene change point by using at least one of a correlation, statistical sequential analysis, and histogram.
  3. 제1항에 있어서, The method of claim 1,
    상기 입체 장면 연속성 점수 계산 모듈은, The stereoscopic scene continuity score calculation module,
    상기 장면 전환점 검출모듈에서 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하는 특징점 추출부;A feature point extraction unit for extracting feature points from the last frame of the scene change point detected by the scene change point detection module;
    상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구하는 특징점 매칭부; 및A feature point matching unit for matching the feature points extracted in the last frame with the first frame to obtain the number of feature points tracked in the first frame; And
    상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하고, 상기 구해진 SAD를 이용하여 입체 장면 연속성 점수를 구하는 입체 장면 연속성 점수 계산부를 포함하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 장치.Calculate a stereoscopic scene continuity score for obtaining a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame, and obtaining a stereoscopic scene continuity score using the obtained SAD And a scene change detection device of a stereoscopic image.
  4. 제3항에 있어서, The method of claim 3,
    상기 입체 장면 연속성 점수 계산부는 다음의 수학식을 이용하여 입체 장면 연속성 점수(C(s))를 구하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 장치.And the stereoscopic scene continuity score calculator calculates a stereoscopic scene continuity score (C (s)) using the following equation.
    [수학식][Equation]
    C(s)=(추적된 특징점 개수 / 총 특징점 개수) * (Σ(1/SAD(fn,bm))C (s) = (Tracked feature points / total feature points) * (Σ (1 / SAD (fn, bm))
    여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미함.Here, the total number of feature points is the number of feature points extracted from the last frame of the scene change point, the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image, fn is the number of the frame, bm is m of the frame Means the first block.
  5. 제4항에 있어서, The method of claim 4, wherein
    상기 SAD(fn,bm)는 다음의 수학식을 이용하여 구하는 것을 특징으로 하는 입에 영상의 장면 전환 검출 장치.And SAD (fn, bm) is obtained by using the following equation.
    [수학식][Equation]
    SAD(fn,bm)= Σ abs( Frame(fn,bm) pixel (i)- Frame(fn+1,bm) pixel(i))SAD (fn, bm) = Σ abs (Frame (fn, bm) pixel (i)-Frame (fn + 1, bm) pixel (i))
    여기서, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록, i는 해당 블록의 각 pixel의 순서, abs는 절대치를 의미함.Here, fn is the number of the frame, bm is the m-th block of the frame, i is the order of each pixel of the block, abs is the absolute value.
  6. 제1항에 있어서,The method of claim 1,
    상기 장면 연속성 여부 판단 모듈은 상기 입체 장면 연속성 점수가 상기 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 장치.And the scene continuity determining module determines that the scene is a continuous scene when the three-dimensional scene continuity score is greater than or equal to the threshold value, and determines that a scene change is performed when the stereoscopic scene continuity score is not greater than or equal to the threshold value.
  7. 장면 전환 검출 장치가 입체 영상의 장면 전환을 검출하는 방법에 있어서, In the scene change detection device detects a scene change of a stereoscopic image,
    (a) 입력되는 영상에서 장면 전환점을 검출하는 단계;(a) detecting a scene change point from an input image;
    (b) 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 단계; 및(b) extracting feature points in the last frame of the detected scene change point, and calculating a stereoscopic scene continuity score using the feature points tracked in the first frame of the scene from which the extracted feature points are transitioned; And
    (c) 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하고, 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 단계;(c) comparing the calculated stereoscopic scene continuity score with a preset threshold and determining whether the stereoscopic scene is continuous based on the comparison result;
    를 포함하는 입체 영상의 장면 전환 검출 방법.Scene change detection method of the stereoscopic image comprising a.
  8. 제7항에 있어서, The method of claim 7, wherein
    상기 (b) 단계는, In step (b),
    상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하는 단계;Extracting feature points in the last frame of the detected scene change point;
    상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구하는 단계;Matching the feature points extracted in the last frame with the first frame to obtain the number of feature points tracked in the first frame;
    상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하는 단계; 및Obtaining a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame; And
    상기 구해진 SAD와 상기 추적된 특징점 개수를 이용하여 입체 장면 연속성 점수를 계산하는 단계를 포함하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 방법.And calculating a stereoscopic scene continuity score by using the obtained SAD and the tracked number of feature points.
  9. 제8항에 있어서, The method of claim 8,
    상기 입체 장면 연속성 점수(C(s))는 다음의 수학식을 이용하여 구해지는 것을 특징으로 하는 입체 영상의 장면 전환 검출 방법.And the stereoscopic scene continuity score (C (s)) is calculated using the following equation.
    [수학식][Equation]
    C(s)=(추적된 특징점 개수 / 총 특징점 개수) * (Σ(1/SAD(fn,bm))C (s) = (Tracked feature points / total feature points) * (Σ (1 / SAD (fn, bm))
    여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미함.Here, the total number of feature points is the number of feature points extracted from the last frame of the scene change point, the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image, fn is the number of the frame, bm is m of the frame Means the first block.
  10. 제7항에 있어서, The method of claim 7, wherein
    상기 (c) 단계는, In step (c),
    상기 입체 장면 연속성 점수가 상기 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 방법.And if the stereoscopic scene continuity score is greater than or equal to the threshold, determine that the scene is a continuous scene, and if it is not greater than or equal to the threshold, determine that a scene change is made.
  11. (a) 입력되는 영상에서 장면 전환점을 검출하는 단계;(a) detecting a scene change point from an input image;
    (b) 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 단계; 및(b) extracting feature points in the last frame of the detected scene change point, and calculating a stereoscopic scene continuity score using the feature points tracked in the first frame of the scene from which the extracted feature points are transitioned; And
    (c) 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하여 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 단계를 포함하는 입체 영상의 장면 전환 검출 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체.and (c) comparing the calculated stereoscopic scene continuity score with a preset threshold and determining whether the stereoscopic scene is continuous based on the comparison result. Readable record carrier.
PCT/KR2012/008237 2011-11-24 2012-10-11 Apparatus and method for detecting a scene change in a stereoscopic video WO2013077546A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0123373 2011-11-24
KR1020110123373A KR101667011B1 (en) 2011-11-24 2011-11-24 Apparatus and Method for detecting scene change of stereo-scopic image

Publications (1)

Publication Number Publication Date
WO2013077546A1 true WO2013077546A1 (en) 2013-05-30

Family

ID=48469955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/008237 WO2013077546A1 (en) 2011-11-24 2012-10-11 Apparatus and method for detecting a scene change in a stereoscopic video

Country Status (2)

Country Link
KR (1) KR101667011B1 (en)
WO (1) WO2013077546A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225461A (en) * 2021-02-04 2021-08-06 江西方兴科技有限公司 System and method for detecting video monitoring scene switching

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489191B (en) * 2013-09-24 2016-04-13 中国科学院自动化研究所 A kind of remote sensing images well-marked target change detecting method
KR102235386B1 (en) 2017-07-07 2021-04-01 삼성에스디에스 주식회사 Apparatus and method for detecting scene change

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196662A (en) * 2001-12-27 2003-07-11 Ntt Data Corp Cut detection device and its program
JP2009540667A (en) * 2006-06-08 2009-11-19 トムソン ライセンシング Method and apparatus for detecting scene changes
KR20100060330A (en) * 2008-11-27 2010-06-07 삼성전자주식회사 Apparatus and method for creating multi-view image for stereo image
KR20110050364A (en) * 2009-11-06 2011-05-13 삼성전자주식회사 Method and apparatus for parallax adjusting in stereoscopic video

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100348357B1 (en) * 2000-12-22 2002-08-09 (주)버추얼미디어 An Effective Object Tracking Method of Apparatus for Interactive Hyperlink Video
KR101490521B1 (en) 2007-10-10 2015-02-06 삼성전자주식회사 Method for real-time scene-change detection for rate control of video encoder, method for enhancing qulity of video telecommunication using the same, and system for the video telecommunication
KR101050255B1 (en) * 2009-08-25 2011-07-19 주식회사 노매드커넥션 Video scene segmentation system and method
KR101167645B1 (en) * 2010-07-27 2012-07-20 강원대학교산학협력단 Method for detecting scene change and apparatus therof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196662A (en) * 2001-12-27 2003-07-11 Ntt Data Corp Cut detection device and its program
JP2009540667A (en) * 2006-06-08 2009-11-19 トムソン ライセンシング Method and apparatus for detecting scene changes
KR20100060330A (en) * 2008-11-27 2010-06-07 삼성전자주식회사 Apparatus and method for creating multi-view image for stereo image
KR20110050364A (en) * 2009-11-06 2011-05-13 삼성전자주식회사 Method and apparatus for parallax adjusting in stereoscopic video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHUNG-LIN HUANG ET AL., IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 11, 31 December 2001 (2001-12-31), pages 1281 - 1288 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225461A (en) * 2021-02-04 2021-08-06 江西方兴科技有限公司 System and method for detecting video monitoring scene switching

Also Published As

Publication number Publication date
KR20130057585A (en) 2013-06-03
KR101667011B1 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
US20200322684A1 (en) Video recommendation method and apparatus
WO2015005577A1 (en) Camera pose estimation apparatus and method
US8254760B2 (en) Pixel analysis and frame alignment for background frames
JP4909840B2 (en) Video processing apparatus, program, and method
US20090052783A1 (en) Similar shot detecting apparatus, computer program product, and similar shot detecting method
WO2015141891A1 (en) Display device and method for controlling the same
CN103873852A (en) Multi-mode parallel video quality fault detection method and device
US20110135152A1 (en) Information processing apparatus, information processing method, and program
CN111063079B (en) Binocular living body face detection method and device based on access control system
WO2016013885A1 (en) Method for retrieving image and electronic device thereof
WO2017119796A1 (en) Electronic device and method of managing a playback rate of a plurality of images
WO2013077546A1 (en) Apparatus and method for detecting a scene change in a stereoscopic video
JP7204786B2 (en) Visual search method, device, computer equipment and storage medium
US9497441B2 (en) Image processing device and method, and program
WO2022250970A1 (en) Semi-automatic data collection and association for multi-camera tracking
CN112686122B (en) Human body and shadow detection method and device, electronic equipment and storage medium
WO2024019337A1 (en) Video enhancement method and apparatus
CN114359160A (en) Screen detection method and device, electronic equipment and storage medium
US9870621B1 (en) Motion-based feature correspondence
WO2016159613A1 (en) Object tracking method and system for image synthesis
CN110991296B (en) Video annotation method and device, electronic equipment and computer-readable storage medium
WO2021118048A1 (en) Electronic device and controlling method thereof
CN113449542B (en) Face-changing identification method, device, equipment and medium
CN111654646B (en) Image synthesis method, device, system and storage medium
WO2017007048A1 (en) Method and apparatus for determining depth in image using depth propagation direction of edge

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12850966

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12850966

Country of ref document: EP

Kind code of ref document: A1