位置：立项数据库 > 立项详情页
基于统计模型与运动基的物体解析与视频重构方法
  • 项目名称：基于统计模型与运动基的物体解析与视频重构方法
  • 项目类别：重点项目
  • 批准号：60832004
  • 申请代码：F010105
  • 项目来源：国家自然科学基金
  • 研究期限：2009-01-01-2012-12-31
  • 项目负责人：张勤
  • 负责人职称：教授
  • 依托单位：中国传媒大学
  • 批准年度：2008
中文摘要：

随着数字媒体技术的发展以及IP承载网的普及，人们对实时且高效的视频信息处理提出了更高的要求。现有的基于像素/块的视频处理技术忽略了视频的层级结构，无法直接用于内容分析和进一步去除内容冗余，而基于对象的则难以满足视频分析和视频编码在通用性方面的需求。本项目拟通过发掘视频信息内容表示中的基元/纹理层级，探索填补"像素级别表示"和"对象级别表示"之间"鸿沟"的新的理论和方法，内容包括研究视频统计信息的基元/纹理构成方式，提出一种基于时空基元与动态纹理的"动态初始简图"参数化模型以及运动基的层级表示方法；采用非线性滤波估计技术提取动态初始简图模型；形成指导视频统计建模与内容信息提取的信息理论；在上述理论基础上，研究高效的视频内容表征与运动信息解析方法在视频编码、动画制作、新型人机交互等相关领域的应用。本项目将从研究视频的表示问题出发建立一套完整的视频理论体系，是视频分析与处理领域的一个突破。

中文主题词： 动态初始简图；时空基元；不可跟踪性；非线性滤波；内容信息理论
英文摘要：

Dynamic primal sketch；space-time texton；intrackability；nonlinear filtering；content information theory

英文主题词： Dynamic primal sketch；space-time texton；intrackability；nonlinear filtering；content information theory
结论摘要：

传统基于像素与基于对象的视频处理技术已不能适应文化创意与新媒体产业飞速发展的需要，视频的原始像素与具有语义特性的内容信息之间存在巨大的“鸿沟”，因而寻求一种高效的视频信息层级表示模型，探索指导这种模型建模的新的视觉信息理论，实现从视频信号到内容的映射，成为发展下一代视频处理技术的突破方向。本项目通过发掘视频内容表示中的基元/纹理层级，研究基于基元/纹理的视频内容表示方法以及相应的参数化模型，形成指导建模与内容信息提取的视觉信息理论。同时在此基础上，提出一种高效的视频内容表征与运动信息解析与表达方法，并进一步在视频编码、风格化动画渲染、人机交互等多个相关领域进行了应用验证。 1. 在贝叶斯视频信息理论方面，针对图像提出图像广义建模理论与模型适应度度量方法，同时针对视频的模型属性，提出不可跟踪性分析理论和量化表达推理不确定性概念，用于刻画视频数据的统计特性和衔接不同视频的表示模型，从而构成新的视频表征与编码研究的理论基础。 2. 在视频的多尺度解析与混合模板表征方法方面，构造了图像/视频混合模板表达的动态初始简图模型，能够同时直观表达二维图像和三维物理空间中的视觉信息，为视频的解析与表征提供了有效的工具，同时将该动态初始简图模型应用到高层的行为模板的学习中，实现了对视频中运动信息的识别和表达。 3. 在智能型视频建模与优化理论方面，提出了粒度空间的概念，并针对不同粒度模型提出了多种特征描述方法；提出了复杂度敏感的快速特征提取、特征累积与重用等关键技术，实现了视频解析过程中训练速度、分类效率等多种性能的提升。 4. 针对上述理论，在视频编码、风格化动画渲染、人机交互等多个领域进行了应用验证，包括（1）提出了高压缩率的背景模型增强编码方法；搭建了基于视频动态初始简图模型的编码框架，与H.264相比可获得更高的压缩率和更小的主观视觉重建损耗。（2）提出了基于样例的运动轨迹分解与合成算法；提出了基于笔画过程自定义的油画风格渲染技术，获得国际顶级会议NPAR最佳论文荣誉提名。（3）提出了人脸、车辆、行人等目标检测、人脸形状定位与识别、动作识别等领域中的一系列改进算法。本项目实施过程中，共发表本领域重要国际期刊和国际会议论文84篇，其中国际期刊论文15篇，国际主流会议论文36篇。已授权国家发明专利4项。培养博士生15名，硕士生30名。

成果综合统计
成果类型
数量
  • 期刊论文
  • 会议论文
  • 专利
  • 获奖
  • 著作
  • 18
  • 74
  • 3
  • 0
  • 0
期刊论文
A combined just noticeable distortion model guided image watermarking
Spatio-temporal just noticeable distortion model guided video watermarking
Analytical Framework for Improving the Quality of streaming over TCP
Background modeling by subspace learning on spatio-temporal patches
A Novel Macro-Block Group Based AVS Coding Scheme for Many-Core Processor
A Numerical Study of the Bottom-Up and Top-Down Inference Processes in And-Or Graphs
No-reference perceptual image quality metric using gradient profiles for JPEG2000
Learning explicit and implicit visual manifolds by information projection
TCP Window Size Distribution Made Easy
Distributed markov chain monte carlo kernel based particle filtering for object tracking
Intrackability: Characterizing Video Statistics and Pursuing Video Representations
会议论文
Spatial-temporal granularity-tunbale gradients partition (STGGP) descriptors for human detection
An epipolar restricted inter-mode selection for stereoscopic video encoding
Combined just noticeable difference model guided image watermarking
Research of face recognition algorithm based on integration of global and local features
A Novel Method of Dynamic Textures Analysis and Synthesis
Spatio-temporal just noticeable distortion model guided video watermarking
Hand posture recognition from disparity cost map
A background model based method for transcoding surveillance videos captured by stationary camera
Inferring Social Roles in Long Timespan Video Sequence
Object tracking using SIFT features in a particle filter
Use Hierarchical Genetic Particle Filter To Figure Articulated Human Tracking
Enhancing expression recognition in the wild with unlabeled reference data
A new stereo matching algorithm based on adaptive window
Fast mode selection based on texture segmentation and view prediction in JMVC
Fast intra mode selection for stereo video coding using epipolar restriction
Learning video primitives from natural video sequence,” International Congress on Image and Si
Bidirectional matching algorithm for target tracking based on SIFT
Improved feature for texture segmentation using gabor filters
A unified framework for locating and recognizing human actions
Separability-based relevance feedback for content-based image retrieval
Active learning for interactive segmentation with expected confidence change
Multi-Object Tracking with Explicit Reasoning about Occlusion
Example-based motion generation of falling leaf
An efficient coding scheme for surveillance videos captured by stationary cameras
Learning a probabilistic model mixing 3D and 2D primitives for view invariant object recognition
A fast intra 4x4 mode decision algorithm for H.264/AVC down rate transcoding
Improved feature for texture segmentation using gabor filters
Parallel multi-regions image restoration system and its implementation
Fast object detection using boosted co-occurrence histogram of oriented gradients
Detection by collaborative intrinsic images and vertical projection histogram integration
A sample pre-mapping method enhancing boosting for object detection
Covariance tracking algorithm based on particle filter and adaptive template update
A parallel framework for texture substitution coding
Gray-scale super-resolution for face recognition from low gray-scale resolution face images
A no-reference perceptual blur metric using histogram of gradient profile sharpness
Flow mosaicking: real-time pedestrian counting without scene-specific learning
Coupled metric learning for face recognition with degraded images
Fast car detection using image strip features
A Novel Particle Filtering Framework Using Genetic Monte Carlo Sampling
Learning mixed templates for object recognition
Learning deformable action templates from cluttered videos
An Efficient Multi-Object Tracking Method Using Multiple Particle Filters
Granularity-tunable gradients partition (GGP) descriptors for human detection
Sigma set: a small second order statistical region descriptor
A new approach to image sparse decomposition based on MP
A novel two-tier bayesian based method for hair segmentation
Multi-Object Tracking with Explicit Reasoning about Occlusion
Trajectory parsing by cluster sampling in spatio-temporal graph
A novel macro-block group scheme of AVS coding for many-core processor
Multi-Object Tracking with Explicit Reasoning about Occlusion
Fea-accu cascade for face detection
Fea-accu cascade for face detection
Structured sparse linear discriminant analysis
Multi-Object Tracking with Explicit Reasoning about Occlusion
Fea-accu cascade for face detection
Design of M-channel uniform linear-phase filter banks with near-perfect-reconstruction property
Grouping active contour fragments for object recognition
An abandoned object detection system based on dual background and motion analysis
Customizing painterly rendering styles using stroke processes
Portrait painting using active templates
Boosted sigma set for pedestrian detection
Robust hand tracking by integrating appearance, location and depth cues
Video primal sketch: a generic middle-level representation of video
Image compression based on hierarchical clustering vector quantization
Entropy based adaptive image denoising
Track Articulated Body Motion by Pose-Model based Stochastic Search
Manifold alignment via corresponding projections
Hybrid Parallel Sequential Monte Carlo Algorithm Combining MCMC and Auxiliary Variable
A combined just noticeable distortion model guided image watermarking
Artistic paper-cut of human portraits
Fea-accu cascade for face detection
Target Tracking Based on Adaptive Particle Filter
Multi-layer spectral clustering for video segmentation
A vehicle detection method in night outdoor scenes based on spatio-temporal bricks
专利
一种数字电视信号码流特征提取与识别方法及其设备
一种快速播放多媒体信息的系统和方法
数字视频信号奇偶场识别与校正方法
相关项目
医护环境下多变量生理趋势信号的伪差检测和信号估计
期刊论文 3 会议论文 8 专利 3
基于北斗卫星信号的外辐射源多目标定位跟踪方法研究
期刊论文 28 会议论文 10
水下未知目标视觉定位关键研究
期刊论文 10 会议论文 6
多天线信道时变特征参数的非线性滤波技术研究
期刊论文 19 会议论文 3
室内基于WMNs 节点定位关键技术研究
期刊论文 21 会议论文 11
MEMS-INS/GNSS超紧耦合的小型无人机定位定姿方法研究
期刊论文 17
复杂背景下弱目标联合检测与跟踪理论和方法研究
期刊论文 32 会议论文 1 著作 2
基于特殊工况的无人潜器捷联式惯性导航系统综合校准方法研究
期刊论文 34 会议论文 6 获奖 15 著作 4
非线性自适应抗差滤波新方法及其应用研究
期刊论文 41 会议论文 7 获奖 4
张勤的项目
智能粒子滤波器及其在人体运动跟踪中的应用
期刊论文 9 会议论文 14
基于广义建模理论的多原子库图像编码方法研究
期刊论文 2
历史影音资料音频修复方法与关键技术研究