Android视频录制、另一部手机实时观看方案

落日映苍穹つ 2023-06-14 14:57 43阅读 0赞

最近调研[Android][]视频录制、另一部手机实时观看，大致有以下几种思路。

1. android手机充当服务器，使用NanoHTTPD充当服务器，另一部手机或者pc通过输入http://手机的ip:8080网址观看。

这种方案可以参考 ipcamera-for-android开源项目，网址 [http://code.google.com/p/ipcamera-for-android/source/checkout][http_code.google.com_p_ipcamera-for-android_source_checkout]

可以运行的源代码可以在这下载 [http://download.csdn.net/detail/xiaoliouc/4933558][http_download.csdn.net_detail_xiaoliouc_4933558]

缺点：android手机必须支持MP4+ARM\_BN格式，有些手机不兼容，延时有点厉害，前面调研在googlecode看到的代码，现在看来方案不可取

2. android手机采用juv-rtmp-client.jar包，网上有收费的包，但可以搜索破解包，通过rtmp协议发布服务到red5服务器。服务器当然是red5了，可以用red5自带的的OFLA Demo做测试。客户端代码可以参考ivideochat，下载地址 [http://download.csdn.net/detail/xiaoliouc/4933594][http_download.csdn.net_detail_xiaoliouc_4933594]

使用支持rtmp协议的播放器播放，如ffplay

缺点：demo延迟很厉害，仅供参考。rtmp协议半公开，难度比较大

3.android手机通过camera类拍摄视频。把一帧一帧的图像压缩通过socket发送到服务器，服务器可以直接观看。而要想让另一台手机也能观看，可以让服务器转发来实现。

例子网上有很多， [http://download.csdn.net/detail/xiaoliouc/4933610][http_download.csdn.net_detail_xiaoliouc_4933610]

缺点：通过一帧一帧的发送数据，传输过程耗费大量流量。玩玩可以，但实际项目中不可取。

4.android手机通过camera类拍摄视频，把拍摄的视频通过h264编码，可以采用软编码（使用x264库或者opencore软件库），[Java][]类通过jni调用编译后的so文件来实现。然后通过基于udp的rtp协议传输到服务器。为什么不使用tcp协议呢，因为tcp的重传机制会产生延时和抖动，而单独使用udp传输协议本身是面向无连接的，不能提供质量保证，需要在udp协议只上采用rtp或者rtcp提供流量控制和拥塞控制服务。服务器通过ffmpeg对接收的h264解码并播放。播放可以使用VLC media player。如果对c++比较熟悉，可以看看live555这个开源项目。

缺点：需要懂得的知识很多，jni啊，h264编码解码 ，rtp协议等。使用软编码，效率比较低，且视频质量较差。

5.android手机通过mediaRecorder类拍摄视频，其中当然包括音频了。把拍摄的视频通过h264编码，可以采用硬编码（面向手机的硬件直接操作），只能针对3gp，mp4视频格式。方法参考 [http://blog.csdn.net/zblue78/article/details/6078040][http_blog.csdn.net_zblue78_article_details_6078040]

这篇博客，里面讲的很详细，提取h264的sps，pps，可以参考 [http://blog.csdn.net/peijiangping1989/article/details/6934317][http_blog.csdn.net_peijiangping1989_article_details_6934317]

winHex是一款好用的16进制查看工具，下载地址 [http://download.csdn.net/detail/xiaoliouc/4928773][http_download.csdn.net_detail_xiaoliouc_4928773]

代码网上有很多，个人理解是：mediaRecorder录制视频（3gp，MP4），可以通过mMediaRecorder.setPreviewDisplay(mSurfaceHolder.getSurface());预览视频，通过localsocket发送到本地的localserversocket的h264实时视频流。

这个过程涉及到硬编码，硬编码个人理解是，在预览过程或者提前确定视频的sps，pps，head（一般为0x00000001），不同的手机硬件不一样。把得到的这些参数写入h264，得到正确的h264视频流，然后把流推送到流媒体服务器，使用支持rtsp协议的播放器播放，比如vlc。

6、采用HLS协议，服务器采用nginx，ffmpeg解码。nginx服务器搭建过程，ffmpeg安装过程 见我前几篇文章。

然后用ffmpeg对解码后的mp4文件进行ts切片，生成带有索引的m3u8文件，然后客户端就可以通过浏览器[http://ip][http_ip]:port/ \*.m3u8访问。

过程貌似是这样的，但自己由于刚接触不到一个周，还不太理解。

6.相对容易、且效果不错的方法，android手机上搭建rtsp服务器，另一台手机使用VLC播放器输入rtsp://ip:port/播放视频。具体原理是，通过android手机对mediaRecorder录制视频，把localsocket传输到本地的流经过硬编码，添加rtp头，分离NALU包，根据rtsp协议交互过程把数据发送到对方。

代码可以参考spydroid了，源代码可以通过svncheckout，能够正常运行，且效果不错。

[http://code.google.com/p/spydroid-ipcamera/source/checkout][http_code.google.com_p_spydroid-ipcamera_source_checkout] 。网上还没有分析spydroid源码的文章，等自己空了有机会分析下源代码。

7.前面讲的都是单向视频，如果是双向视频，其实就是视频会议了，可以参考[**sipdroid**][sipdroid]开源源代码了，网址 [http://code.google.com/p/sipdroid/source/checkout][http_code.google.com_p_sipdroid_source_checkout]

由于没有时间，就不研究这个了。

[Android]: http://lib.csdn.net/base/15
[http_code.google.com_p_ipcamera-for-android_source_checkout]: http://code.google.com/p/ipcamera-for-android/source/checkout
[http_download.csdn.net_detail_xiaoliouc_4933558]: http://download.csdn.net/detail/xiaoliouc/4933558
[http_download.csdn.net_detail_xiaoliouc_4933594]: http://download.csdn.net/detail/xiaoliouc/4933594
[http_download.csdn.net_detail_xiaoliouc_4933610]: http://download.csdn.net/detail/xiaoliouc/4933610
[Java]: http://lib.csdn.net/base/17
[http_blog.csdn.net_zblue78_article_details_6078040]: http://blog.csdn.net/zblue78/article/details/6078040
[http_blog.csdn.net_peijiangping1989_article_details_6934317]: http://blog.csdn.net/peijiangping1989/article/details/6934317
[http_download.csdn.net_detail_xiaoliouc_4928773]: http://download.csdn.net/detail/xiaoliouc/4928773
[http_ip]: http://ip/
[http_code.google.com_p_spydroid-ipcamera_source_checkout]: http://code.google.com/p/spydroid-ipcamera/source/checkout
[sipdroid]: http://www.baidu.com/s?wd=sipdroid&f=12&rsp=0&oq=sipdorid&ie=utf-8
[http_code.google.com_p_sipdroid_source_checkout]: http://code.google.com/p/sipdroid/source/checkout