TFS相关代码层次优化第三轮-完成

display-server/src/main/java/com/ai/server/bean/UploadDownloadWithTfsBean.java

@@ -21,8 +21,8 @@ import com.ai.ipu.server.servlet.ServletManager;
import com.ai.ipu.server.util.MobileServerException;
import com.ai.server.core.bean.IpuAppBean;
import com.ai.server.dao.FileDao;
import com.ai.server.tfs.DbFs;
import com.ai.server.util.Constant;
import com.ai.tfs.DbFs;
import com.ailk.common.data.IData;
import com.ailk.common.data.IDataset;
import com.ailk.common.data.impl.DataMap;

display-server/src/main/java/com/ai/server/tfs/DbFs.java

@@ -0,0 +1,118 @@
package com.ai.server.tfs;
import java.io.File;
import java.io.FileInputStream;
import java.io.OutputStream;
import com.ai.ipu.basic.cipher.MD5;
import com.ai.ipu.basic.file.FileUtil;
import com.ai.ipu.fs.impl.BaseFs;
import com.ai.ipu.fs.unique.IFsUnique;
import com.ai.ipu.fs.util.FsConstant;
import com.ai.ipu.fs.util.FsFactory;
import com.ai.ipu.fs.util.FsManager;
/**
 * @author chengwb3
 * 以MD5值为key的一系列操作，数据库存放记录
 */
public class DbFs extends BaseFs {
    private IFsUnique fsUnique;
    public DbFs() throws Exception {
        fsUnique = FsFactory.getFsUnique();
    }
    public String saveFile(String fileName) throws Exception {
        String md5 = MD5.hexDigestByFilePath(FsManager.getLocalFileName(fileName)); // 计算md5值是为了排重
        boolean bo = fsUnique.checkExists(md5);
        if (bo) {
        	return fsUnique.getFileKey(md5);
        } else {
        	String tfsFileHashCode = super.saveFile(fileName);
        	fsUnique.recordUnique(md5, tfsFileHashCode);// 上传排重时使用
			return tfsFileHashCode;
        }
    }
    @Override
    public String saveFile(FileInputStream fis) throws Exception {
        String md5 = MD5.hexDigest(fis); // 计算md5值是为了排重
        boolean bo = fsUnique.checkExists(md5);
        if (bo) {
        	return fsUnique.getFileKey(md5);
        } else {
        	String tfsFileHashCode = super.saveFile(fis);
            fsUnique.recordUnique(md5, tfsFileHashCode);// 上传排重时使用
            return tfsFileHashCode;
        }
    }
    /*
     * 通过fileHashCode获取文件，并转化为指定localFileName的文件
     * localFileName是绝对路径。例如：/home/ipuapp/web/deploy/8081 + / + ipu_file
     */
    @Override
    public boolean takeFile(String fileMd5, String localFileName) throws Exception {
    	String cacheFileName = FileUtil.connectFilePath(FsConstant.CACHE_DIRECTORY, fileMd5);
		File cacheFile = new File(FileUtil.connectFilePath(tfsFileHome, cacheFileName));
		String tfsFileHashCode = fsUnique.getFileKey(fileMd5);
        /*使用缓存文件需要先判断md5值是否相同*/
        if (needLocalFileCache && cacheFile.exists() && MD5.hexDigestByFile(cacheFile).equals(fileMd5)) {
            String localFullPath = FsManager.getLocalFileName(localFileName);
			FileUtil.initDirectory(localFullPath);//初始化目录，不用提前建好
			if(!FileUtil.checkFile(FsManager.getLocalFileName(localFileName))){
				/*CacheFile和LocalFile都在本地，不用每次写文件，提升性能!!!*/
				FileUtil.writeFile(new FileInputStream(cacheFile), localFullPath);
			}
            return true;
        } else {
        	/*没有目录先建目录*/
			localFileName = FileUtil.connectFilePath(tfsFileHome, localFileName);//全局目录
			FileUtil.initDirectory(localFileName);
			boolean bo = false;
			if(needLocalFileCache){
				cacheFileName = FileUtil.connectFilePath(tfsFileHome, cacheFileName);//全局目录
				FileUtil.initDirectory(cacheFileName);
				bo = super.takeFile(tfsFileHashCode, cacheFileName);//先下载到缓存目录下
				if (bo) {
					/*拷贝缓存目录到本地目录 */
					FileUtil.copyFile(cacheFileName, localFileName);
				}
			}else{
				bo = super.takeFile(tfsFileHashCode, localFileName);//先下载到本地目录下
			}
			return bo;
        }
    }
    @Override
    public boolean takeFile(String fileMd5, OutputStream out) throws Exception {
        String cacheFileName = FileUtil.connectFilePath(FsConstant.CACHE_DIRECTORY, fileMd5);
		File cacheFile = new File(FileUtil.connectFilePath(tfsFileHome, cacheFileName));
		String tfsFileHashCode = fsUnique.getFileKey(fileMd5);
		/*使用缓存文件需要先判断md5值是否相同*/
		if (needLocalFileCache && cacheFile.exists()&& MD5.hexDigestByFile(cacheFile).equals(fileMd5)) {
			FileUtil.writeFile(new FileInputStream(cacheFile), out);//是否需要内部关闭out输出流!!!
			return true;
		}else{
			/*没有目录先建目录*/
			cacheFileName = FileUtil.connectFilePath(tfsFileHome, cacheFileName);//全局目录
			FileUtil.initDirectory(cacheFileName);
			boolean bo = super.takeFile(tfsFileHashCode, cacheFileName);//先下载到缓存目录下
			if(bo){
				FileInputStream fis = new FileInputStream(cacheFileName);
				FileUtil.writeFile(fis, out);
			}
			return bo;
		}
    }
    public boolean deleteFile(String tfsFileHashCode) throws Exception {
        boolean bo = super.deleteFile(tfsFileHashCode);
        if (bo) {
            fsUnique.cleanUnique(tfsFileHashCode);
        }
        return bo;
    }
}

display-server/src/main/java/com/ai/tfs/DbFsUnique.java

@@ -1,8 +1,8 @@
package com.ai.tfs;
package com.ai.server.tfs;
import com.ai.ipu.basic.log.ILogger;
import com.ai.ipu.basic.log.IpuLoggerFactory;
import com.ai.ipu.fs.cache.IFsUnique;
import com.ai.ipu.fs.unique.IFsUnique;
import com.ai.server.dao.TfsMapDao;
import com.ai.server.util.Constant;
import com.ailk.common.data.IData;
@@ -16,27 +16,25 @@ public class DbFsUnique implements IFsUnique {
    transient protected static final ILogger log = IpuLoggerFactory.createLogger(DbFsUnique.class);
    /*
    /**
     * 根据文件的md5，检测tfs是否包含此文件
     */
    @Override
    public String checkExists(String md5) {
        String fileHashCode = null;
        try {
            TfsMapDao dao = new TfsMapDao(Constant.CONNNAME);
            IData param = new DataMap();
            param.put("md5", md5);
            IDataset fileTfsList = dao.queryTfsMapTfsListByMd5(param);
            if (fileTfsList != null && !fileTfsList.isEmpty()) {
                fileHashCode = fileTfsList.getData(0).getString("file_hash_code");
            }
        }
        catch (Exception e) {
            e.printStackTrace();
            return fileHashCode;
        }
        return fileHashCode;
    }
	public boolean checkExists(String md5) {
		String fileHashCode = null;
		try {
			TfsMapDao dao = new TfsMapDao(Constant.CONNNAME);
			IData param = new DataMap();
			param.put("md5", md5);
			IDataset fileTfsList = dao.queryTfsMapTfsListByMd5(param);
			if (fileTfsList != null && !fileTfsList.isEmpty()) {
				fileHashCode = fileTfsList.getData(0).getString("file_hash_code");
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return fileHashCode != null;
	}
    /*
     * 记录数据唯一性
@@ -84,22 +82,23 @@ public class DbFsUnique implements IFsUnique {
        return true;
    }
    public static String getMd5ByFileHashCode(String fileHashCode) {
        String md5 = null;
	@Override
	public String getFileKey(String uniqueId) {
		// TODO Auto-generated method stub
		String fileHashCode = null;
        try {
            TfsMapDao dao = new TfsMapDao(Constant.CONNNAME);
            IData param = new DataMap();
            param.put("file_hash_code", fileHashCode);
            param.put("md5", uniqueId);
            IData tfsMapObj = dao.queryTfsMapListByFileHashCode(param);
            if (tfsMapObj != null) {
                md5 = tfsMapObj.getString("md5");
            	fileHashCode = tfsMapObj.getString("file_hash_code");
            }
        }
        catch (Exception e) {
            e.printStackTrace();
            return md5;
        }
        return md5;
    }
        return fileHashCode;
	}
}

display-server/src/main/java/com/ai/tfs/DbFs.java

@@ -1,181 +0,0 @@
package com.ai.tfs;
import java.io.File;
import java.io.FileInputStream;
import java.io.OutputStream;
import com.ai.ipu.basic.cipher.MD5;
import com.ai.ipu.basic.file.FileUtil;
import com.ai.ipu.fs.cache.IFsUnique;
import com.ai.ipu.fs.impl.BaseFs;
import com.ai.ipu.fs.util.FsConstant;
import com.ai.ipu.fs.util.FsFactory;
/**
 * @author chengwb3 以MD5值为key的一系列操作，数据库存放记录
 */
public class DbFs extends BaseFs {
    private String fsUniqueClassPath = "com.ai.tfs.DbFsUnique";
    private IFsUnique fsUnique;
    public DbFs() throws Exception {
        fsUnique = FsFactory.getFsUnique(fsUniqueClassPath);
    }
    public String saveFile(String fileName) throws Exception {
        String md5 = MD5.hexDigestByFilePath(getLocalFileName(fileName)); // 计算md5值是为了排重
        String tfsFileHashCode = fsUnique.checkExists(md5);
        if (tfsFileHashCode != null) {
            return tfsFileHashCode;
        } else {
            tfsFileHashCode = super.saveFile(fileName);
            fsUnique.recordUnique(md5, tfsFileHashCode);// 上传排重时使用
        }
        return tfsFileHashCode;
    }
    @Override
    public String saveFile(FileInputStream fis) throws Exception {
        String md5 = MD5.hexDigest(fis); // 计算md5值是为了排重
        String tfsFileHashCode = fsUnique.checkExists(md5);
        if (tfsFileHashCode != null) {
            return tfsFileHashCode;
        } else {
            tfsFileHashCode = super.saveFile(fis);
            fsUnique.recordUnique(md5, tfsFileHashCode);// 上传排重时使用
        }
        return tfsFileHashCode;
    }
    /*
     * 通过fileHashCode获取文件，并转化为指定localFileName的文件
     * localFileName是绝对路径。例如：/home/ipuapp/web/deploy/8081 + / + ipu_file
     */
    @Override
    public boolean takeFile(String tfsFileHashCode, String localFileName) throws Exception {
        String cacheFilePath = FileUtil.connectFilePath(FsConstant.CACHE_DIRECTORY, tfsFileHashCode);
        File cacheFile = new File(FileUtil.connectFilePath(tfsUploadFileHome, cacheFilePath));
        String md5 = DbFsUnique.getMd5ByFileHashCode(tfsFileHashCode);
        // 使用缓存文件需要先判断md5值是否相同
        if (needLocalFileCache && cacheFile.exists() && MD5.hexDigestByFile(cacheFile).equals(md5)) {
            FileUtil.initDirectory(localFileName);
            FileUtil.writeFile(new FileInputStream(cacheFile), localFileName);
            return true;
        } else {
            /* 没有目录先建目录 */
            FileUtil.initDirectory(FileUtil.connectFilePath(tfsUploadFileHome, cacheFilePath));
            FileUtil.initDirectory(localFileName);
            boolean bo = super.takeFile(tfsFileHashCode, cacheFilePath);// 先下载到缓存目录下
            if (bo) {
                FileUtil.copyFile(FileUtil.connectFilePath(tfsUploadFileHome, cacheFilePath), localFileName);
                fsUnique.recordUnique(md5, tfsFileHashCode);
            }
            return bo;
        }
    }
    // public boolean takeFile(String tfsFileHashCode, String localFileName)
    // throws Exception {
    // String cacheFilePath =
    // FileUtil.connectFilePath(FsConstant.CACHE_DIRECTORY, tfsFileHashCode);
    // File cacheFile = new File(FileUtil.connectFilePath(tfsUploadFileHome,
    // cacheFilePath));
    //
    // String md5 = DbFsUnique.getMd5ByFileHashCode(tfsFileHashCode);
    // // 使用缓存文件需要先判断md5值是否相同
    //
    // if (needLocalFileCache && cacheFile.exists() &&
    // MD5.hexDigestByFile(cacheFile).equals(md5)) {
    //
    // FileUtil.writeFile(new FileInputStream(cacheFile),
    // getLocalFileName(localFileName));
    // return true;
    // } else {
    // /* 没有目录先建目录 */
    // FileUtil.initDirectory(FileUtil.connectFilePath(tfsUploadFileHome,
    // cacheFilePath));
    // FileUtil.initDirectory(FileUtil.connectFilePath(tfsUploadFileHome,
    // localFileName));
    //
    // boolean bo = super.takeFile(tfsFileHashCode, cacheFilePath);// 先下载到缓存目录下
    // if (bo) {
    // FileUtil.copyFile(FileUtil.connectFilePath(tfsUploadFileHome,
    // cacheFilePath),
    // FileUtil.connectFilePath(tfsUploadFileHome, localFileName));
    // fsUnique.recordUnique(md5, tfsFileHashCode);
    // }
    // return bo;
    // }
    // }
    @Override
    public boolean takeFile(String tfsFileHashCode, OutputStream out) throws Exception {
        String cacheFilePath = FileUtil.connectFilePath(FsConstant.CACHE_DIRECTORY, tfsFileHashCode);
        File cacheFile = new File(FileUtil.connectFilePath(tfsUploadFileHome, cacheFilePath));
        String md5 = DbFsUnique.getMd5ByFileHashCode(tfsFileHashCode);
        // 使用缓存文件需要先判断md5值是否相同
        if (needLocalFileCache && cacheFile.exists() && MD5.hexDigestByFile(cacheFile).equals(md5)) {
            FileUtil.writeFile(new FileInputStream(cacheFile), out);// 是否需要内部关闭out输出流
            return true;
        } else {
            /* 没有目录先建目录 */
            FileUtil.initDirectory(FileUtil.connectFilePath(tfsUploadFileHome, cacheFilePath));
            boolean bo = super.takeFile(tfsFileHashCode, cacheFilePath);// 先下载到缓存目录下
            if (bo) {
                FileInputStream fis = new FileInputStream(FileUtil.connectFilePath(tfsUploadFileHome, cacheFilePath));
                FileUtil.writeFile(fis, out);
                fsUnique.recordUnique(md5, tfsFileHashCode);
            }
            return bo;
        }
    }
    // public boolean takeFile(String tfsFileHashCode, OutputStream out) throws
    // Exception {
    //
    // String cacheFilePath =
    // FileUtil.connectFilePath(FsConstant.CACHE_DIRECTORY, tfsFileHashCode);
    // File cacheFile = new File(FileUtil.connectFilePath(tfsUploadFileHome,
    // cacheFilePath));
    //
    // String md5 = DbFsUnique.getMd5ByFileHashCode(tfsFileHashCode);
    // // 使用缓存文件需要先判断md5值是否相同
    // if (needLocalFileCache && cacheFile.exists() &&
    // MD5.hexDigestByFile(cacheFile).equals(md5)) {
    // FileUtil.writeFile(new FileInputStream(cacheFile), out);// 是否需要内部关闭out输出流
    // return true;
    // } else {
    // /* 没有目录先建目录 */
    // FileUtil.initDirectory(FileUtil.connectFilePath(tfsUploadFileHome,
    // cacheFilePath));
    //
    // boolean bo = super.takeFile(tfsFileHashCode, cacheFilePath);// 先下载到缓存目录下
    // if (bo) {
    // FileInputStream fis = new
    // FileInputStream(FileUtil.connectFilePath(tfsUploadFileHome,
    // cacheFilePath));
    // FileUtil.writeFile(fis, out);
    // fsUnique.recordUnique(md5, tfsFileHashCode);
    // }
    //
    // return bo;
    // }
    // }
    public boolean deleteFile(String tfsFileHashCode) throws Exception {
        boolean bo = super.deleteFile(tfsFileHashCode);
        if (bo) {
            fsUnique.cleanUnique(tfsFileHashCode);
        }
        return bo;
    }
}

display-server/src/main/resources/tfs.xml

@@ -1,27 +1,29 @@
<?xml version="1.0" encoding="UTF-8"?>
<configs>
      <!-- 整个进程中系统最多等待多少个请求,取决于你有多少个线程并发的请求TFS -->
       <config name="maxWaitThread" value="1000"/>
      <!-- 单个请求最大的等待时间(ms) 超过这个时间放弃这次请求-->
      <config name="timeout" value="20000"/>
      <!-- Tfs master nameserver ip address -->
      <config name="nsip" value="114.215.100.48:8100"/>
      <!-- TFS在读取文件的时候会缓存block所在的数据服务器ip,这个参数配置了最多缓存的记录个数!-->
      <config name="maxCacheItemCount" value="10000"/>
      <!-- 上一项缓存最大有效的时间(ms)!-->
      <config name="maxCacheTime" value="50000"/>
      <!-- tfs保存失败后最大重试次数-->
      <config name="maxTryNum" value="3"/>
      <!-- tfs本地文件存放的根目录 -->
      <config name="uploadFileHome" value="/home/ipuapp/web/webapps/display"/>
      <!-- 是否开启本地文件缓存。缺省为true，开启。不想开启需要设置为false -->
      <config name="localFileCached" value="false"/>
      
      <!-- 不需要排重功能时，下面配置项可以不设置 -->
      <!-- tair排重数据库的serverlist -->
      <config name="uniqueServerList" value="192.168.233.141:5188,192.168.233.141:5198"/>
      <!-- tair排重数据库的groupName -->
      <config name="groupName" value="group_1"/>
       <!-- tair排重数据库的namespace -->
      <config name="namespace" value="102"/>
	<!-- 整个进程中系统最多等待多少个请求,取决于你有多少个线程并发的请求TFS -->
	<config name="maxWaitThread" value="1000" />
	<!-- 单个请求最大的等待时间(ms) 超过这个时间放弃这次请求 -->
	<config name="timeout" value="20000" />
	<!-- Tfs master nameserver ip address -->
	<config name="nsip" value="114.215.100.48:8100" />
	<!-- TFS在读取文件的时候会缓存block所在的数据服务器ip,这个参数配置了最多缓存的记录个数! -->
	<config name="maxCacheItemCount" value="10000" />
	<!-- 上一项缓存最大有效的时间(ms)! -->
	<config name="maxCacheTime" value="50000" />
	<!-- tfs保存失败后最大重试次数 -->
	<config name="maxTryNum" value="3" />
	<!-- tfs本地文件存放的根目录 -->
	<config name="uploadFileHome" value="/home/ipuapp/web/webapps/display" />
	<!-- 是否开启本地文件缓存。缺省为true，开启。不想开启需要设置为false -->
	<config name="localFileCached" value="false" />
	<!-- 不需要排重功能时，下面配置项可以不设置 -->
	<!-- tair排重数据库的serverlist -->
	<config name="uniqueServerList" value="192.168.233.141:5188,192.168.233.141:5198" />
	<!-- tair排重数据库的groupName -->
	<config name="groupName" value="group_1" />
	<!-- tair排重数据库的namespace -->
	<config name="namespace" value="102" />
	
	<config name="fsUniqueClass" value="com.ai.server.tfs.DbFsUnique" />
</configs>