第一，如何进行文件转换：

DOS/Windows和Linux/Unix的文件换行回车格式不同，基于DOS/Windows 的文本文件在每一行末尾有一个CR（回车）和LF（换行），而UNIX 文本只有一个换行。

1，把Dos/Windows下的文件移至Linux/Unix系统

虽然很多程序不在乎DOS/Windows 格式的CR/LF 文本文件，但是有几个程序却在乎-- 最著名的是bash，只要一遇到回车，它就会出问题。以下sed 调用将把DOS/Windows 格式的文本转换成可信赖的UNIX 格式：

$ sed -e 's/.$//' mydos.txt > myunix.txt

该脚本的工作原理很简单：替代规则表达式与一行的最末字符匹配，而该字符恰好就是回车。我们用空字符替换它，从而将其从输出中彻底删除。如果使用该脚本并注意到已经删除了输出中每行的最末字符，那么，您就指定了已经是UNIX 格式的文本文件。也就没必要那样做了！

2，把Linux/UNIX 文本移至Windows 系统，使用以下脚本执行必需的格式转换:

$ sed -e 's/$/\r/' myunix.txt > mydos.txt

在该脚本中，'$' 规则表达式将与行的末尾匹配，而'\r' 告诉sed 在其之前插入一个回车。在换行之前插入回车，立即，每一行就以CR/LF 结束。请注意，仅当使用GNU sed 3.02.80 或以后的版本时，才会用CR 替换'\r'。

 

第二，文件编码

1，查看文件编码

可以在VI中使用：set fileencoding来查看当前文件的编码

 

2，利用iconv命令进行文件内容编码转换

用法：iconv [选项...] [文件...]

 

有如下选项可用:

 

输入/输出格式规范：

-f, --from-code=名称 原始文本编码

-t, --to-code=名称 输出编码

 

例子:

iconv -f gb2312 -t utf-8 aaa.txt >bbb.txt

这个命令读取aaa.txt文件，从gb2312编码转换为utf-8编码,其输出定向到bbb.txt文件。

 

3，文件名编码转换

convmv可以将windows中GBK编码的文件的中文文件名转换成UTF-8编码。

 

convmv -f GBK -t UTF-8 *.mp3

不过这个命令不会直正的转换，你可以看到转换前后的对比。如果要直正的转换要加上参数--notest

 

convmv -f GBK -t UTF-8 --notest *.mp3

-f 参数是指出转换前的编码，-t 是转换后的编码。-r 这个表示递归转换当前目录下的所有子目录。

 

4，enca，不但能智能的识别文件的编码，而且还支持成批转换。

　　1）查看当前文件编码

　　enca -L zh_CN ip.txt

       Simplified Chinese National Standard; GB2312

       Surrounded by/intermixed with non-text data

 

　　2）转换

　　命令格式如下

　　$enca -L 当前语言-x 目标编码 文件名

　　例如要把当前目录下的所有文件都转成utf-8

　　enca -L zh_CN -x utf-8 *

        enca -L zh_CN file 检查文件的编码　

　　enca -L zh_CN -x UTF-8 file 将文件编码转换为"UTF-8"编码　

　　enca -L zh_CN -x UTF-8 < file1 > file2 如果不想覆盖原文件可以这样，很简单吧。

 

参考：http://www.2cto.com/os/201110/106727.html