NCBI推荐使用SRA Toolkit下载SRA数据。我也发现了,只用网页在下的fastq.gz文件里的碱基质量值似乎都是问号,而用SRA Toolkit下载SRA文件之后dump得到的fastq文件里却是正常的。没仔细看是个例还是设置上的问题。
而且,使用SRA Toolkit下在可以对整个BioProject号下载所有SRA文件,而且速度稳定,便于批量操作,因此这里给出一个使用指南,以便不太熟悉的同学可以学习。
根据安装指南下载sratoolkit.current-win64.zip,解压到合适的文件夹。比如我解压缩到D盘的Program文件夹,当时版本得到的是sratoolkit.3.0.0-win64文件夹,在这个文件夹里的bin文件夹里是需要用到的可执行文件。也就是这些可执行文件文件夹是D:/Program/sratoolkit.3.0.0-win64/bin。
本教程推荐使用Cygwin,这样后续可以比较方便地使用gzip命令对得到的fastq文件进行压缩。到Cygwin官网下载setup-x86_64.exe文件进行安装,按照安装提示安装即可。安装好之后,安装上chere包,这样可以在你要用的文件夹右键调出Cygwin终端。
创建一个用来存储数据的文件夹,在里边右键,选择Bash Prompt Here,打开Cygwin终端,这时候工作目录就是刚才点击右键的文件夹。
首次使用执行如下命令将SRA Toolkit文件夹添加到PATH变量:
export PATH=/cygdrive/d/Program/sratoolkit.3.0.0-win64/bin:$PATH
其中的/cygdrive/d/Program/sratoolkit.3.0.0-win64/bin根据SRA ToolKit文件解压的位置改为你自己的相应的位置。其中d就是D盘,后边的路径就和在D盘里的路径是一致的了。 其它盘的也相应的改。
添加路径之后,就可调用SRA Toolkit里的命令了。比如试试:
prefetch -h
首次执行的时候可能会看到如下信息:
This sra toolkit installation has not been configured. Before continuing, please run: vdb-config --interactive For more information, see https://www.ncbi.nlm.nih.gov/sra/docs/sra-cloud/
这提示需要进行配置。可以使用vdb-config –interactive通过互动模式来选择相应的选项,使用vdb-config -h查看各个选项。可以看官方教程了解更多。如果仅仅是下载SRA文件,保持默认的配置即可。 可以执行如下命令进行默认配置:
vdb-config --interactive
这时候会弹出一个对话窗口:
可以保持默认设置,按一下Tab键,然后按x键退出
然后再试试如下命令,看看prefect的各个参数:
prefetch -h
最简单的用法,就是导拟用于文件存储的位置右键选择Bash Prompt Here打开CygWin之后开始使用。首先是下载,使用如下命令
prefetch <accession> -O . -p
-O参数设置保存的文件的位置, . 表示当前位置。-p表示显示进度。另外还有参数-X,比如 -X 20g 限制最大文件为20g,默认就是最大20G,如果下载的文件超过这个大小,就需要把这个参数设置大,确实很大,那么需要修改这个参数,注意留出足够的磁盘空间。
<accession>换成要下载的SRA的SRA号。下载完成后在当前目录下会有一个以<accession>命名的文件夹,里边是相应的SRA文件。
<accession>这里也可以使用BioProject的登记号(Accession No),这样这个BioProject下的所有SRA文件都将被下载当当前目录,每个SRA一个文件夹。
如果下载中间断了,直接再次执行如下命令就好了,prefetch会从断点重新开始。
下载完成之后,可以dump成为fastq文件,然后再压缩成为gz文件。 在上一步同样的文件夹,用如下命令进行dump:
fasterq-dump <accession> -p
完成后,在当前的文件夹下会找到一个<accession>.fastq的文件。更多的参数信息参照官方教程。 比如对于有的10X Genomics单细胞测序数据,sra在dump的时候需要加上--split-files 和 --include-technical参数,然后得到三个文件*_1.fastq、*_2.fastq、*_3.fastq,依次对应的是I1、R1、R2三个文件1),按照其命名规则建个软连接就可以用于cellranger了。。
gzip <accession>.fastq
使用gzip压缩fastq文件,以节省磁盘空间,完成后得到<accession>.fastq.gz文件,而<accession>.fastq文件不见了。
1. 360杀毒可能会把vdb-config删掉。如果发现prefetch -h正常而vdb-config -h提示找不到命令时,可能就是vdb-config被杀毒软件删了。关掉360杀毒之类的软件之后再从安装开始试试。
2. 电脑用户名为中文时可能会存在问题,因为配置文件默认存储在C:\Users\User\.ncbi,其中User为用户名,如果这里是中文,那么可能存在问题。可以更改之后试试,或者换台电脑。