今天学习的是Biostar 课程3,4
做生物信息需要频繁使用NCBI数据库,当数据增多的时候,可以使用ncbi自带的工具软件:blast+,Edirect,SRA toolkit。
blast+是NCBI最重要的功能,用来找同源基因序列。
Edirect包含一大堆工具,主要用来检索NCBI各个数据库的内容。
SRA toolkit主要用来处理NCBI SRA数据库的数据,包括数据下载以及格式转换等。
Biostar 课程3,4里介绍了Entrez Direct和SRA toolkit的安装和使用。
Entrez Direct,简称EDirect,这个工具可以帮助查找、检索和处理Pubmed数据。
两个参考文档:
EDirect官方文档
Entrez介绍 这是一个比较全的中文的关于Edirect安装和功能的介绍。
我在按照Biostar程里面的指导安装时,遇到一个问题,核心工具xtract(把XML格式的数据转换成纯文本格式)没有安装好。我按照下面的提示,在EDirect文件夹里执行这些命令之后,就正常了。

安装好之后练习了einfo,esearch,efetch等命令。总的来说,就是学会怎么在特定数据库中查找关键信息并下载需要的内容。
这节课中是要下载SRA toolkit,没有意外的是,这个过程中又出现bug了。
我按照指示安装好了SRA toolkit 2.8.2版本,但是用prefetch下载文件时失败了,屏幕报错如下。看到这些报错信息时不要慌,重要的是要找出关键信息。

尝试1
我首先把第一句话从“prefetch 2.8.2 sys”到“X509”这些文字都作为关键词去搜索解决方法,结果并没有找到什么有用的信息。
尝试2
我看了一下sra的文档,文档里说,可以直接使用“fastq-dump”命令来下载并拆解文件,从而避免使用prefetch。我尝试之后,还是报了一样的错误。所以问题不在于prefetch命令。
尝试3
仔细分析报错中的关键词,我认为最重要的还是9984,这个错误代码可以帮助区分我遇到的这种问题和网络上的其他信息,因此我使用“fastqdump 9984”来搜索,立刻发现有两篇帖子中都说,把SRA-toolkit更新到最新版本,这个问题就可以解决了。我尝试之后,果然不再报错。
因此,遇到问题之后,需要冷静下来仔细辨别关键信息,再去搜索,这比完整的复制粘贴更有效率。
这个工具可以进行批量下载和格式转换。
流程:首先使用EDirect里的工具esearch和efetch来查询和获取所有需要下载的文件序号,再利用SRA toolkit中的prefetch进行批量下载,用fastq-dump来进行批量格式转换和文件分割。