如何增加机器学习效率,机器学习方法及步骤

首页 > 教育 > 作者:YD1662024-07-08 00:02:56

使用iTerm 2触发关键词功能调用脚本,可以大大提升效率,而你要做的只是在前期花费时间定制脚本。

远程访问TensorBoard

除了抓取远程文件,另一个让人痛苦的是访问远程服务器上的TensorBoard实例。你可以设置SSH端口转发,但是哪个端口对应哪个服务器?它们都在Docker容器中。

ngrok可以让你把访问本地端口变成访问URL,比如输入ngrok http 6006后,它会为你生成一个URL网址http://683acac3.ngrok.io,你可以在这个地址中查看TensorBoard实例。

结合脚本n,以更快的速度启动ngrok,然后用脚本tb打开Web浏览器,启动TensorBoard,在十秒内就能从运行目录转到显示图形。

如何增加机器学习效率,机器学习方法及步骤(5)

ngrok有个缺点是它一次只能允许一个会话,因此在使用前需要*死上一个ngork进程。如果你忘记在另外一台服务器上*死ngrok,可能会比较麻烦。

ngrok下载地址:https://ngrok.com/

用tbplot代替TensorBoard绘图

对于运行大量metrics的情形,我们需要等待较长时间让TensorBoard加载所有图形。如果使用tbplot脚本,速度会快很多,并且能直接生成图像文件。

如何增加机器学习效率,机器学习方法及步骤(6)

tbplot实际上调用的是Matplotlib,缺点是目前只能生成标量图。

tbplot下载地址:https://github.com/mrahtz/tbplot

自动化崩溃监测

运行代码时,最耗费精力的事情就是是担心遇到了错误并崩溃,因此需要不断检查他们的运行情况。

当程序出现问题时,通过警报自动监控可以缓解这种担忧。一般可以把警报发送到邮箱中,为了避免这么麻烦,可以使用sqs-alerts,它依靠AWS AWS Simple Queue服务存储和接收消息。

在每台远程机器上,使用cron运行一个脚本,监控日志并在检测到运行中断时向队列发送消息。然后在本地机器上运行一个服务来监控队列,并在收到消息时弹出警报。

如何增加机器学习效率,机器学习方法及步骤(7)

sqs-alerts下载地址:https://github.com/mrahtz/sqs-alerts

最后,本文使用的所有shell脚本都可以在以下地址中找到:

https://github.com/mrahtz/dotfiles/tree/master/.local/bin

上一页12末页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.