docker

2/136ページ

Think2018で見てきたIBMのKubernetesに関する取り組み状況

米国ラスベガスで2018年3月19日〜22日 開催されたIBMの最大級のイベントThink2018で、Kubernetes関連の取り組みについて、私が参加したセッションや展示について、スマホで撮ってきた写真を中心に、IBM の Kubernetesに関する取り組み状況をまとめてみました。 (注意: 私はIBMの社員ですが、この記事は会社の見解を代表するものではありません。私個人の意見によるものです。) Think2018とは? Thin […]

nvidia-docker in nvidia-dockerを実現する

2行まとめ 「nvidia-docker in nvidia-docker」は可能。 nvidia-dockerはバージョン1.0系とバージョン2.0系があり、2.0系の方がいろいろと楽。 概要 例えばCI(Continuous Integration、継続的インテグレーション)環境としてJenkinsのコンテナを動作させており、その中からDockerコンテナを起動したい場合、いわゆる「Docker in Docker」を実現することに […]

dockerでhadoopクラスター作成

hadoopクラスターを触ってみたくてdockerで構築してみた クラスター自体はambariを使って構築した 環境 Mac OS: 10.13.4 docker: 18.03.0-ce docker-compose: 1.20.1 概要 正式名称はApache Hadoop、Apache Ambariらしい。apacheすごい Apache Hadoopは分散処理を行うためのフレームワークであり、分散ファイルシステム(HDFS)やスケ […]

自宅での技術検証がより楽しくなる? portainer で Docker コンテナ管理

コンテナを管理する方法は色々あると思うのですが、 自宅で技術検証をするときは portainer が便利そうでした。 公式サイトはこちらです。軽量な管理 UI で、簡単に Docker ホスト、Swarm クラスタを管理できると記載されています。 https://portainer.io/ よいと感じた点 GUI で稼働中のコンテナやイメージ、ネットワーク、ストレージを見れます。マウス操作だけでいいので、モニタリングが手軽です。 画面も […]

Docker上でPython3からYOLO v3 を動かしてみた

はじめに YOLOは C言語で作られた機械学習のフレームワークdarknet上で動く、物体検出のネットワークです。今回はYOLO v3をDocker上で動かしてみました。やったことは次の通りです。 darknetをCPU用にビルド yolov3のモデルと、yolov3-tinyのモデルの両方を試す Python2用のサンプルを拡張し、Python3から使えるようにする(GitHub) ついでに枠とラベルを書き込むようにする 実験にあたっ […]

爆速で Docker コンテナにデータ分析環境を生成するテンプレート を作りました

機械学習の実験における悩みの一つに実験の再現性があります。再現性は実験を共同研究者に引き継いたり、ソフトウェアエンジニアにモデルをデプロイしてもらう時に問題になります。残念ながら、機械学習で利用するライブラリは数も多く、アップデートも頻繁に行われます。そのため動作する開発環境を維持、共有するのは難しい問題と言えます。 そこでデータサイエンティストが実験結果を他人に引き継ぐことを容易にするテンプレート、Cookiecutter Docke […]

(学習用環境構築メモ) DockerコンテナでJupyter Notebookを起動する。

概要 データ分析・機械学習を勉強するためにJupyter Notebookをインストールしたときのメモです。 勉強しようと思ったら講座でも書籍でも大体Jupyterの紹介がありますので、とにかく早く簡単にPythonの実行環境を整えたい方のために投稿します。Dockerなので環境の複製や共有も簡単にできます。 動作環境 環境情報 $ uname -a ; docker --version ; firefox --version Linu […]

Dockerで自然言語処理を簡単に行う方法

概要 近年の機械学習・ディープラーニングブームもあり、自然言語を対象とする機会が増えてきました。しかし、自然言語処理関連の環境構築は簡単ではありません。いろいろなところに散らばっているパッケージを集めてビルドを行う必要があります。自分はPythonで自然言語処理をしたいだけなのに!と考える皆様。もう苦労する必要はありません。 ということで、Dockerで自然言語処理のパッケージを作成し、それをDocker Hubに登録しました。みなさん […]

5分で社内にプライベートなDocker Registryを立てる!

                社内では着々とkubernetsでの機械学習の開発環境が整いつつあります。 ansibleでkubernetes環境の構築 1 ansibleでkubernetes環境の構築 2 GAUSSではdockerのjupyterコンテナを使って機械学習を行っていますが、機械学習用のDockerイメージのサイズが5GBあり、各自の環境でDockerfileから作るとすごく時間がかかります。。。 また、Docker […]

1 2 136