Python

1/1360ページ

Pythonは、中古の住宅のウェブサイトのデータをクロール(例の説明)

それは小さな戦いです ハハ、正式にクロールを始めました。まず、クロールするウェブサイトの構造を分析する必要があります。河南の学生として、鄭州の中古住宅情報を見てください。 上記のページでは、私たちが見つけたものからのリスト情報のリストを見ることができます。卒業生の犬が誘惑する余裕がないので、鄭州の中古住宅でさえ高価です。 それでもテキスト! ! ! 上記から、ページのリスティング情報を見ることができます。それをクリックすると、次のような […]

PHP から Python に浮気しました

PHP の pear で色々コードを書いてきたのですが、composer に移ってからよく分からなくなったので Python に浮気しました。 折角なので新鮮な気持ちが残っている間に、感じた事を徒然なるままに書き綴ります。 習作 MIDI(SMF)ファイルをダンプするクラス。 細かい修正を抜きにして基本部分は4時間くらいで移植出来ました。Python 凄い。 http://d.hatena.ne.jp/yoya/20141105/io_ […]

機械技術者及び非コンピュータ技術者のデータ処理手法(導入編1)

このページは大学生・もしくは新卒機械技術者を対象としています。 研究開発活動に従事している大学院生・機械技術者には初学的なので読む必要はありません。 さて、研究開発において実験データを取っていると非常に膨大な量(数万~数十万)程度の時系列データが とれるかと思います。 この場合CSV・TSVなどのテキストファイルに残す形でのデータ処理はソフト側のメモリの問題が起こります。 この問題に対してバイナリファイル形式でシーケンシャルに読み出すこ […]

IPython clusterによるバカパラ(分散並列処理)

分散並列処理の基本かつ強力なアプローチとして,Single Program Multiple Data (SPMD) があります.これは,複数のプロセッサが同一のプログラムを実行し,その際に各プロセッサは別々のデータを処理する,というモデルです.大規模なデータを独立で処理できる単位に分割し,小分けのデータを複数のプロセッサで並列に処理することで,データ全体の処理時間を大幅に短縮できます. 例えば,a01.txt, a02.txt, a0 […]

キャプション生成モデルに対して fooling image を作成した

元論文 Deep neural networks are easily fooled High confidence predictions for unrecognizable images DNN の中身を知るために,人間には理解できないが 99% 以上の confidence で DNN に分類させる画像を生成したという内容. 例えば以下のようになるようだ. (論文から引用) この fooling image を generati […]

【統計学】stanでロジスティック回帰の実行を割と詳しく解説してみる(w/ Titanic dataset)

StanをつかってTitanicデータをロジスティック回帰してみて、さらに分類の性能評価を少し行ってみるという記事です。 この記事で使う確率的プログラミング言語「Stan」では分布のパラメーターの推定に、ハミルトニアンモンテカルロ法(HMC法)とNUTSという手法が用いられています。厳密には乱数の発生原理が異なるのですが、もう少しシンプルな手法にマルコフ連鎖モンテカルロ法 メトロポリス・ヘイスティングス法(MH法)があります。この動作原 […]

Pythonを使った回帰分析の概念の解説 その1

最近、機械学習、人工知能等が流行っておりその基盤となる統計学についての知識が重要となっていると思います。そこで、統計学の中でもその効果がわかりやすい回帰分析の原理についてPythonで計算したりグラフを書いたりしながら概念的に理解できることを目的として説明を試みたいと思います。 統計の専門家ではないので、もしご指摘・コメントありましたらぜひご連絡ください。数学的に厳密でない点もあると思いますが、ご容赦ください… データセット […]

過去のデータからビッグデータ分析で株価を予測する

今日は 15 年ぶりに日経平均が 19,000 円台を一時回復し、 6 月末までには 2 万円に達するのではとの声も出ていますが、そんな中ビッグデータ (笑) 分析で株式の分析をする話です。 効率的市場仮説 金融の世界には効率的市場仮説というものがあり、どのような情報を利用しても他人よりも高いパフォーマンスを継続してあげることは不可能であるという説があります。これほど誤解されたりあるいは都合良く解釈されたものはないと筆者は考えます。 こ […]

Coursera / Machine Learningの楽しみ方 (Week 10)

(ベンチマークテストに関して,追記しました.) 先日,Coursera, Machine Learning コース (by Stanford University, Prof. Andrew Ng) のプログラミング課題(Matlab)をPythonに移植しながら楽しむ方法についてQiitaに投稿させていただいた.その後コースの受講も進んだが,Week 10から楽しみにしてきたプログラミング課題が無いことを知った.(全11週の内,Pro […]

1 1,360