夜に Twitter を眺めていたら課題が目に入ったので勝手に回答してみた。 https://x.com/sho_yokoi/status/1861714591098798554 恐らく ASCONE という Autumn School で提示されたものだと思われる。 http://ascone.brainsci.net/#Lec5 最初の基礎講義（１時間）を聴いていないので問いのニュア...

これは人間がやる作業ではない。当日は似た論文でセッションが組まれるから、スケジュールを参考に追うのが良いんだけど、他分野との出会いを求めて全部見ちゃう。 できれば自動化したいけど AI/NLP のこと信用できなさそう。（多分信用してたら研究してない） 文埋め込み LongEmbed: Extending Embedding Models for Long Context Retriev...

YANS (9/5-7) が終わったことだし NL 研 (6/28-29) の参加記でも書きますか（！？） 参加経緯 NLP2024@神戸 は研究がまとまらなかったので聴講参加だったのだが、同期や後輩がわいわいしているのを見て NLPer を名乗れない気持ちになり、修士課程で学会発表はやっておかねばという焦りが少しあった。スモールスタートしていたことがとりあえず良い感じの結果が得られて、...

unofficial package へのリンクを消す パターン 1 : /etc/apt/sources.list.d 内の全ファイルをコメントアウト パターン 2 : /etc/apt/sources.list.d を移動する unofficial package を消す 以下のコマンドで検出され...

ICML accepted papers ICML 2024 Conference Welcome to the OpenReview homepage for ICML 2024 Confere...

全体の感想 埋め込み表現のセッションが減った 去年は C3, C4 (口頭), Q11 (ポスター) の 3 セッションが “埋め込み表現” を冠していたが、今年は A10 (口頭) のみだった。NLP2024 で僕が一番楽しかったセッションは A10 だったので、このようなセッションは残り続けてほしい。永田先生を見習って何本も出さないと？ 状態空間モデルの波 状態空間モデルに関する...

はじめに OSS を利用しといて「くそ！」とか言うのは、隣の家に勝手に上がり込んで上に出してもらったお菓子がまずいというようなもの。 利用者は八百万の OSS に感謝の気持ちを持って開発するのが大事。 この記事 (メモ) では fairseq のコマンドと引数の対応が正確ではないように感じたので、ソースコードを参照しながら確認していきます。 ...

本記事の注意 僕はまだ論文の中身までは目を通してません。 説明は適当です。 記号の意味 「」: 僕の発言 🔴: 主観的興味 🔵: 客観的興味 🟡: 将来、好きになりそう 🟣: 自分の取り組みに関連する ICLR 2024 の論文一覧には載ってないけどまだ採択が決まっていない論文があるっぽ...

論文 URL: https://arxiv.org/abs/2312.00752 僕の脳内を記してるだけで説明する気はないゾイ SSM について bilinear の離散化しか知らなかったから ZOH で exp が出てきたのが初見だった。 diagonal SSM が主流となり S4 の式変形テクニックは必要なくなった模様。 行列 A もランダム初期化で良いそう...

今週、PCoA という手法を知り、ちょこちょこ調べていると「非類似度をユークリッド距離とすると、PCoA と PCA は等価になる」という記述をたくさん見ました。 しかし、その証明を見つけられなかったので自分でやりました。 PCoA とは 略さずに書くと Principal Coordinate Analysis (主座標分析) です。 MDS (Multidimensional sca...