PHPでBOMを削除 ( remove \xEF\xBB\xBF | U+FEFF | efbbbf)

LINE messaging APIでTextファイルを受信した際に、BOMがついており先頭の空白削除がうまく動作しなかったので、PHPでUTF8のBOMを削除する方法がいくつかあったのでメモ

preg_replaceで削除するパターン
今回はこっちを使って削除

return preg_replace("/^\xEF\xBB\xBF/", '', $text);

U+FEFFで指定するパターン

$str = preg_replace('/\x{FEFF}/u', '', $file);

hexで削除するパターン

function remove_utf8_bom_head($text) {
    if(substr(bin2hex($text), 0, 6) === 'efbbbf') {
        $text = substr($text, 3);
    }
    return $text;
}

PHPでBOM削除で検索すると、自分が前に公開していたJSONから削除する記事が上位に表示され恥ずかしい。

https://stackoverflow.com/questions/10290849/how-to-remove-multiple-utf-8-bom-sequences

Vue.js Bootstrap4のd-flexはv-showで表示/非表示が制御出来ない(flex!important)

既存のBootstrap4&Jqueryなサイトでちょっと凝った制御が必要になって、Jqueryでjavascriptとdom側の両方を制御するのが辛くなったので部分的にVueを導入してみま
した。

d-flexのdivをv-showで制御する予定が、常に表示されてしまう。

< div v-show="showInfo" class="d-flex justify-content-around">
 表示されちゃう。
< /div>

以前AngulerJSでも似たことがあって、CSSをみてみたらimportantが設定されてる。
v-showはelementStyleでnoneつけてるけど、importantに負けてるので常に表示になってしまった。

.d-flex {
    display: -ms-flexbox!important;
    display: flex!important;
}

今回はrefから参照したい都合でvue-ifで消したくないので、d-flexをdivで囲って回避しました。

ROS2 pkg create invalid choice: ‘ament_python’ – macにインストールROS2(Dashing)

macにROS2をインストールして、Pythonでパッケージを作ろうとしたら、エラーが発生した。

$ ros2 pkg create --build-type ament_python dp_test_pkg
ros2 pkg create: error: argument --build-type: invalid choice: 'ament_python' (choose from 'cmake', 'ament_cmake')

invalid choice: ‘ament_python’

??
タイプミスかと思ったけど、(choose from ‘cmake’, ‘ament_cmake’)ってpythonは?

調べてみたら、これかな?
「Add Pkg create for ament python #296」
https://github.com/ros2/ros2cli/pull/296
どうやらDashing patch release 4には含まれていないようで、今回macにインストールしたのがまさにDashing patch release 4でpythonがpkgコマンドに含まれていなかった。
Eloquentに更新というか新規インストールして完了

$ros2 pkg create --build-type ament_python dp_test_pkg
(ros@3.7.0) mba:src dp$ tree
.
└── dp_test_pkg
    ├── dp_test_pkg
    │   └── __init__.py
    ├── package.xml
    ├── resource
    │   └── dp_test_pkg
    ├── setup.cfg
    ├── setup.py
    └── test
        ├── test_copyright.py
        ├── test_flake8.py
        └── test_pep257.py

ROS2をUbuntu 18.04.3 LTSにインストール( CMake Error:ASIO_INCLUDE_DIR )

EC2でROS1,ROS2の環境を以前セットアップしたけど、やっぱり手元に欲しいなということでMacにROS2をインストールしましたが、動作させる環境がUbuntuなのでrEFIndでのデュアルブート、Parallelsと悩んだ末、USBにUbuntu18をインストールすれば、別のノート(MacBookPro)でも共有で使えるじゃんと思い、LiveUSBじゃなくて、USBにUbuntu18インストールして、そのUbuntuにROS2をインストール(ちゃんとUEFIの設定などしました)

MacBookで起動するUSBが意外と手間がかかったのは別で説明します。

今回はまっさらなUbuntuでROS2専用にするので、Pyenvは利用せず本当にマニュアル通りに実行
https://index.ros.org/doc/ros2/Installation/Crystal/Linux-Development-Setup/

sudo apt update && sudo apt install curl gnupg2 lsb-release
curl -s https://raw.githubusercontent.com/ros/rosdistro/master/ros.asc | sudo apt-key add -
sudo sh -c 'echo "deb [arch=amd64,arm64] http://packages.ros.org/ros2/ubuntu `lsb_release -cs` main" > /etc/apt/sources.list.d/ros2-latest.list'

ライブラリのインストール

sudo apt update && sudo apt install -y \
  build-essential \
  cmake \
  git \
  python3-colcon-common-extensions \
  python3-lark-parser \
  python3-pip \
  python-rosdep \
  python3-vcstool \
  wget
# install some pip packages needed for testing
python3 -m pip install -U \
  argcomplete \
  flake8 \
  flake8-blind-except \
  flake8-builtins \
  flake8-class-newline \
  flake8-comprehensions \
  flake8-deprecated \
  flake8-docstrings \
  flake8-import-order \
  flake8-quotes \
  pytest-repeat \
  pytest-rerunfailures \
  pytest \
  pytest-cov \
  pytest-runner \
  setuptools
# install Fast-RTPS dependencies
sudo apt install --no-install-recommends -y \
  libasio-dev \
  libtinyxml2-dev

ワークスペースの作成

mkdir -p ~/ros2_crystal/src
cd ~/ros2_crystal
wget https://raw.githubusercontent.com/ros2/ros2/crystal/ros2.repos
vcs import src < ros2.repos
rosdep update
rosdep install --from-paths src --ignore-src --rosdistro crystal -y --skip-keys "console_bridge fastcdr fastrtps libopensplice67 libopensplice69 rti-connext-dds-5.3.1 urdfdom_headers"
python3 -m pip install -U lark-parser

コードをビルドしたらエラー

colcon build --symlink-install

CMake Error: The following variables are used in this project, but they are set to NOTFOUND.
Please set them or make sure they are set and tested correctly in the CMake files:
/home/dp/ros2/src/eProsima/Fast-RTPS/src/cpp/ASIO_INCLUDE_DIR
   used as include directory in directory /home/dp/ros2/src/eProsima/Fast-RTPS/src/cpp

---
Failed   <<< fastrtps	[ Exited with code 1 ]
[5.435s] WARNING:colcon.colcon_ros.task.ament_python.build:Package 'ament_pep257' doesn't explicitly install a marker in the package index (colcon-ros currently does it implicitly but that fallback will be removed in the future)
[5.436s] WARNING:colcon.colcon_ros.task.ament_python.build:Package 'ament_pep257' doesn't explicitly install the 'package.xml' file (colcon-ros currently does it implicitly but that fallback will be removed in the future)
[5.448s] WARNING:asyncio:Unknown child process pid 7474, will report returncode 255
Aborted  <<< ament_cmake_core
Aborted  <<< ament_pep257
Aborted  <<< ament_cppcheck

Summary: 4 packages finished [5.43s]
  1 package failed: fastrtps
  3 packages aborted: ament_cmake_core ament_cppcheck ament_pep257
  1 package had stderr output: fastrtps
  225 packages not processed

依存ライブラリ(libasio-dev)が足りないらしい。

sudo apt install libasio-dev

ビルドが通りました。

colcon build --symlink-install
しばらく待つ
Starting >>> tf2_msgs
[29min 39.6s] [140/233 complete] [4 ongoing] [rviz_ogre_vendor:build 74% - 25min 38.7s] [sensor_msgs:build 33% - 1min 56.1s] .

ROS2をMacbookにインストールする( macOS Catalina)けど大量のエラー : Library not loaded: /usr/local/opt/poco/lib/libPocoFoundation

いつもはUbuntuだけど、macでもROS2にもインストールできるそうなんで、手持ちのMacbookAirにインストールしてみる。

公式ドキュメント
https://index.ros.org/doc/ros2/Installation/Dashing/OSX-Install-Binary/

まずはbrewで必要な物をインストール

brew install asio tinyxml2
brew install tinyxml eigen pcre poco
brew install opencv
brew install openssl
echo "export OPENSSL_ROOT_DIR=$(brew --prefix openssl)" >> ~/.bashrc
brew install qt freetype assimp
brew install log4cxx
brew install cunit
brew install pyqt5
ln -s /usr/local/share/sip/Qt5 /usr/local/share/sip/PyQt5
brew install graphviz

次にPythonのモジュールを入れる。
virtualEnvでROS2用に環境を作る。

mba:pyenv dp$ virtualenv ros@3.7.0
mba:pyenv dp$ source ros\@3.7.0/bin/activate
(ros@3.7.0) mba:pyenv dp$ pip install pygraphviz pydot lxml catkin_pkg empy lark-parser pyparsing pyyaml setuptools argcomplete

Macの場合、SIP(System Integrity Protection)の無効化をしないと親子プロセスで変数の継承ができないらしいので、OFFにしようと思ったら

$ csrutil status
System Integrity Protection status: disabled.

SIPがdisabledになってる。
Macのログイン画面の背景変更の時かな?
OFFだったので、スルーする。

ROS2のダウンロード
https://github.com/ros2/ros2/releases

mba:pyenv dp$ mkdir -p ~/ros2_crystal
mba:pyenv dp$ cd ~/ros2_crystal
mba:pyenv dp$ wget https://github.com/ros2/ros2/releases/download/release-dashing-20191018/ros2-dashing-20191018-macos-amd64.tar.bz2
mba:pyenv dp$ tar xf ros2-dashing-20191018-macos-amd64.tar.bz2 
mba:pyenv dp$ . ~/ros2_crystal/ros2-osx/setup.bash

ROS2インストール完了したはずなので
デモを起動したら、エラー。。。

mba:pyenv dp$ ros2 run mba:pyenv dp$ demo_nodes_cpp talker

Failed to load entry point 'delete': dlopen(/Users/dp/ros2_crystal/ros2-osx/lib/python3.7/site-packages/rclpy/_rclpy.cpython-37m-darwin.so, 2): Library not loaded: /usr/local/opt/tinyxml2/lib/libtinyxml2.7.dylib
  Referenced from: /Users/dp/ros2_crystal/ros2-osx/lib/libbuiltin_interfaces__rosidl_typesupport_fastrtps_c.dylib
  Reason: image not found
The C extension '/Users/dp/ros2_crystal/ros2-osx/lib/python3.7/site-packages/rclpy/_rclpy.cpython-37m-darwin.so' failed to be imported while being present on the system. Please refer to 'https://index.ros.org/doc/ros2/Troubleshooting/#import-failing-even-with-library-present-on-the-system' for possible solutions
Failed to load entry point 'info': dlopen(/Users/dp/ros2_crystal/ros2-osx/lib/python3.7/site-packages/rosbag2_transport/_rosbag2_transport_py.cpython-37m-darwin.so, 2): Library not loaded: /usr/local/opt/poco/lib/libPocoFoundation.63.dylib
  Referenced from: /Users/dp/ros2_crystal/ros2-osx/lib/python3.7/site-packages/rosbag2_transport/_rosbag2_transport_py.cpython-37m-darwin.so
  Reason: image not found
The C extension '/Users/dp/ros2_crystal/ros2-osx/lib/python3.7/site-packages/rclpy/_rclpy.cpython-37m-darwin.so' failed to be imported while being present on the system. Please refer to 'https://index.ros.org/doc/ros2/Troubleshooting/#import-failing-even-with-library-present-on-the-system' for possible solutions
dyld: Library not loaded: /usr/local/opt/poco/lib/libPocoFoundation.63.dylib
  Referenced from: /Users/dp/ros2_crystal/ros2-osx/lib/librosidl_typesupport_c.dylib
  Reason: image not found

調べてみたらlibtinyxml2のバージョンに問題があるみたい。
Homebewでインストール済みのバージョンはtinyxml2(7.1.0)だけど7系は動かないとのこと
「ROS 2 fails to build against tinyxml2 7.0.0 #671」
https://github.com/ros2/ros2/issues/671
Homebewでインストール済みのtinyxml2をダウングレード
https://github.com/ros2/ros2/issues/625

brew unlink tinyxml2
brew install https://raw.githubusercontent.com/Homebrew/homebrew-core/da9a96f093a57eb8ac7c9470c1ec04fd1823a37a/Formula/tinyxml2.rb
brew switch tinyxml2 6.2.0

またdylibが見つからないのはlinkを作成

$ ll /usr/local/opt/poco/lib/libPocoFoundatio*
-rw-r--r--  1 dp  staff  1701096 12 19 23:12 /usr/local/opt/poco/lib/libPocoFoundation.64.dylib
lrwxr-xr-x  1 dp  staff       26  9 18 17:03 /usr/local/opt/poco/lib/libPocoFoundation.dylib -> libPocoFoundation.64.dylib
ln -s libPocoFoundation.dylib libPocoFoundation.63.dylib
$ ll /usr/local/opt/tinyxml2/lib/libtinyxm*
lrwxr-xr-x  1 yuta  staff     23  4  6  2018 /usr/local/opt/tinyxml2/lib/libtinyxml2.6.dylib -> libtinyxml2.6.2.0.dylib
lrwxr-xr-x  1 yuta  staff     19  4  6  2018 /usr/local/opt/tinyxml2/lib/libtinyxml2.dylib -> libtinyxml2.6.dylib
$ cd /usr/local/opt/tinyxml2/lib/
$ ln -s libtinyxml2.6.2.0.dylib libtinyxml2.7.dylib

console_bridgeのインストールを忘れてた。

brew install console_bridge

これで対応できたと思ったけどpipモジュールが見つからないエラーが大量。。

(ros@3.7.0) mba:lib dp$ ros2 -help
Failed to load entry point 'test': No module named 'yaml'
Failed to load entry point 'launch': No module named 'yaml'
Failed to load entry point 'send_goal': No module named 'yaml'
Failed to load entry point 'list': No module named 'yaml'
Failed to load entry point 'load': No module named 'yaml'
Failed to load entry point 'standalone': No module named 'yaml'

これはpyenv使ってインストールした関係なので、パスを設定してからsetup.shを実行してOK

export PYTHONPATH=~/pyenv/ros\@3.7.0/lib/python3.7/site-packages/
$ which python
/Users/dp/pyenv/ros@3.7.0/bin/python
$. ~/ros/dashing/setup.bash

まだ自分マックはbashを使ってる。
間違えてsetup.shを実行したらエラーがでてしばらく悩んでしまった。

export PYTHONPATH=~/pyenv/ros\@3.7.0/lib/python3.7/site-packages/
$. ~/ros/dashing/setup.sh
The build time path "/Users/osrf/jenkins-agent/workspace/packaging_osx/ws/install" doesn't exist. Either source a script for a different shell or set the environment variable "COLCON_CURRENT_PREFIX" explicitly.

AmazonLinux2でLet’s Encryptがエラー – Sorry, I don’t know how to bootstrap Certbot on your operating system!

久しぶりにAmazonLinux2に触ったら
Let’s Encryptのインストール後、certbot-auto実行でエラーが発生

[ec2-user@ip-99-99-99-99 certbot]$ sudo ./certbot-auto
Sorry, I don't know how to bootstrap Certbot on your operating system!

You will need to install OS dependencies, configure virtualenv, and run pip install manually.
Please see https://letsencrypt.readthedocs.org/en/latest/contributing.html#prerequisites
for more info.

certbot-autoを開くと、Amazon Linuxの判定があるけどこれを修正する必要があるらしい。

elif [ -f /etc/issue ] && grep -iq "Amazon Linux" /etc/issue ; then
  Bootstrap() {
    ExperimentalBootstrap "Amazon Linux" BootstrapRpmCommon
  }
  BOOTSTRAP_VERSION="BootstrapRpmCommon $BOOTSTRAP_RPM_COMMON_VERSION"

確かに、判定できない。。

[ec2-user@ip-99-99-99-99 certbot]$ grep -iq "Amazon Linux" /etc/issue
[ec2-user@ip-99-99-99-99 certbot]$
[ec2-user@ip-99-99-99-99 certbot]$ cat /etc/issue
\S
Kernel \r on an \m

[ec2-user@ip-99-99-99-99 certbot]$

これに書き換える。

elif grep -i "Amazon Linux" /etc/issue > /dev/null 2>&1 || grep 'cpe:.*:amazon_linux:2' /etc/os-release > /dev/null 2>&1; then
  Bootstrap() {
    ExperimentalBootstrap "Amazon Linux" BootstrapRpmCommon
  }
  BOOTSTRAP_VERSION="BootstrapRpmCommon $BOOTSTRAP_RPM_COMMON_VERSION"

参考-> Amazon Linux 2でLet’s Encryptが使えない

Docker – Jenkinsの公式イメージでsudoが出来ない

Jenkinsのプラグインをテストするために公式イメージをとりあえず動かす。

mac #docker pull jenkins/jenkins:lts
mac #docker run -d -p 8080:8080 -p 50000:50000 -v ~/Desktop/jenkins_docker_data:/var/jenkins_home --name jenkins --restart=always jenkins/jenkins:lts

printするだけのmavenプロジェクトをgithubから取得してビルドさせるとエラーが発生

Caused: java.io.IOException: Cannot run program "mvn" (in directory

インストールしようとすると、sudoが出来ない。
というか見つからない。

mac #docker exec -it jenkins bash
jenkins@7da8a1d859bd:/$ sudo
bash: sudo: command not found
jenkins@7da8a1d859bd:/$ which sudo
jenkins@7da8a1d859bd:/$

sudoではなく、ログイン時に指定するといいらしい。

mac #docker exec -it -u root コンテナのID(docker psで見る)  /bin/bash
root@7da8a1d859bd:/# id uid=0(root) gid=0(root) groups=0(root) root@7da8a1d859bd:/#

macでAndroidStudioがアップデート後に起動しない( pleiades.jar 消しちゃった)

docからAndroidStuidoを起動しても、起動しないけど、下記を直接起動してみるとエラーが表示される。

mac:~ dp$/Applications/Android\ Studio.app/Contents/MacOS/studio
Error opening zip file or JAR manifest missing : /Users/dp/Library/Preferences/AndroidStudio3.3/jp.sourceforge.mergedoc.pleiades/pleiades.jar

更新の時に読み込んでない設定ディレクトリだと思って削除した方にPleiadesのjarが入っていたようなので、pleiadesのプラグインをもう一度インストールすれば起動した。

https://mergedoc.osdn.jp/#pleiades.html#PLUGIN

2019-10-28 08:05:21.209 studio[6644:252431] Value of STUDIO_VM_OPTIONS is (null)
2019-10-28 08:05:21.209 studio[6644:252431] Processing VMOptions file at /Applications/Android Studio.app/Contents/bin/studio.vmoptions
2019-10-28 08:05:21.210 studio[6644:252431] Done
2019-10-28 08:05:21.210 studio[6644:252431] Processing VMOptions file at /Users/dp/Library/Preferences/AndroidStudio3.5/studio.vmoptions
2019-10-28 08:05:21.210 studio[6644:252431] Done
2019-10-28 08:05:21.210 studio[6644:252431] Processing VMOptions file at 
2019-10-28 08:05:21.212 studio[6644:252431] No content found
Error opening zip file or JAR manifest missing : /Users/dp/Library/Preferences/AndroidStudio3.3/jp.sourceforge.mergedoc.pleiades/pleiades.jar
Error occurred during initialization of VM
agent library failed to init: instrument
logout
Saving session...
...copying shared history...
...saving history...truncating history files...
...completed.
Deleting expired sessions...4 completed.

[プロセスが完了しました]

aws chaliceでpynamodb(dynamodb)を利用する際のIAM policy

chaliceはboto3で使っているメソッドから必要なIAMを自動的に付与(更新しないもできる)する機能を持ってるので、boto3でdynamodbを使ったりすれば、自動で付与されるけど、pynamodbを使った場合はそこまでは面倒見てくれないので、boto3でdynamoを利用せず、pynamodbのモデルしか用意してないと、こんな感じでdynamodbへのポリシーは無視される。

$ chalice gen-policy
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminInitiateAuth",
        "cognito-idp:AdminRespondToAuthChallenge"
      ],
      "Resource": [
        "*"
      ],
      "Sid": "275e6aad3b0a4356ac3b9ab90fbe2422"
    }
  ]
}

なので、手動で管理する必要があるけど、Identity and Access Management (IAM)から編集するのはchalice使う意味なくなるので、.chalice/policy.jsonを利用する。

手動で変更してもいいけど、ミスってもいやなので、適当に下記のapp.pyにboto3でdynamoを操作する記述を追加

dynamodb.get_item(TableName="nanndemoiiyo")
dynamodb.put_item(TableName="nanndemoiiyo")
table = dynamodb.create_table(...

この状態でポリシーを見るとDynamodbのポリシーが入るので、jsonとして保存

$ chalice gen-policy > .chalice/policy.json
$ cat .chalice/policy.json

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminInitiateAuth",
        "cognito-idp:AdminRespondToAuthChallenge"
      ],
      "Resource": [
        "*"
      ],
      "Sid": "c5c6757d1033420fa4ba529b67bd333d"
    },
    {
      "Effect": "Allow",
      "Action": [
        "dynamodb:CreateTable",
        "dynamodb:GetItem",
        "dynamodb:PutItem"
      ],
      "Resource": [
        "*"
      ],
      "Sid": "5a2f50fb91a34608b571409e5291041b"
    }
  ]
}

環境によってサフィックスが必要
今回は「.chalice/policy.json」から「.chalice/policy-dev.json」に変更してデプロイ時は「–no-autogen-policy」をつければOK

cloudformationでCognitoのUserPool作成でエラー

CloudFormationでCognitoのUserPoolを作成しようとしてエラーが出てしまった

aws cloudformation deploy --template-file userPool.yml --stack-name CognitoUserPool-test --capabilities CAPABILITY_IAM  --profile dev-southeast

Waiting for changeset to be created..
Waiting for stack create/update to complete

Failed to create/update the stack. Run the following command
to fetch the list of events leading up to the failure
aws cloudformation describe-stack-events --stack-name CognitoUserPool-test
 {
            "StackId": "arn:aws:cloudformation:ap-southeast-2:00000894962:stack/CognitoUserPool-test/f6e05000-0000-11e9-ba1c-0664273e8e22",
            "EventId": "CognitoUserPool-CREATE_FAILED-2019-08-15T07:26:25.833Z",
            "StackName": "CognitoUserPool-test",
            "LogicalResourceId": "CognitoUserPool",
            "PhysicalResourceId": "",
            "ResourceType": "AWS::Cognito::UserPool",
            "Timestamp": "2019-08-15T07:26:25.833Z",
            "ResourceStatus": "CREATE_FAILED",
            "ResourceStatusReason": "Property validation failure: [Encountered unsupported properties in {/Schema/0}: [Required\"]]",
            "ResourceProperties":
Schema:
   - Name: "name"
   AttributeDataType: String
   Mutable: true
   Required": true

誤字なだけ。。作成できました。