<div dir="ltr">Alan,<div><br></div><div>This makes sense. Thanks for the idea! I did not actually look at the problem from that point of view. Let's keep netconfig as a secret and it will be annotated for ephemeral node</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Sep 20, 2019 at 10:20 PM MEADOWS, ALAN <<a href="mailto:am240k@att.com">am240k@att.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Dmitry,<br>
<br>
To be clear I see three phases to this effort:<br>
<br>
1) Just put the cloud-init for network config verbatim in the BMH doc  for the advanced network configuration (or rather in the example below, within a secret referenced by the BMH doc – as is the metal3-io approach today).<br>
<br>
2) Put the intended network configuration data in another CR, or enhance BMH CRD to store it separately and then generate the appropriate cloud-init data to configure the networking – potentially leveraging some of the hardware detected by ironic hardware inventory discovery to help with that process.  I think this is what you’re currently thinking but I think we may be going a step ahead of what’s required initially.  This is my main point.<br>
<br>
3) Finally, I think the last phase is introducing IPAM support so users do not have to explicitly define every interface address for hosts – airship, an ipam operator, or whatever can help identify the next available.<br>
<br>
The baremetalhost_types you refer to would be populated by ironic inventory.  I think trying to represent the network configuration in some structured way, and potentially use some of the hardware configuration discovered as well, in order to generate cloud-init is more in-line with #2 above.<br>
<br>
Really, I’m talking about #1 right now and to be specific about what I’m suggesting, let me propose the following simple solution.  Imagine a baremetal Ubuntu host (which we can easily imitate with virtual machines).  For this example, let’s pretend we want this host to have two interfaces – ens1 and ens4 -- both with static addresses.  You can obviously expand this simple example to account for N interfaces, with bonding, VLANs, and so on.<br>
<br>
I would have the following cloud-init for my theoretical “host10”:<br>
<br>
#cloud-config<br>
<br>
write_files:<br>
- path: /etc/network/interfaces.d/10-ens1.cfg<br>
  owner: root:root<br>
  permissions: '0644'<br>
  content: |<br>
    auto ens1<br>
    iface ens1 inet static<br>
        address 10.1.1.10<br>
        netmask 255.255.255.0<br>
        gateway 10.1.1.1<br>
- path: /etc/network/interfaces.d/11-ens4.cfg<br>
  owner: root:root<br>
  permissions: '0644'<br>
  content: |<br>
    auto ens4<br>
    iface ens4 inet static<br>
        address 10.4.1.10<br>
        netmask 255.255.255.0<br>
runcmd:<br>
- [ ifup, ens1]<br>
- [ ifup, ens4]<br>
<br>
I would create a Secret for this user-data, “host10-user-data”.  This would theoretically be where this is stored declaratively as a document in my set.<br>
<br>
apiVersion: v1<br>
data:<br>
  userData: $(base64 -w 0 <<data above>>)<br>
kind: Secret<br>
metadata:<br>
  name: host10-user-data<br>
  namespace: metal3<br>
type: Opaque<br>
<br>
I would create a BMH CR for host10:<br>
<br>
apiVersion: v1<br>
kind: Secret<br>
metadata:<br>
  name: host10-bmc-secret<br>
type: Opaque<br>
data:<br>
  username: YWRtaW4=<br>
  password: cGFzc3dvcmQ=<br>
<br>
---<br>
apiVersion: <a href="http://metal3.io/v1alpha1" rel="noreferrer" target="_blank">metal3.io/v1alpha1</a><br>
kind: BareMetalHost<br>
metadata:<br>
  name: host10<br>
spec:<br>
  online: true<br>
  bootMACAddress: 00:3b:8b:0c:ec:8b<br>
  bmc:<br>
    address: ipmi://<a href="http://192.168.111.1:6230" rel="noreferrer" target="_blank">192.168.111.1:6230</a><br>
    credentialsName: master-0-bmc-secret<br>
  userData:<br>
    name: host10-user-data<br>
    namespace: metal3<br>
---<br>
<br>
At this point, what I’ve done is fully declare the advanced network configuration for “host10” within the constraints of what exists today – in other words, this works right now in metal3-io.  I could extract this cloud-init for whatever host is being used as the ephemeral host as well for use in ISO generation.<br>
<br>
My point is basically I think going with #1 now so we can achieve E2E functionality seems like the most expedient approach.<br>
<br>
Let me know if any aspect of this doesn’t make sense.<br>
<br>
Alan Meadows<br>
<br>
From: Dmitry Ukov [mailto:<a href="mailto:dukov@mirantis.com" target="_blank">dukov@mirantis.com</a>] <br>
Sent: Friday, September 20, 2019 10:18 AM<br>
To: MEADOWS, ALAN <<a href="mailto:am240k@att.com" target="_blank">am240k@att.com</a>><br>
Cc: PACHECO, RODOLFO J <<a href="mailto:rp2723@att.com" target="_blank">rp2723@att.com</a>>; <a href="mailto:airship-discuss@lists.airshipit.org" target="_blank">airship-discuss@lists.airshipit.org</a><br>
Subject: Re: [Airship-discuss] IPAM for Airship<br>
<br>
Alan, <br>
<br>
> MaaS behaves as an IPAM service – for the most part all it does is enforce the static assignments we declare within Drydock BaremetalNode documents as in here:<br>
<a href="https://github.com/airshipit/treasuremap/blob/master/site/seaworthy/baremetal/nodes.yaml#L48-L86" rel="noreferrer" target="_blank">https://github.com/airshipit/treasuremap/blob/master/site/seaworthy/baremetal/nodes.yaml#L48-L86</a><br>
I've missed this part :(<br>
<br>
> I missed the latest bootstrap-sig call, however when we were initially discussing this one very simple way to get started with this is to represent the network configuration as cloud-init data in the BareMetalHost  (BMH) CRD.  There is support for that now without introducing any additional CRDs or fields.<br>
Unfortunately BareMetalHost does not have all information. Here is what is supported <a href="https://github.com/metal3-io/baremetal-operator/blob/master/pkg/apis/metal3/v1alpha1/baremetalhost_types.go#L249" rel="noreferrer" target="_blank">https://github.com/metal3-io/baremetal-operator/blob/master/pkg/apis/metal3/v1alpha1/baremetalhost_types.go#L249</a>. NIC structure is assigned as a property of HardwareDetails structure which is associated to Status property of BareMetalHost. AFAIK Status property is not supposed to be a source of data for CR defined in operator, it's filled in after reconcile event checks resource status. So technically we can not use this property for data. Moreover there is not Default gw and dns server setting. <br>
<br>
As an alternative temporary solution (until we decide what to do with IPAM) we can put DNS server in a cluster config (i.e. airshipctl config) or supply it as CLI flag for isogen and calculate default gateway as a first address of a network<br>
<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div>Kind regards<div>Dmitry Ukov</div><div>Principal Deployment Engineer</div><div><div>Mirantis, Inc.</div></div><div><br></div></div></div></div>